Хезмәт

Очкын агым мәгълүматларын чистарту механизмы
(I) DStream һәм RDD
Белгәнебезчә, Очкын агымын исәпләү Очкын үзәгенә нигезләнгән, һәм Очкын үзәгенең үзәге - RDD, шуңа күрә очкын агымы RDD белән дә бәйле булырга тиеш.Ләкин, Spark Streaming кулланучыларга RDDны турыдан-туры кулланырга рөхсәт итми, ләкин DStream төшенчәләре, DStream һәм RDD инклюзив мөнәсәбәтләр, сез аны Java-ның бизәлеш үрнәге итеп аңлый аласыз, ягъни DStream - RDD-ны арттыру, ләкин тәртип RDD белән охшаган.
DStream һәм RDD икесенең дә берничә шартлары бар.
(1) охшаш трансформацион гамәлләр бар, мәсәлән, карта, киметүByKey һ.б., шулай ук ​​тәрәзә, mapWithStated һ.б. кебек уникаль.
(2) барысында да эш-гамәлләр бар, мәсәлән, foreachRDD, санау һ.б.
Программалаштыру моделе эзлекле.
Б) Очкын агымында DStream кертү
DStream берничә классны үз эченә ала.
(1) Мәгълүмат чыганагы класслары, мәсәлән, InputDStream, DirectKafkaInputStream һ.б.
(2) Конверсия класслары, гадәттә MappedDStream, ShuffledDStream
(3) чыгару класслары, гадәттә ForEachDStream кебек
Aboveгарыда әйтелгәннәрдән, баштан ахырына кадәр (чыгу) мәгълүматлар DStream системасы белән эшләнә, димәк, кулланучы гадәттә RDD'ларны турыдан-туры ясый һәм эшкәртә алмый, димәк, DStream мөмкинлеге һәм бурычы бар. RDDларның тормыш циклы өчен җаваплы.
Башка сүзләр белән әйткәндә, Очкын агымының баравтоматик чистартуфункциясе.
(iii) Очкын агымында RDD буын процессы
Очкын агымдагы RDDларның тормыш агымы түбәндәгечә тупас.
(1) InputDStream'та алынган мәгълүматлар RDD'ка үзгәртелә, мәсәлән, KafkaRDD чыгаручы DirectKafkaInputStream кебек.
(2) аннары MappedDStream һәм бүтән мәгълүмат конверсиясе аша бу юлы турыдан-туры RDD дип атала, конверсия өчен карта ысулына туры килә.
(3) Чыгыш класс операциясендә, RDD фаш ителгәндә, сез кулланучыга тиешле саклауны, бүтән исәпләүләрне һәм башка операцияләрне башкарырга рөхсәт итә аласыз.