Apache Kafka. Əsasları və Data Prosesslər üçün Kafka Streams
Real-time Streams -in Apache Kafka və Kafka Streams API ilə proses olunması
Ratings 3.90 / 5.00
What You Will Learn!
- Apache Kafka Ekosistemi və komponentləri
- Kafka Command Line interface (topic, producer, consumer, consumer-group və s.)
- Java proqramlaşdırma dili ilə məlumatları produce və consume etmək
- Json və Avro Serialization/Deserialization.
- Acks, At-least-once, At-most-once, exactly-once konsepsiyası
- Kafka Streams: Topologiyanın qurulması
- Kafka Streams: Stateless və Statefull əməliyyatlar, Intermediate və Terminal stream funksiyaları
- Kafka Streams: Xüsusi java tiplərə uyğun Serde-lərin qurulması
- KStream və KTable.
- Praktika: Transactional based application nümunələri
Description
Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mission-critical applications.
Bəli, mən məhz Kafkanı öz rəsmi saytında olduğu kimi təqdim etdim. Ancaq Kafkanı rəsmi dokumentasiyadan dərin öyrənmək o qədər də asan deyil. Bu səbəbdən qərar verdim ki, öz təcrübələrim əsasında bu kursu hazırlayım.
Kurs boyu müxtəlif problemlərə toxunmuşam və teoriya-praktika yanaşması ilə kursu darıxdırıcı etməmişəm.
Belə ki, kurs boyu Consumer Group -un daxilən necə işlədiyini, öz xüsusi partitioner -larımız yaratmaqla daha yüksək performansa çatmağı oyrənəcəyik. Həmçinin, mesajların çatdırılma semantikalarına yaxından baxacayıq. Çünki Streamin processing-də ən böyük problem və eyni anda ən vacib amil, mesajlarda duplikatlara yol verməmək və həmçinin mesajların itirilməsinin qarşısını almaqdır.
Ümumiyyətlə kurs 2 hissədən ibarətdir. Kafkanın əsasları və Kafka Streaming. Adətən bu 2 mövzu özləri ayrı bir mövzudur. Qərara aldım ki, bu 2 kursu 1 kurs şəklində sizə təqdim edim.
2ci hissədə Kafka Streams API ilə tanış olacayıq. KStream nümunəyə baxacayıq, stateless və statefull operation-larla işləyəcəyik. terminal və intermediate stream funksiyaların nə olduğunu öyrənəcəyik və State -lərdən istifadə edəcəyik.
Həmçinin KTable -ilə KStream fərqinə, nə zaman KTable istifadə edilməlidi və GlobalKTable -in nə olduğunu öyrənəcəyik.
Kursun sonunda, siz artıq partitionlardan necə istifadə etmək lazım olduğunu, böyük dataların ani anda necə filtirlənməyini oyrənəcəksiz. Nümunə kimi isə Tranzaksiya based strams application -a baxacayıq.
Who Should Attend!
- Apache Kafkanı 0-dan öyrənmək üçün hər kəs.
- Apache Kafka-nın harada və niyə istifadə olunmağının zəruriliyini bilmək istəyənlər.
- Streams processing haqqında bilik əldə etmək istəyənlər
