Apache Kafka Tutorial предоставя основните и разширени концепции на Apache Kafka. Този урок е предназначен както за начинаещи, така и за професионалисти.
Apache Kafka е софтуерна платформа с отворен код за обработка на потоци, която се използва за обработка на съхранение на данни в реално време. Той работи като посредник между две страни, т.е. изпращач и получател. Може да обработва около трилиони събития с данни за един ден.
Обучителното пътешествие на Apache Kafka ще обхване всички концепции от неговата архитектура до основните му концепции.
Какво е Apache Kafka
Apache Kafka е софтуерна платформа, която се основава на разпределен стрийминг процес. Това е система за публикуване и абониране на съобщения, която позволява и обмен на данни между приложения, сървъри и процесори. Apache Kafka първоначално е разработен от LinkedIn , а по-късно е дарен на софтуерната фондация Apache. В момента се поддържа от Конфлуентна под Apache Software Foundation. Apache Kafka разреши летаргичния проблем на комуникацията на данни между подател и получател.
Какво е система за съобщения
Системата за съобщения е прост обмен на съобщения между две или повече лица, устройства и т.н. Системата за публикуване и абониране позволява на подателя да изпрати/напише съобщението и на получателя да прочете това съобщение. В Apache Kafka подателят е известен като a продуцент който публикува съобщения, а получателят е известен като a консуматор който използва това съобщение, като се абонира за него.
Какво е процес на поточно предаване
Процесът на поточно предаване е обработката на данни в паралелно свързани системи. Този процес позволява на различни приложения да ограничават паралелното изпълнение на данните, при което един запис се изпълнява, без да се чака изхода на предишния запис. Следователно платформата за разпределено стрийминг позволява на потребителя да опрости задачата на процеса на стрийминг и паралелното изпълнение. Следователно платформата за стрийминг в Kafka има следните ключови възможности:
конкатенационен низ в java
- Веднага щом се появят потоци от записи, той ги обработва.
- Работи подобно на корпоративна система за съобщения, където публикува и се абонира за потоци от записи.
- Той съхранява потоците от записи по устойчив на грешки и траен начин.
За да научат и разберат Apache Kafka, кандидатите трябва да знаят следните четири основни API:
API на производителя: Този API позволява/позволява на приложение да публикува потоци от записи в една или повече теми. (обсъдено в по-късен раздел)
Потребителски API: Този API позволява на приложението да се абонира за една или повече теми и да обработва потока от записи, произведени към тях.
API за потоци: Този API позволява на приложението ефективно да трансформира входните потоци в изходните потоци. Той позволява на приложението да действа като поточен процесор, който консумира входен поток от една или повече теми и произвежда изходен поток към една или повече изходни теми.
API на конектора: Този API изпълнява многократно използваемите API за производители и потребители със съществуващите системи за данни или приложения.
Защо Apache Kafka
Apache Kafka е софтуерна платформа, която има следните причини, които най-добре описват нуждата от Apache Kafka.
- Apache Kafka е в състояние да обработва милиони данни или съобщения в секунда.
- Apache Kafka работи като посредник между изходната система и целевата система. По този начин данните от системата източник (производител) се изпращат до Apache Kafka, където отделя данните, а целевата система (потребител) консумира данните от Kafka.
- Apache Kafka има изключително висока производителност, т.е. има наистина ниска стойност на латентност под 10ms, което го доказва като добре запознат софтуер.
- Apache Kafka има устойчива архитектура, която разрешава необичайни усложнения при споделянето на данни.
- Организации като NETFLIX, UBER, Walmart и др. и над хиляди такива фирми използват Apache Kafka.
- Apache Kafka е в състояние да поддържа устойчивост на грешки. Устойчивостта на грешки означава, че понякога потребителят успешно използва съобщението, което е доставено от производителя. Но потребителят не успява да обработи съобщението обратно поради повреда в базата данни в задната част или поради наличие на грешка в потребителския код. В такава ситуация потребителят не може да използва съобщението отново. Следователно Apache Kafka е разрешил проблема чрез повторна обработка на данните.
- Изучаването на Кафка е добър източник на доходи. Така че тези, които искат да увеличат доходите си в бъдеще в ИТ сектора, могат да се научат.
Предпоставка
Кандидатите трябва да имат основни познания по програмиране на Java и известни познания по Linux команди.
Публика
Това пътуване на Apache Kafka е предназначено за начинаещи, разработчици и хора, които искат да научат нови неща.
проблеми
Уверяваме ви, че няма да намерите никакъв проблем в този урок за Apache Kafka. Но ако има някаква грешка, моля, публикувайте проблема във формата за контакт.