Tutorial Apache Kafka מספק את המושגים הבסיסיים והמתקדמים של Apache Kafka. הדרכה זו מיועדת הן למתחילים והן למקצוענים.
Apache Kafka היא פלטפורמת תוכנה לעיבוד זרם בקוד פתוח המשמשת לטיפול באחסון נתונים בזמן אמת. זה עובד כמתווך בין שני צדדים, כלומר, שולח ומקבל. זה יכול להתמודד עם כטריליוני אירועי נתונים ביום.
מסע ההדרכה של אפאצ'י קפקא יכסה את כל המושגים מהארכיטקטורה שלו ועד למושגי הליבה שלו.
מה זה אפאצ'י קפקא
Apache Kafka היא פלטפורמת תוכנה המבוססת על תהליך סטרימינג מבוזר. זוהי מערכת הודעות פרסום-הרשמה המאפשרת החלפת נתונים גם בין יישומים, שרתים ומעבדים. אפאצ'י קפקא פותח במקור על ידי לינקדאין , ומאוחר יותר הוא נתרם לקרן תוכנת אפאצ'י. נכון לעכשיו, הוא מתוחזק על ידי קונפלואנט תחת Apache Software Foundation. אפאצ'י קפקא פתר את הצרות האדישות של תקשורת נתונים בין שולח למקלט.
מהי מערכת הודעות
מערכת הודעות היא החלפה פשוטה של הודעות בין שני אנשים או יותר, מכשירים וכו'. מערכת הודעות פרסום-הרשמה מאפשרת לשולח לשלוח/לכתוב את ההודעה ולמקבל לקרוא את ההודעה. באפאצ'י קפקא, שולח ידוע בתור א יַצרָן מי מפרסם הודעות, ומקלט מכונה א צרכן מי שצורך את ההודעה על ידי הרשמה אליה.
מערך המבנה בשפת c
מהו תהליך הסטרימינג
תהליך סטרימינג הוא עיבוד נתונים במערכות מחוברות במקביל. תהליך זה מאפשר ליישומים שונים להגביל את הביצוע המקביל של הנתונים, כאשר רשומה אחת מופעלת מבלי להמתין לפלט של הרשומה הקודמת. לכן, פלטפורמת סטרימינג מבוזרת מאפשרת למשתמש לפשט את משימת תהליך הסטרימינג וביצוע מקביל. לכן, לפלטפורמת סטרימינג בקפקא יש את יכולות המפתח הבאות:
- ברגע שמתרחשים זרמי הרשומות, הוא מעבד אותם.
- זה עובד בדומה למערכת הודעות ארגונית שבה היא מפרסמת ונרשמת לזרמים של רשומות.
- הוא מאחסן את זרמי התקליטים בצורה עמידה עמידה לתקלות.
כדי ללמוד ולהבין את אפאצ'י קפקא, על השואפים להכיר את ארבעת ממשקי הליבה הבאים:
API של מפיק: API זה מאפשר/מתיר לאפליקציה לפרסם זרמים של רשומות לנושא אחד או יותר. (נדון בסעיף מאוחר יותר)
ממשק API לצרכן: API זה מאפשר לאפליקציה להירשם לנושא אחד או יותר ולעבד את זרם הרשומות שהופק לה.
API של זרמים: API זה מאפשר לאפליקציה להפוך ביעילות את זרמי הקלט לזרמי הפלט. זה מאפשר לאפליקציה לפעול כמעבד זרם אשר צורך זרם קלט מנושא אחד או יותר, ולהפיק זרם פלט לנושא פלט אחד או יותר.
מחבר API: API זה מפעיל את ממשקי ה-API של היצרן והצרכן הניתנים לשימוש חוזר עם מערכות הנתונים או היישומים הקיימים.
מעגל אסף מלא
למה אפאצ'י קפקא
Apache Kafka היא פלטפורמת תוכנה שיש לה את הסיבות הבאות שמתארות בצורה הטובה ביותר את הצורך של Apache Kafka.
- אפאצ'י קפקא מסוגל לטפל במיליוני נתונים או הודעות בשנייה.
- אפאצ'י קפקא פועל כמתווך בין מערכת המקור למערכת היעד. כך, נתוני מערכת המקור (המפיק) נשלחים ל-Apache Kafka, שם הוא מנתק את הנתונים, ומערכת היעד (הצרכן) צורכת את הנתונים מקפקא.
- ל- Apache Kafka יש ביצועים גבוהים במיוחד, כלומר, יש לו ערך חביון נמוך באמת של פחות מ-10ms מה שמוכיח את זה כתוכנה בקיא.
- לאפצ'י קפקא יש ארכיטקטורה עמידה אשר פתרה סיבוכים חריגים בשיתוף נתונים.
- ארגונים כמו NETFLIX, UBER, Walmart וכו' ולמעלה מאלפי חברות כאלה עושות שימוש באפצ'י קפקא.
- אפאצ'י קפקא מסוגל לשמור על סובלנות התקלות. סובלנות תקלות פירושה שלפעמים צרכן מצליח לצרוך את המסר שנמסר על ידי היצרן. אבל, הצרכן לא מצליח לעבד את ההודעה בחזרה עקב כשל במסד הנתונים האחורי, או עקב נוכחות של באג בקוד הצרכן. במצב כזה הצרכן אינו מסוגל לצרוך שוב את המסר. כתוצאה מכך, Apache Kafka פתר את הבעיה על ידי עיבוד מחדש של הנתונים.
- לימוד קפקא הוא מקור הכנסה טוב. אז מי שרוצה להגדיל את הכנסתו בעתיד בתחום ה-IT יכול ללמוד.
תְנַאִי מוּקדָם
על המועמדים להיות בעלי ידע בסיסי בתכנות Java, וידע מסוים בפקודות לינוקס.
קהל
מסע אפאצ'י קפקא זה מיועד למתחילים, מפתחים ואנשים שרוצים ללמוד דברים חדשים.
בעיות
אנו מבטיחים שלא תמצא שום בעיה בהדרכה זו של Apache Kafka. אבל אם יש טעות כלשהי, אנא פרסם את הבעיה בטופס יצירת קשר.