אפאצ'י קפקא
 | |
אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java.
עיצוב הפלטפורמה מושפע מאוד ממימושי Transaction log הקיימים במערכות DBMS.[2]
שימושים בתעשייה
להלן רשימה של ארגונים בולטים המשתמשים בקפקא:
קישורים חיצוניים
אתר האינטרנט הרשמי של אפאצ'י קפקא
אפאצ'י קפקא, ברשת החברתית אקס (טוויטר)
הערות שוליים
- ^ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
- ^ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
- ^ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28.
- ^ "OpenSOC: An Open Commitment to Security". Cisco blog. נבדק ב-2016-02-03.
- ^ "More data, more data". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18.
- ^ "Conviva home page". Conviva. 2017-02-28. אורכב מ-המקור ב-2017-06-02. נבדק ב-2017-05-16.
- ^ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18.
- ^ "Kafka Usage in Ebay Communications Delivery Pipeline".
- ^ "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. אורכב מ-המקור (PDF) ב-2017-07-02. נבדק ב-2017-05-05.
{{cite web}}: (עזרה) - ^ "Kafka at HubSpot: Critical Consumer Metrics". אורכב מ-המקור ב-2018-11-19. נבדק ב-2017-12-18.
- ^ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale". אורכב מ-המקור ב-2016-03-04. נבדק ב-2017-12-18.
- ^ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". אורכב מ-המקור ב-2017-09-17. נבדק ב-2017-09-19.
- ^ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. נבדק ב-2016-02-03.
- ^ Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting". נבדק ב-2018-02-21.
{{cite web}}:|author=has generic name (עזרה) - ^ "Shopify - Sarama is a Go library for Apache Kafka".
- ^ Josh Baer. "How Apache Drives Spotify's Music Recommendations". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18.
- ^ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18.
- ^ "Stream Processing in Uber". InfoQ. נבדק ב-2015-12-06.
- ^ "Apache Kafka for Item Setup". medium.com. נבדק ב-2017-06-12.
- ^ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. אורכב מ-המקור ב-2017-06-03. נבדק ב-2017-07-19.
- ^ "Scaling Production data across Microservices @ Fiverr / Erik Ashepa". Youtube. נבדק ב-2019-07-10.
37052440אפאצ'י קפקא