אפאצ'י קפקא
 | |
אפאצ'י קפקא היא פלטפורמת תוכנה לעיבוד זרם נתונים (stream processing) קוד פתוח המפותחת במסגרת קרן התוכנה אפאצ'י ונכתבת בשפות Scala ו-Java. הפרויקט נועד לספק פלטפורמה מאוחדת, עם תפוקה גבוהה וזמני השהיה קצרים לטיפול בזרם נתונים בזמן אמת. שכבת האחסון היא בעצם "תור הודעות גדול ממדים בתבנית עיצוב יצרן-צרכן (Pub/Sub) עם ארכיטקטורה מבוזרת ניתנת להגדלה (scalable), הפועל כלוג (יומן מקוון) של טרנזאקציות"[1] ובכך מהווה תשתית יעילה עבור ארגונים גדולים לעיבוד נתונים. בנוסף, קפקא מתחבר למערכות חיצונית עבור ייבוא/ייצוא של נתונים באמצעות Kafka Connect ומגדיר לשימוש זרמי נתונים ("Kafka Streams") כספריית עיבוד נתונים בשפת Java.
עיצוב הפלטפורמה מושפע מאוד ממימושי Transaction log הקיימים במערכות DBMS.[2]
שימושים בתעשייה
להלן רשימה של ארגונים בולטים המשתמשים בקפקא:
קישורים חיצוניים
אתר האינטרנט הרשמי של אפאצ'י קפקא
אפאצ'י קפקא, ברשת החברתית אקס (טוויטר)
הערות שוליים
- ↑ Monitoring Kafka performance metrics, Datadog Engineering Blog, accessed 23 May 2016/
- ↑ The Log: What every software engineer should know about real-time data's unifying abstraction, LinkedIn Engineering Blog, accessed 5 May 2014
- ↑ "Exchange Market Data Streaming with Kafka". betsandbits.com. אורכב מ-המקור ב-2016-05-28.
- ↑ "OpenSOC: An Open Commitment to Security". Cisco blog. נבדק ב-2016-02-03.
- ↑ "More data, more data". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18.
- ↑ "Conviva home page". Conviva. 2017-02-28. אורכב מ-המקור ב-2017-06-02. נבדק ב-2017-05-16.
- ↑ Doyung Yoon. "S2Graph : A Large-Scale Graph Database with HBase". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18.
- ↑ "Kafka Usage in Ebay Communications Delivery Pipeline".
- ↑ "Cryptography and Protocols in Hyperledger Fabric" (PDF). בינואר 2017. אורכב מ-המקור (PDF) ב-2017-07-02. נבדק ב-2017-05-05.
{{cite web}}: (עזרה) - ↑ "Kafka at HubSpot: Critical Consumer Metrics". אורכב מ-המקור ב-2018-11-19. נבדק ב-2017-12-18.
- ↑ Cheolsoo Park and Ashwin Shankar. "Netflix: Integrating Spark at Petabyte Scale". אורכב מ-המקור ב-2016-03-04. נבדק ב-2017-12-18.
- ↑ Boerge Svingen. "Publishing with Apache Kafka at The New York Times". אורכב מ-המקור ב-2017-09-17. נבדק ב-2017-09-19.
- ↑ Shibi Sudhakaran of PayPal. "PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)". Couchbase. נבדק ב-2016-02-03.
- ↑ Boyang Chen Pinterest. "Pinterest:Using Kafka Streams API for predictive budgeting". נבדק ב-2018-02-21.
{{cite web}}:|author=has generic name (עזרה) - ↑ "Shopify - Sarama is a Go library for Apache Kafka".
- ↑ Josh Baer. "How Apache Drives Spotify's Music Recommendations". אורכב מ-המקור ב-2016-03-09. נבדק ב-2017-12-18.
- ↑ Patrick Hechinger. "CTOs to Know: Meet Ticketmaster's Jody Mulkey". אורכב מ-המקור ב-2018-10-21. נבדק ב-2017-12-18.
- ↑ "Stream Processing in Uber". InfoQ. נבדק ב-2015-12-06.
- ↑ "Apache Kafka for Item Setup". medium.com. נבדק ב-2017-06-12.
- ↑ "Streaming Messages from Kafka into Redshift in near Real-Time". Yelp. אורכב מ-המקור ב-2017-06-03. נבדק ב-2017-07-19.
- ↑ "Scaling Production data across Microservices @ Fiverr / Erik Ashepa". Youtube. נבדק ב-2019-07-10.
אפאצ'י קפקא37052440Q16235208