Apache Kafka

De Wikipedia, la enciclopedia libre
Ir a la navegación Ir a la búsqueda
Apache Kafka
kafka.apache.org
Apache kafka.svg
Tipo de programa message-oriented middleware
software libre
Desarrollador Apache Software Foundation
LinkedIn
Lanzamiento 12 de abril de 2014
Programado en Scala
Java
Sistema operativo multiplataforma
Licencia Apache Software License, Version 2.0

Apache Kafka es un proyecto de intermediación de mensajes de código abierto desarrollado por LinkedIn y donado a la Apache Software Foundation escrito en Java y Scala. El proyecto tiene como objetivo proporcionar una plataforma unificada, de alto rendimiento y de baja latencia para la manipulación en tiempo real de fuentes de datos. Puede verse como una cola de mensajes, bajo el patrón publicación-suscripción, masivamente escalable concebida como un registro de transacciones distribuidas,[1]​ lo que la vuelve atractiva para las infraestructuras de aplicaciones empresariales.

El diseño tiene gran influencia de los registros de transacción.[2]

Historia[editar]

Apache Kafka fue originalmente desarrollado por la empresa Linkedin, la cual lo publicó como software libre a principios de 2011. En octubre de 2012 superó la etapa de incubación de la fundación Apache. En noviembre 2014, varios ingenieros que trabajaron en el proyecto Kafka de Linkedin crearon una nueva empresa llamada Confluent enfocada en Kafka.[3]

Empresas que utilizan Kafka[editar]

La siguiente es una lista de empresas conocidas que utilizan o han utilizado Kafka:

Rendimiento de Kafka[editar]

Debido a su capacidad de escalar masivamente y a su uso en estructuras a nivel de aplicaciones empresariales, el seguimiento del rendimiento de Kafka se ha convertido en un tema cada vez más importante. Actualmente existen varias plataformas de código abierto, como Burrow de Linkedin, y plataformas de pago como Datadog,[1]​ que permiten hacer el seguimiento del desempeño de Kafka.

Véase también[editar]

Referencias[editar]

  1. a b «Monitoring Kafka performance metrics». Datadog Engineering Blog. Consultado el 9 de junio de 2016. 
  2. «The Log: What every software engineer should know about real-time data's unifying abstraction». LinkedIn Engineering Blog. Consultado el 9 de junio de 2016. 
  3. Primack, Dan. «LinkedIn engineers spin out to launch 'Kafka' startup Confluent». fortune.com. Consultado el 9 de junio de 2016. 
  4. «OpenSOC: An Open Commitment to Security». Cisco blog. Consultado el 3 de febrero de 2016. 
  5. Doyung Yoon. «S2Graph : A Large-Scale Graph Database with HBase». 
  6. «OpenSOC: Kafka Ecosystem on Walmart’s Cloud». Medium. Consultado el 15 de enero de 2019. 
  7. Cheolsoo Park and Ashwin Shankar. «Netflix: Integrating Spark at Petabyte Scale». 
  8. Shibi Sudhakaran of PayPal. «PayPal: Creating a Central Data Backbone: Couchbase Server to Kafka to Hadoop and Back (talk at Couchbase Connect 2015)». Couchbase. Consultado el 3 de marzo de 2016. 
  9. Josh Baer. «How Apache Drives Spotify's Music Recommendations». 
  10. «Stream Processing in Uber». InfoQ. Consultado el 6 de diciembre de 2015. 
  11. «Shopify - Sarama is a Go library for Apache Kafka». 
  12. «Exchange Market Data Streaming with Kafka». Archivado desde el original el 27 de enero de 2016. Consultado el 9 de junio de 2016. 
  13. George, Sam (5 de diciembre de 2016). «Kafka Connect for Azure IoT Hub» (html). Microsoft (en inglés). Archivado desde el original el 13 de julio de 2017. Consultado el 12 de marzo de 2019.