Malla de datos
La malla de datos es un método sociotécnico para construir una arquitectura de datos descentralizada mediante el aprovechamiento de un diseño de autoservicio orientado al dominio (en una perspectiva del desarrollo de software), y toma prestada la teoría del diseño basado en el dominio de Eric Evans[1] y la teoría de las topologías de equipo de Manuel Pais y Matthew Skelton.[2] La malla de datos tiene que ver con los datos en sí, tomando el lago de datos y las tuberías como una preocupación secundaria.[3] La propuesta principal es escalar los datos analíticos mediante descentralización orientada al dominio.[4] Con la malla de datos, la responsabilidad de los datos analíticos se transfiere del equipo de datos central a los equipos de dominio, respaldados por un equipo de plataforma de datos que proporciona una plataforma de datos independiente del dominio.[5]Esto ayuda a organizar mejor los datos y evita tener áreas aisladas de datos separadas. Es debido a la presencia de un sistema central que se asegura de que todos sigan las mismas reglas básicas dentro de la red de datos, permitiendo compartir datos en diferentes ubicaciones.
Historia[editar]
El término malla de datos fue definido por primera vez por Zhamak Dehghani en 2019[6] mientras trabajaba como la consultora principal en la empresa de tecnología Thoughtworks .[7][8] Dehghani introdujo el término en 2019 y luego proporcionó más detalles sobre los principios y la arquitectura lógica a lo largo de 2020. Se predijo que el proceso sería un "gran competidor" para las empresas en 2022.[9][10] Algunas de las empresas que han implementado mallas de datos son Zalando,[11] Netflix,[12] Intuit,[13] VistaPrint, JPMorgan Chase,[14] PayPal[15] y otras.
En 2022, Dehghani dejó Thoughtworks para fundar Nextdata Technologies y centrarse en los datos descentralizados.[16]
Principios[editar]
La malla de datos se basa en cuatro principios fundamentales:[5]
- Propiedad del dominio
- Los datos como producto[17]
- Plataforma de datos de autoservicio
- Gobernanza informática federada
Además de estos principios, Dehghani escribe que los productos de datos creados por cada equipo de dominio deben ser detectables, direccionables, fiables, poseer semántica y sintaxis autodescriptivas, ser interoperables, seguros y regirse por estándares globales y controles de acceso.[18] En otras palabras, los datos deben tratarse como un producto confiable y listo para usar.[9]
Comunidad[editar]
Scott Hirleman ha iniciado en su canal de Slack una comunidad de redes de datos que contiene más de 7500 personas.[19]
Véase también[editar]
- Gestión de datos
- Almacén de datos, un tipo bien establecido de sistema de base de datos para organizarlos de forma temática.
- ETL y ELT
Referencias[editar]
- ↑ Evans, Eric (2004). Domain-driven design : tackling complexity in the heart of software. Boston: Addison-Wesley. ISBN 0-321-12521-5. OCLC 52134890.
- ↑ Skelton, Matthew (2019). Team topologies : organizing business and technology teams for fast flow. Manuel Pais. Portland, OR. ISBN 978-1-942788-84-3. OCLC 1108538721.
- ↑ Machado, Inês Araújo; Costa, Carlos; Santos, Maribel Yasmina (1 de enero de 2022). «Data Mesh: Concepts and Principles of a Paradigm Shift in Data Architectures». Procedia Computer Science. International Conference on ENTERprise Information Systems / ProjMAN - International Conference on Project MANagement / HCist - International Conference on Health and Social Care Information Systems and Technologies 2021 (en inglés) 196: 263-271. ISSN 1877-0509. doi:10.1016/j.procs.2021.12.013.
- ↑ «Data Mesh Architecture». datamesh-architecture.com (en inglés). Consultado el 13 de junio de 2022.
- ↑ a b Dehghani, Zhamak (2022). Data Mesh. Sebastopol, CA. ISBN 978-1-4920-9236-0. OCLC 1260236796.
- ↑ «How to Move Beyond a Monolithic Data Lake to a Distributed Data Mesh». martinfowler.com. Consultado el 28 de enero de 2022.
- ↑ Baer (dbInsight), Tony. «Data Mesh: Should you try this at home?». ZDNet (en inglés). Consultado el 10 de febrero de 2022.
- ↑ Andy Mott (12 de enero de 2022). «Driving Faster Insights with a Data Mesh». RTInsights (en inglés estadounidense). Consultado el 1 de marzo de 2022.
- ↑ a b «Developments that will define data governance and operational security in 2022». Help Net Security (en inglés estadounidense). 28 de diciembre de 2021. Consultado el 1 de marzo de 2022.
- ↑ Bane, Andy. «Council Post: Where Is Industrial Transformation Headed In 2022?». Forbes (en inglés). Consultado el 1 de marzo de 2022.
- ↑ Schultze, Max; Wider, Arif (2021). Data Mesh in Practice. ISBN 978-1-09-810849-6.
- ↑ Netflix Data Mesh: Composable Data Processing - Justin Cunningham (en inglés), consultado el 29 de abril de 2022.
- ↑ Baker, Tristan (22 de febrero de 2021). «Intuit's Data Mesh Strategy». Intuit Engineering (en inglés). Consultado el 29 de abril de 2022.
- ↑ «How JPMorgan Chase built a data mesh architecture to drive significant value to enhance their enterprise data platform |».
- ↑ «The next generation of Data Platforms is the Data Mesh» (en inglés estadounidense). 3 de agosto de 2022. Consultado el 8 de febrero de 2023.
- ↑ «Why We Started Nextdata» (en inglés estadounidense). 16 de enero de 2022. Consultado el 8 de febrero de 2023.
- ↑ «Data Mesh defined | James Serra's Blog» (en inglés estadounidense). 16 de febrero de 2021. Consultado el 28 de enero de 2022.
- ↑ «Analytics in 2022 Means Mastery of Distributed Data Politics». The New Stack (en inglés estadounidense). 29 de diciembre de 2021. Consultado el 3 de marzo de 2022.
- ↑ «The Global Home for Data Mesh». The Global Home for Data Mesh (en inglés estadounidense). Consultado el 24 de abril de 2022.