El equipo de Apache Arrow anunció una nueva la versión de Apache Arrow. Más en concreto, la versión de Apache Arrow 4.0.0.
Esta nueva versión cubre 3 meses de trabajo y desarrollo, en las que se incluyen hasta 711 problemas resueltos de 114 colaboradores diferentes.
Se han realizado muchas correcciones de errores y mejoras: Si lo deseas, puedes tener acceso al registro completo de los cambios.
A continuación, comparto una pequeña introducción a Apache Arrow para quién no lo conozca y desee investigar un poco más sobre el proyecto.
¿Qué es Apache Arrow?
Apache Arrow es una plataforma de desarrollo de software para crear aplicaciones de alto rendimiento que procesan y transportan grandes conjuntos de datos.
Está diseñado para mejorar el rendimiento de los algoritmos analíticos y la eficiencia de mover datos de un sistema o lenguaje de programación a otro.
Un componente crítico de Apache Arrow es su formato de columnas en memoria, una especificación estandarizada independiente del lenguaje para representar conjuntos de datos estructurados en memoria en forma de tabla.
Este formato de datos tiene un rico sistema de tipos de datos (incluidos tipos de datos anidados y definidos por el usuario) diseñado para satisfacer las necesidades de los sistemas de bases de datos analíticas, bibliotecas de frameworks de datos y más.
¿Qué bibliotecas de Apache Arrow existen?
El proyecto Arrow contiene bibliotecas que permiten trabajar con datos en formato de columnas Arrow en muchos idiomas.
Las bibliotecas C++, C #, Go, Java, JavaScript, Julia y Rust contienen distintas implementaciones del formato Arrow.
Estas bibliotecas se someten a pruebas de integración entre sí para garantizar su fidelidad al formato.
Además, las bibliotecas Arrow para C (Glib), MATLAB, Python, R y Ruby se construyen sobre la biblioteca de C++.
Estas bibliotecas oficiales permiten que los proyectos de terceros funcionen con datos de Arrow sin tener que implementar el formato de columnas de Arrow ellos mismos.
También contienen muchos componentes de software que ayudan con los problemas del sistema relacionados con la entrada y salida de datos de los sistemas de almacenamiento remoto y el movimiento de datos con formato Arrow a través de las interfaces de red, entre otros posibles casos de uso.
? CONOCE MÁS SOBRE EL PROYECTO APACHE ARROW
? VISITA EL REPOSITORIO OFICIAL DE APACHE ARROW
Fuente: Apache Arrow