La empresa Dremio lanzó un servicio en la nube que crea un lago de datos basado en un motor SQL en memoria, capaz de lanzar consultas contra datos almacenados dentro de un sistema de almacenamiento basado en objetos.
El objetivo, es facilitar que las organizaciones aprovechen el lago de datos denominado Dremio Cloud, sin la necesidad de requerir de un equipo de TI para administrarlo.
Basado en la plataforma SQL Lakehouse también de Dremio, el servicio Dremio Cloud se ejecuta en la nube pública de Amazon Web Services (AWS).
El servicio, proporciona todos los beneficios de un almacén de datos en una plataforma que emplea un sistema de almacenamiento basado en objetos para reducir el costo total de construir inmenso lago de datos.
Construyendo la Nube Dremio
Dremio Cloud se basa en una arquitectura de microservicios que incluye una malla de servicios para que los recursos de infraestructura estén disponibles bajo demanda a través del plano de control de Dremio Cloud.
Como resultado, los clientes no incurren en costos de Dremio o AWS cuando la plataforma este inactiva.
Ese enfoque también elimina la necesidad de agregar tablas, extraer datos o emplear un cubo de procesamiento analítico en línea (OLAP) separado para estructurar los datos de una manera que sea compatible con SQL.
También, suprime la necesidad de copiar los datos almacenados en un sistema de almacenamiento basado en objetos en un almacén de datos propietario para proporcionar acceso a las aplicaciones basadas en SQL.
Los datos se cifran tanto en reposo como en tránsito mediante herramientas de gestión de claves que garantizan una comunicación segura entre los clientes, el plano de control y el plano de datos.
Los controles de acceso basados en roles (RBAC) permiten a las empresas definir privilegios en cada conjunto de datos y objetos del sistema.
Además, las empresas pueden invocar definiciones de usuarios y grupos existentes en Dremio utilizando plataformas de gestión de identidad como Okta para hacer cumplir las políticas de seguridad de confianza cero.
Simplificando los lagos de datos
Si bien el concepto de un lago de datos existe desde hace tiempo, muchas organizaciones han fallado a la hora de implementarlo porque la administración de petabytes de datos a gran escala ha demostrado ser demasiado desafiante.
Un lago de datos basado en Hadoop, por ejemplo, a menudo se convierte rápidamente en un pantano de datos a medida que se agregan más datos.
Dremio está abordando ese problema incorporando una variedad de herramientas de administración de datos y aceleración SQL dentro de su plataforma para optimizar las consultas en un lago de datos basado en sistemas de almacenamiento de objetos que están fácilmente disponibles en entornos de computación en la nube.
El desafío ahora es convencer a las organizaciones que históricamente han confiado en un almacén de datos tradicional para reconsiderar el enfoque de lago de datos basado en una plataforma en la nube que les promete simplificar el acceso a petabytes de datos.