Las empresas acelerarán la adopción de soluciones de aprendizaje automático y de grandes modelos de lenguaje (LLM).

El data lakehouse se configura como la arquitectura de almacenamiento más usada, al mismo tiempo que se diseñarán nuevos data products para el gobierno del dato.

Se avanzará en la creación de espacios de datos para la compartición de información entre empresas y en soluciones de federación de datos para la gestión de entornos híbridos y/o multicloud.

La inversión en TI superará el billón de dólares en Europa este 2023 según ha publicado recientemente la firma Gartner, lo que supone un incremento del 5,5% en comparación con 2022. En este sentido, el gasto en centros de datos ha registrado un aumento del 3,1%, por encima de los 46.000 millones de dólares.

Esta cifra pone de manifiesto la importancia que siguen cobrando los datos en la toma de decisiones de las empresas y la expansión de su negocio. Para que puedan optimizar sus procesos de datos y aprovechar al máximo su potencial, PUE, tecnológica española referente en consultoría e implementación de proyectos Data & Machine Learning, ha identificado las 5 claves que marcarán su gestión en 2024.

La implementación del aprendizaje automático

El próximo año las empresas seguirán asimilando a un ritmo rápido los últimos avances en machine learning, con especial interés en los grandes modelos de lenguaje (LLM) que hacen uso de técnicas de aprendizaje automático para aprender patrones complejos de lenguaje natural basados en enormes cantidades de datos.

Pese a que el procesamiento del lenguaje natural (PNL) seguirá siendo la tónica dominante en gran parte de los casos de uso, las compañías acelerarán la incorporación de LLM como GPT de OpenAI y BERT de Google. Esto supondrá avances en la calidad de la interacción con proveedores y clientes, automatización de tareas de procesamiento de lenguaje natural, desarrollo de prototipos y aplicaciones en este ámbito, al igual que mejoras en la extracción de la información y la generación de contenidos creativos.

Consolidación del lakehouse como vía de almacenamiento

En lo referente al almacenamiento, cada vez más empresas adoptarán arquitecturas data lakehouse, una solución innovadora que combina las ventajas de los datalakes y los data warehouse. Concretamente, los data lakehouse aprovechan la flexibilidad que ofrecen los datalakes, en los que el almacenamiento se realiza de manera cruda, sin procesar, con la capacidad analítica y la estructuración de los datos del data warehouse.

Una forma de almacenamiento más completa y equilibrada para las labores de análisis que supone un paso adelante en la profesionalización de la gobernanza del dato en las empresas. Sobre todo, en lo relativo a la eficiencia, reducción de tiempos y optimización de procesos gracias a la aparición de nuevas funcionalidades más avanzadas para este tipo de arquitecturas, como ocurre con Apache Iceberg.

Creación de espacios de datos para compartir información entre entidades 

La compartición de información entre entidades en espacios de datos será una práctica que ganará cada vez más presencia en las colaboraciones empresariales. Se trata de entornos virtuales donde se ponen en común conjuntos de datos de distinta procedencia bajo unas mismas reglas, facilitando la compartición de dichos datos entre compañías.

Estos espacios contribuyen significativamente a optimizar la eficiencia, la transparencia y la colaboración efectiva en diversos contextos. Por ejemplo, en el sector retail permiten una personalización del ‘customer journey’, facilitando ofertas específicas y productos recomendados que mejoran la experiencia de usuario y que parten de información sobre sus intereses y hábitos de compra.

En el sector sanitario, compartir datos del historial de un paciente permite a las entidades involucradas en su recuperación efectuar un mejor control y seguimiento del proceso. Asimismo, la compartición de datos entre instituciones médicas, firmas farmacéuticas y laboratorios permite acelerar las labores de investigación y el desarrollo de fármacos y nuevos tratamientos.

Diseño de data products específicos para el gobierno de datos

Las compañías también se aventurarán en la creación de data products propios para optimizar la gobernanza de sus datos y responder así a necesidades específicas de su negocio. Lo fundamental de estas herramientas es que trascienden el almacenamiento de los datos para convertirlos en información de utilidad que mejora los procesos.

De este modo, el diseño de data products implica el desarrollo de nuevas plataformas que facilitan la gestión, el acceso, la calidad y el análisis de los datos en la organización para generar valor en la toma de decisiones estratégicas.

Por ejemplo, paneles y dashboards interactivos para ver los datos de una manera más visual e intuitiva, soluciones de pronóstico con modelos productivos para anticiparse a una fluctuación del mercado, sistemas de monitorización y alerta con los que prever una falta de stock, asistentes virtuales que integran el servicio de atención al cliente…

La federación de datos como solución en entornos híbridos y multicloud

En lo referente a la integración, la federación de datos será la tendencia dominante como respuesta al reto de dar acceso a datos distribuidos y descentralizados sin la necesidad de consolidarlos físicamente en un único repositorio central, lo que permite mantener la autonomía de su origen.

Una solución acertada para aquellas empresas que, por la complejidad de sus procesos, los desarrollan en entornos híbridos y multicloud. En este sentido, la federación de datos permite sacar el máximo partido a los datos sin tener que moverlos físicamente, lo que supone una ventaja para la reducción de costes, optimización de recursos y aceleración de procedimientos.