Nuevos caminos para Hadoop

A lo largo de la historia de la analítica de datos, las aplicaciones de uso masivo siempre han dado lugar a fronts útiles y conectores que ampliaban lo que las aplicaciones originales eran capaces de hacer. Por ejemplo, el extenso uso de las hojas de cálculo en Excel dio lugar a la proliferación de macros, complementos y extensiones. Del mismo modo que el aumento de aplicaciones de base de datos SQL introdujo en éstas multitud de fronts, plugins y conectores.

Ahora, Hadoop está viendo eclosionar su propio ecosistema con poderosas extensiones, múltiples conectores e innumerables fronts. Y son muchos los ejemplos que podemos encontrar sobre lo que estas nuevas herramientas están significando para llevar a Hadoop a un nivel superior.

Si preguntáramos a los usuarios informáticos por cual es la aplicación ofimática más habitual en su día a día, seguramente la primera posición, de manera destacada, estaría ocupada por Excel; esto, a su vez, está provocando que la curva de aprendizaje de los usuarios con relación a Hadoop, cada vez sea menor y genere menos “miedos”.

Microsoft ha publicado una guía donde explica como utilizar Power Query para integrar las hojas excel con Hadoop; y Hortonworks, uno de los líderes mundiales en Big Data, tiene un sencillo tutorial para usar Excel como front a la hora de depurar los datos en Hadoop.

En 2015, AtScale presentó al mercado un conjunto de herramientas, que permitían aumentar la accesibilidad de los datos almacenados en Hadoop dentro de las aplicaciones más populares de Business Intelligence, de una manera más digerible para los usuarios y, lo más importante, es que las herramientas BI, con las que están familiarizados, se convierten en el panel de control mediante el cual pueden aprovechar todo el potencial de Hadoop.

También está disponible un interfaz de la compañía Talend, bajo licencia Apache y totalmente gratuito, que permite utilizar herramientas gráficas con las que correlacionar fuentes y destinos Big Data, para luego generar, de manera automática, el código adecuado que se ejecutará de manera nativa en nuestro clúster.

Pero, realmente, muchas de las herramientas gratuitas más notables para Hadoop proceden directamente de la Apache Software Foundation (ASF). Estas son algunas de las herramientas liberadas recientemente:

  • Twill. Se trata de una abstracción de Apache Hadoop YARN que reduce la complejidad en el desarrollo de aplicaciones Hadoop distribuidas, permitiendo a los desarrolladores centrarse más en la lógica de las mismas además de facilitar la administración y funcionamiento del clúster de Hadoop.
  • Kylin. Originalmente desarrollada por eBay, ahora es un proyecto bajo el paraguas de ASF. Se trata de un motor distribuido de código abierto de Google Analytics, diseñado para proporcionar una interfaz SQL y un análisis multidimensional (OLAP) en Apache Hadoop, soportando conjuntos de datos extremadamente grandes.
  • Apache Lens. Es una plataforma de análisis que proporciona un entorno de ejecución óptimo para consultas analíticas en vista unificada. Tiene como objetivo reducir los silos cuando grandes volúmenes de datos, que son objeto de un análisis, están almacenados en diferentes unidades, ya sean físicas o lógicas. Al proporcionar un modelo de procesamiento analítico en línea (OLAP) sobre los datos, Lens integra perfectamente Apache Hadoop con otros almacenes de datos tradicionales para que aparezcan como uno solo. También proporciona historial de consultas y estadísticas, para las consultas que se ejecutan en el sistema, junto a la gestión del ciclo de vida de la consulta.

Está claro que el repertorio de extensores y conectores de Hadoop no para de crecer, lo que la convierte en una herramienta muy viva y cada vez más accesible para usuarios de todos los niveles. En la página hadoop.apache.org podemos estar al día de todos los proyectos que se están trabajando al amparo de la ASF para el ecosistema Hadoop.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s