¿Qué es Spark? ¿el futuro Hadoop?

La eclosión del BigData, ha traído de la mano un análisis de datos “superior” al que hasta ahora se ha venido realizando. Por ello, y para distinguir este nuevo paradigma de análisis, hay quien lo ha empezado a llamar Cognitive Computing. Se trata de una nueva capacidad de análisis, que será prestada a las aplicaciones de usuario de manera integrada en el procesado (con modelos cómo MapReduce por poner un ejemplo) como en la gestión de los datos (con paradigmas NoSQL por ejemplo), a través del mismo software que conformará la integración de los sistemas informáticos que están por llegar.

En este escenario del Big Data, nos enfrentamos al reto de que ninguna plataforma es óptima para todos los roles: Hadoop, EDW, procesamiento y almacenamiento en memoria, bases de datos NoSQ, bases de datos documentales, etc. Por esto se está evolucionando hacia un modelo hibrido, donde conviven varias tecnologías o plataformas.

En estos ecosistemas híbridos, una de las primeras propuestas solventes es Apache Spark, que está ganando terreno gracias a que promueve una convergencia de diferentes tecnologías.

Apache Spark es un clúster de propósito general, con un framework de procesamiento unificado, que proporciona APIs de alto nivel en Java, Scala y Python; y un motor optimizado que soporta la ejecución de gráficos de tipo general. También es compatible con un amplio conjunto de herramientas de más alto nivel, incluyendo SQL Spark para SQL y el procesamiento de datos estructurados, MLlib de aprendizaje automático, GraphX ​​para el procesamiento gráfico y Spark Streaming, que permite la gestión de tolerancia a fallos en flujos de datos en vivo.

Con esto, puede parecer que Spark está llamado, a corto plazo, a remplazar a Hadoop, ya que aporta un ecosistema más integrado, rápido y eficiente. Pero realmente creo que será su complemento ideal que aportará un entorno que optimizará las carencias que ahora tiene Hadoop, por sus necesidades de replicación, serialización e I/O a nivel de plataforma.

Anuncios

Un comentario en “¿Qué es Spark? ¿el futuro Hadoop?

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s