El concepto de Data Lake está muy de moda en entornos de Big Data y en empresas con diferentes orígenes de datos que necesitan unificarlos en una única plataforma.

Dentro de las soluciones de Data Lake del mercado, Isilon es sin duda una de las mejores disponibles y uno de los fabricantes a tener en cuenta.

Scale-Out vs Scale-up

Antes de hablar de la solución Isilon como Data Lake y sus características, quiero que conozcáis la plataforma Isilon y que nos ofrece frente a otras soluciones. Dentro de las características más importantes esta Scale-out.

Pero que es Scale-up y Scale-out en los entornos de almacenamiento de ficheros?

Bien, imaginaros que tenemos un servidor que ejecuta una base de datos SQL. Este servidor sirve las aplicaciones corporativas y necesitamos que su rendimiento mejore. La solución tradicional sería por ejemplo, añadir más disco, más rápido, más memoria, CPU, etc.. Esto puede ser una buena solución para entornos fijos y con poca escalabilidad, pero con pocas posibilidades de crecimiento, es lo que llamamos scale-up.Si pensamos en este ejemplo, la solución scale-out sería crear un cluster de servidores SQL, de forma que podemos disponer de varios servidores, proporcionando mayor escalabilidad, alta disponibilidad y rendimiento.

Si trasladamos esto a soluciones de almacenamiento, una solución scale-up, es una unidad de almacenamiento en la que el crecimiento es limitado, dispone de dos controladores en activo-pasivo o activo-activo y que sirve para un propósito determinado. Cuando llegamos a la máxima capacidad del sistema de NAS (normalmente 16TB o 64TB), tenemos que comprar otro equipo distinto, lo que supone más gastos de gestión, dificultad de proporcionar alta disponibilidad y complejidad de administración del entorno, por no pensar en los problemas de rendimiento asociados a la escalabilidad de este tipo de sistemas.

Isilon, es un sistema totalmente scale-out diseñado desde el inicio, con la filosofía multi-tenant y crecimiento escalable, sencillo y económico. Podemos escalar un único sistema de Ficheros hasta 50Pb, no tenemos controladores, pues todos los nodos son controladoras, y el sistema puede escalar hasta 15TB de caché global colaborativa entre los nodos. Añadir un nuevo nodo es MUY sencillo, en 60 segundos dispondremos del espacio del nuevo nodo disponible, y !sin necesidad de crear RAID o volúmenes!  Increíble!

Data Lake

Ahora que sabemos un poco acerca de Isilon, podemos definir que es un Data Lake y porqué Isilon es una solución perfecta para ello.

¿Sabéis como se define Big Data? por las tres V, velocidad, variedad y volumen, Isilon es perfecto para absorber este tipo de requerimientos y SI!  Big Data es uno de los tipos de entornos que forman un Data Lake.

Así pues, Data Lake es un sistema con estas características:

  • absorbe datos de múltiples orígenes, como ficheros, big data, carpetas compartidas de directorios compartidos, aplicaciones web, REST, etc..
  • permite el acceso a estos datos mediante múltiples protocolos (SMB,HTTP,FTP, NFS, HDFS, SWIFT)
  • proporciona la posibilidad de mover datos de forma interna y externa para disponer de los datos en el lugar correcto
  • es simple de gestionar y administrar
  • puede crecer de forma casi ilimitada y de forma muy sencilla
  • proporciona protección de datos a nivel de ficheros

Os imagináis tener que desplegar un sistema distinto para cada tipo de aplicativos, datos, u orígenes de los mismos?  Es una locura, sin embargo con sistemas Data Lake como Isilon, podemos disponer de la solución en un único sistema. AH!  y pensar que si estamos trabajando con Hadoop por ejemplo, los datos ya no necesitan volar por la red, !están en el mismo equipo donde los procesamos!, reduciendo complejidad y tiempos de operación de forma drástica.

Isilon, la solución:

Isilon es un sistema scale-out formado por nodos de diferentes tipos, forma un único sistema de almacenamiento de tipo ficheros y puede escalar hasta 50PB en un único sistema.

Las características principales son:

  • sistema de nodos conectados por Infiniband a 40Gb/s o 10Gb/s Ethernet
  • puede escalar hasta 144 nodos de diferentes tipos
  • dispone de tiering de datos de forma interna y externa
  • no necesitamos crear RAID o volúmenes, todo está bajo el control de ONEFS, el sistema de ficheros cluster
  • podemos proteger los datos a nivel de ficheros hasta N+4 o 8x
  • dispone de un sistema inteligente de balanceo y asignación de nodos basado en nombres y gestionado por SmartConnect
  • podemos proteger los datos (WORM) con SmartLock y cumplir con regulaciones externas más exigentes
  • aplicaciones complementarias: Cuotas, replicación, snapshots, deduplicación, movimiento datos al cloud, análisis de datos con InsightIQ
  • integración perfecta en entornos Linux/Windows
  • soporte de almacenamiento de objetos basado en Swift (Openstack)
  • rendimiento inmejorable
  • soporte de discos de diferentes tipos

En resumen, si buscas un sistema que pueda servir como Data Lake, desde Base10 te recomendamos Isilon. Sin duda es una de las mejores opciones.

Gracias.

Alejandro Suarep Requena