Big data. Entenderlo es fácil con este ejemplo

"Big Data"La información que generamos crece exponencialmente cada año. ¿Cómo se puede aprovechar ese enorme volumen de datos? La respuesta está en el Big Data. Es más fácil entender este concepto de lo que nos imaginamos

Un ejemplo práctico

Tenemos un histórico almacenado de un millón de documentos de todo tipo y también correos electrónicos sobre quejas e intercambio de información con nuestros clientes.

Lo que queremos

Averiguar  cuáles son las palabras que más se repiten para descubrir cuáles son las incidencias más habituales de nuestros clientes.

La problemática

Cada documento tiene una media de cien palabras y tenemos un ordenador  que tarda en contar las palabras que aparecen en cada documento un segundo. Necesitaríamos un millón de segundos para almacenar en una tabla las palabras, suponiendo que vamos calculando la suma cada vez que aparece una palabra.

Necesitaríamos aproximadamente 12 días para hacer este proceso.

Solución con Big Data

Si alquilamos el proceso de 100 ordenadores  – en la nube – que leen en paralelo cada uno diez mil documentos, tardaríamos en procesar todas las palabras alrededor de 3 horas, incluyendo el proceso de sumar los resultados parciales de los cien servidores, unas diez mil sumas.

Un vez realizado el proceso pasamos los resultado al ordenador de nuestra empresa para analizar los resultados y tomar decisiones.

Conclusión y otro ejemplo

Big Data tiene tres características principales:

  • Volumen (cantidad)
  • Velocidad (velocidad de creación y utilización)
  • Variedad (tipos y fuentes de datos no estructurados, tales como la interacción social, video, audio, cualquier cosa que no se pueda clasificar dentro de una base de datos).

Se utiliza Big Data para comprender mejor a los Clientes,  Proveedores, la logística, el control de calidad, servicio al cliente, etc. Sin embargo, incluso estos ejemplos solo tocan la superficie sus verdaderas capacidades.

Uno de los campos más obvios de su utilización es combatir el crimen en los delitos financieros:

  • Existe tal cantidad de información en este sector
  • Las técnicas avanzadas de análisis tiene un terreno amplio para identificar patrones, comparar, vigilar la evolución de determinados factores y dar con la clave de las estafas.
  • Sería posible prevenirlas si se localizan ciertos comportamientos anómalos que anteriormente han precedido a un delito.
Esta entrada fue publicada en Actualidad, Comunicación 2.0, IT, Nube por José Diez. Guarda el enlace permanente.

Acerca de José Diez

Cuento con más de 20 años de experiencia profesional. Actualmente soy Director General de Avante Services, empresa que fundé en 2002. Avante Services es una empresa líder en servicios de TI y Social Media con clientes en más de 10 industrias. Antes crear Avante Services fui director de Innovación y Tecnología en el Grupo Prisa y trabajé para Hewlett-Packard durante más de 10 años siendo mi último puesto el de Director mundial de la "HP Innovation Network". Durante varios años he compaginado mi actividad profesional con la docencia como Profesor del Instituto de empresa - IE Business School -, las publicaciones de artículos en diferentes medios y ponencias. Actualmente escribo regularmente en el Blog de Avante Services. Mi educación superior se desarrolló en Estados Unidos donde adquirí un "Master of Science in Computer Science" en la Universidad Depaul de Chicago, un "Bachelor of Science in Computer Science" en la universidad de Saint Louis y el dominio del Inglés