Retos de los grandes datos
Los big data pueden describirse en términos de retos de gestión de datos que -debido al creciente volumen, velocidad y variedad de datos- no pueden resolverse con las bases de datos tradicionales. Aunque hay muchas definiciones de big data, la mayoría de ellas incluyen el concepto de lo que comúnmente se conoce como “las tres V” de big data:
Velocidad: Cada vez más, las empresas tienen requisitos estrictos desde el momento en que se generan los datos hasta el momento en que se entregan a los usuarios los conocimientos procesables. Por lo tanto, los datos deben recogerse, almacenarse, procesarse y analizarse en plazos relativamente breves, que van desde el día hasta el tiempo real.
A pesar de la publicidad, muchas organizaciones no se dan cuenta de que tienen un problema de big data o simplemente no piensan en ello en términos de big data. En general, es probable que una organización se beneficie de las tecnologías de big data cuando las bases de datos y las aplicaciones existentes ya no pueden escalar para soportar los aumentos repentinos de volumen, variedad y velocidad de los datos.
Si no se abordan correctamente los retos del big data, pueden aumentar los costes, así como reducir la productividad y la competitividad. Por otro lado, una buena estrategia de big data puede ayudar a las organizaciones a reducir costes y ganar eficiencia operativa mediante la migración de las pesadas cargas de trabajo existentes a las tecnologías de big data, así como el despliegue de nuevas aplicaciones para aprovechar las nuevas oportunidades.
Procesamiento de grandes datos
En pocas palabras, los big data son conjuntos de datos más grandes y complejos, especialmente los procedentes de nuevas fuentes de datos. Estos conjuntos de datos son tan voluminosos que el software de procesamiento de datos tradicional no puede gestionarlos. Sin embargo, estos volúmenes masivos de datos pueden utilizarse para resolver problemas empresariales que antes no habrían podido abordarse.
La velocidad es la rapidez con la que se reciben los datos y (quizás) se actúa sobre ellos. Normalmente, la mayor velocidad de los datos se transmite directamente a la memoria en lugar de escribirse en el disco. Algunos productos inteligentes con acceso a Internet operan en tiempo real o casi en tiempo real y requerirán una evaluación y acción en tiempo real.
La variedad se refiere a los muchos tipos de datos disponibles. Los tipos de datos tradicionales estaban estructurados y encajaban perfectamente en una base de datos relacional. Con el auge del big data, los datos se presentan en nuevos tipos de datos no estructurados. Los tipos de datos no estructurados y semiestructurados, como el texto, el audio y el vídeo, requieren un preprocesamiento adicional para derivar el significado y soportar los metadatos.
En los últimos años han surgido otras dos V: valor y veracidad. Los datos tienen un valor intrínseco. Pero no sirven de nada hasta que se descubre ese valor. Igualmente importante es saber hasta qué punto los datos son veraces y hasta qué punto se puede confiar en ellos.
Tecnologías de big data una encuesta
El análisis de big data examina grandes cantidades de datos para descubrir patrones ocultos, correlaciones y otros conocimientos. Con la tecnología actual, es posible analizar los datos y obtener respuestas de forma casi inmediata, un esfuerzo que es más lento y menos eficiente con las soluciones de inteligencia empresarial más tradicionales.
El concepto de big data existe desde hace años; la mayoría de las organizaciones entienden ahora que si capturan todos los datos que llegan a sus empresas (potencialmente en tiempo real), pueden aplicar la analítica y obtener un valor significativo de ellos. Esto es especialmente cierto cuando se utilizan técnicas sofisticadas como la inteligencia artificial. Pero incluso en los años 50, décadas antes de que nadie pronunciara el término “big data”, las empresas utilizaban la analítica básica (esencialmente, números en una hoja de cálculo que se examinaban manualmente) para descubrir ideas y tendencias.
Algunos de los mejores beneficios de la analítica de big data son la velocidad y la eficiencia. Hace sólo unos años, las empresas recopilaban información, realizaban análisis y descubrían información que podía utilizarse para tomar decisiones futuras. Hoy en día, las empresas pueden recopilar datos en tiempo real y analizar el big data para tomar decisiones inmediatas y mejor informadas. La capacidad de trabajar más rápido -y mantenerse ágil- da a las organizaciones una ventaja competitiva que no tenían antes.
Ejemplos de big data
El uso actual del término big data tiende a referirse al uso de la analítica predictiva, la analítica del comportamiento del usuario o algunos otros métodos avanzados de análisis de datos que extraen valor de los big data, y rara vez a un tamaño concreto del conjunto de datos. “Hay pocas dudas de que las cantidades de datos disponibles ahora son realmente grandes, pero esa no es la característica más relevante de este nuevo ecosistema de datos”[5].
El tamaño y el número de conjuntos de datos disponibles han crecido rápidamente a medida que los datos son recogidos por dispositivos como los móviles, los baratos y numerosos dispositivos del Internet de las cosas, los aéreos (teledetección), los registros de software, las cámaras, los micrófonos, los lectores de identificación por radiofrecuencia (RFID) y las redes de sensores inalámbricos. [9][10] La capacidad tecnológica per cápita del mundo para almacenar información se ha duplicado aproximadamente cada 40 meses desde la década de 1980;[11] en 2012 [actualización], cada día se generaban 2,5 exabytes (2,5×260 bytes) de datos[12] Según la predicción de un informe de IDC, se preveía que el volumen mundial de datos crecería exponencialmente de 4,4 zettabytes a 44 zettabytes entre 2013 y 2020. Para 2025, IDC predice que habrá 163 zettabytes de datos[13]. Una cuestión para las grandes empresas es determinar quién debe ser el propietario de las iniciativas de big data que afectan a toda la organización[14].