Big data, NoSQL y tendencias en Bases de Datos 2018.

Big Data, NoSQL
y tendencias en Sistemas
de Bases de Datos
DTI. Román Herrera rherrera@ucol.mx
Facultad de Telemática. Universidad de Colima, México
Junio de 2018

Big Data, NoSQL y tendencias en Bases de Datos. 2018. Román Herrera. Universidad de Colima, México.
Contenido
El fenómeno del Big Data
• exorbitante generación de datos de diferentes fuentes y formatos
• transformación de las tecnologías de las BD
• relación entre Big Data y sistemas NoSQL
Sistemas de BD NoSQL
• propiedades y características
• clasificaciones más representativas
• comparativas contra los tradicionales sistemas de BD relacionales
Tendencias de los sistemas de BD
• rankings de popularidad de sistemas manejadores de BD
• opinión de los desarrolladores de software
• análisis de la oferta y la demanda en el mercado laboral
• niveles de salario para especialistas de BD

1.1. Introducción
Nosotros, quienes trabajamos todos los días con las Tecnologías de la Información (TI)
estamos familiarizados con el "Big Data" y nos referimos a este término como una
manifestación cotidiana de la explosión de información ocasionada gracias a las redes
sociales, el Internet y la infinidad de dispositivos electrónicos que actúan como sensores
en lo que se conoce como el Internet de las cosas (IoT).
Sin embargo, cómo contestamos las siguientes preguntas:
¿qué es el Big Data?
¿para qué sirve?
¿cuáles son sus aplicaciones?
¿qué herramientas tecnológicas podemos utilizar?
¿los nuevos sistemas llamados NoSQL reemplazarán a los tradicionales?

1.2. Big Data: Orígenes y definiciones
Las primeras alusiones a este concepto de Big Data ya figuran desde hace algunos
años, pero no es muy claro a quien darle el crédito por haberlo utilizado por primera vez
ya con el significado con el que lo entendemos actualmente.
Diebold [Diebold, 2012] le ha seguido la pista a los orígenes de este término y
menciona que a mediados de los 90's ya se habían generado más de 2000
referencias, tanto en el plano académico como en publicaciones informales o de
corte comercial, que hacían uso del mismo.
Sin embargo, sería en 1998 en una charla de John Mashey [Mashey, 1998] de la
empresa Silicon Graphics (SGI) cuando la conceptualización de Big Data fue
asociada como un gran fenómeno de generación masiva de información y que
tendría fuertes implicaciones en la industria de las TI.
Si se trata de dar una definición formal de Big Data, se suele utilizar la definición de la
empresa "Gartner"[1] en su glosario de términos:
"Big Data es un activo de información de gran volumen, de alta velocidad y de alta
variedad que demanda formas rentables e innovadoras de procesamiento de
información para mejorar su comprensión e interpretación para la toma de
decisiones."
[1] Gartner IT Glossary. Definición de Big Data en el glosario de Gartner. Disponible en: http://www.gartner.com/it-glossary/big-data/

También se encuentra la definición que apenas en junio del 2013[*]
fue agregada en el
afamado Diccionario Oxford y que dice:
"Big Data son datos informáticos de un tamaño considerable, tan grandes que
presentan retos logísticos importantes para llevar a cabo su manipulación y
gestión. También se refiere a una rama de la informática que implica el
procesamiento de dichos datos."
Un recuento de más 40 definiciones sobre Big Data expresadas por un grupo de
líderes de opinión y especialistas de reconocidas empresas como: The New York
Times, Google, DataGov, LinkedIn, UCBerkeley, entre otras, fue compilado en el blog
de DataScience de la Escuela de Información de la Universidad de Berkeley
(UCBerkeley) [Dutcher, 2014], de las cuales podemos destacar:
"Big Data se refiere a aquellos datos que no pueden encajar fácilmente en
una tradicional base de datos relacional"
Hal Varian, Economista en Jefe en Google.
"Antes nos referíamos a Big Data como aquellos datos que una sola
máquina no podía procesar. Hoy en día, Big Data se ha convertido en una
palabra de moda para referirnos a cualquier tema relacionado con el
procesamiento analítico y la visualización de los datos".
Ryan Swanstrom, Data Science Blogger en Data Science 101.
[*] https://whatsthebigdata.com/2013/06/15/big-data-arrives-at-the-oxford-english-dictionary/

"Big Data son aquellos datos que no se pueden procesar con las bases de
datos tradicionales (relacionales) porque son demasiado grandes, están
actualizándose constantemente o son demasiados complejos para las
herramientas tradicionales de procesamiento de datos".
AnnaLee Saxenian, Decana de la Escuela de Información de la UC Berkeley.
"Big Data se refiere al nuevo paradigma basado en datos (data-driven) para
los negocios, la ciencia y tecnología, donde el enorme tamaño y alcance de
los datos permite mejores y nuevos servicios, productos y plataformas".
Gregory Piatetsky-Shapiro, Presidente y editor de KDnuggets.com
"Big Data no es más que una herramienta para capturar la realidad".
David Leonhardt, Editor de la columna "The Upshot External link" en The New York Times.
"Big Data se refiere a aquellos datasets que son tan grandes, tan complejos o
que cambian tan rápidamente, que empujan los límites de nuestra
capacidad analítica."
Joel Gurin, Autor del Blog Open Data Now.

"Big Data representa un cambio cultural en el cual cada vez más decisiones
se toman con la ayuda de algoritmos que trabajan sobre una evidencia
documentada inmutable, y el término "Big" se refiere más bien a la
naturaleza omnipresente de este cambio, en lugar de a una cantidad
particular de datos".
Daniel Gillick, Senior Research Scientist en Google.
"Big Data se refiere al análisis de datos que están realmente desordenados o
donde no sabemos cuáles son las preguntas correctas que debemos hacer. Se
trata de un análisis que nos puede ayudar a encontrar patrones, detectar
anomalías o encontrar nuevas estructuras en medio de puntos de datos por
otra parte caóticos o incluso demasiado complejos".
Philip Ashlock, Arquitecto en Jefe de Data.gov

Las Vs del BigData
A principios de esta década se utilizaba las "tres dimensiones de los desafíos para la
gestión de datos", las denominadas 3 Vs que describían las características de los datos
de acuerdo con:
su Volumen (la cantidad de datos),
la Variedad (diversidad y naturaleza) y
la Velocidad con la que éstos se están generando o transmitiendo.
Pero de forma más reciente [Gandomi & Haider, 2014] se han estado añadido más "Vs",
llegando a utilizarse hasta "6 Vs", agregándose: Veracidad, la Variabilidad y sobre todo
el Valor que pueden entregar un adecuado procesamiento de los datos.
Tabla 1. Las 6 Vs del Big Data (Adaptado de Moura & Serrao, 2015)
Volumen Variedad Velocidad Variabilidad Veracidad Valor
Gran cantidad de
información
generada
continuamente.
Procesamiento de
terabytes, exabytes
de información.
Cantidad de datos en
incremento masivo.
Los datos pueden tener
una estructura definida
o no tener una
estructura conocida.
Diversidad de archivos
multimedia,
Variedad de señales de
sensores, dispositivos
IoT, trazas y blogs de
aplicaciones
Transmisión de datos
por streaming.
Tiempos de
procesamiento
cercanos al tiempo
real
Tiempos de respuestas
de milisegundos y
segundos
Datos en constante
cambio y distribuidos.
Cambio de requerimien-
tos, necesidades y
resultados existentes
Necesidad de adaptar o
cambiar los modelos de
datos para aplicar un
procesamiento.
No todos los datos son
confiables
Existe incertidumbre
debido a incoherencia
de los datos y
ambigüedades.
No siempre están
disponibles los datos
Mejor entendendimiento
de la información.
Se toman decisiones
sustentadas
Permiten aplicar técnicas
para automatización y
optimización de procesos
Se comprueban hipótesis y
correlaciones.

¿Qué tanta información es Big Data?
En las primeras definiciones de Big data siempre ha estado presente la V de
Volumen, en términos del tamaño, de la gran cantidad de datos que deben ser
procesados. En Big Data se habla de terabytes, petabytes o incluso de
yottabytes.
Todas estas son cifras de una cantidad exorbitante de información
1 yottabyte sería una cifra impronunciable de bytes con:
24 ceros (1024
ó 280
ó 10008
).
1 yottabyte = 1 208 925 819 614 629 174 706 176 bytes.
Símbolo Medida Equivalencia en Binario
B Byte 8 bits 20
= 1 Byte
kB kilobyte 1024 bytes 210
bytes
MB megabyte 1024 KB 220
bytes
GB gigabyte 1024 MB 230
bytes
TB terabyte 1024 GB 240
bytes
PB petabyte 1024 TB 250
bytes
EB exabyte 1024 PB 260
bytes
ZB zettabyte 1024 EB 270
bytes
YB yottabyte 1024 ZB 280
bytes

¿Qué pasa en Internet
en tan solo 60 segundos?
Figura 1. ¿Qué tanta información se genera en internet en tan solo un minuto?
Infografía de SmartInsights. http://www.smartinsights.com/internet-marketing-statistics/happens-online-60-seconds/

Estimación en coupofy.com del contenido generado en tan solo un minuto
Figura 2. Visualización de la estimación del contenido digital que se estaría generando en tiempo real
en las principales redes sociales. http://www.coupofy.com/social-media-in-realtime/

Big Data y su relación con los sistemas de Bases de Datos NoSQL
Guy Harrison, un experto con más de 30 años de experiencia en bases de datos,
menciona que en esta área de las bases de datos, a partir del 2010 se han
producido más cambios significativos y fundamentales que los que se
registraron en los 25 años anteriores
También, Harrison plantea cinco tendencias claves en las tecnologías de
bases de datos [Harrison, 2015] que están revolucionando los sistemas de bases
de datos actuales y los del futuro:
• El fin de la hegemonía del modelo relacional de datos. Esto es el
fin de una era donde una sola tecnología de datos se utilizaba
como la única solución viable que encajaba para todo tipo de
problemática.
• El surgimiento de tecnologías de soporte para Big Data, citando
particularmente el aporte que realizó Google con su sistema
distribuido de archivos GFS (Google File System), su algoritmo
MapReduce y BigTable como su sistema de base de datos no
relacional. Estos tres componentes fueron la base para el
surgimiento de Hadoop, quien hoy en día es el soporte para la
mayoría de proyectos de Big Data [Harrison, 2015b]

• La explosión creciente de sistemas de bases de datos no-
relacionales (conocidos generalmente como NoSQL), como es el
caso de MongoDB, Cassandra, Hbase, entre otras.
• La creciente posibilidad y capacidad de almacenar datos en
formato de columnas, en lugar del tradicional método relacional
que está orientado a filas, lo cual propicia considerables
ventajas para el procesamiento analítico de datos.
• La disminución en la dependencia de medios de almacenamiento
magnético, como la única tecnología viable para almacenar
datos de forma persistente, gracias al surgimiento de
dispositivos de estado sólido como los discos SSD y la
posibilidad de almacenar bases de datos completas en memoria
(In-memory databases) [Harrison, 2015b].

1.2.1. Los sistemas de Bases de Datos NoSQL
Las bases de datos NoSQL han ido tomando mucha fuerza e importancia en los
últimos años. Fue en el año 2009 durante un evento acerca de las bases de datos
distribuidas, donde se presentaron nuevas plataformas de bases de datos no
relacionales propuestas por Google con su BigTable y Amazon con su motor
DynamoDB [Lourenço, et al 2015]
El término NoSQL fue empleado como Not-Only-SQL para expresar estas nuevas
tecnologías de bases de datos que extienden las capacidades del modelo
relacional y que se empleaban para almacenar y gestionar grandes cantidades de
datos.
Es en los escenarios de bases de datos distribuidas y de grandes sistemas web
que tienen que escalar en grandes proporciones, donde los sistemas tradicionales
de BD relacionales quedan fuera de la jugada, y donde ya no son aplicables las
características inherentes a los motores relacionales conocidas como ACID
(acrónimos en inglés de Atomicity, Consistency, Isolation y Durability)
Debido a esto, surgen propuestas como el teorema de CAP de Brewer [Brewer, 2000]
en la que se definen esquemas intermedios como el BASE (Basic Available – Soft
Estate) que sugieren que los sistemas distribuidos puedan tener fases de
transición hasta tener estados de eventual consistencia en sus datos.

El teorema de CAP [Brewer, 2000] establece que ningún sistema distribuido puede
garantizar simultáneamente los 3 principales atributos al 100%:
1.la consistencia de sus datos (Consistency),
2.la disponibilidad de su servicio (Availability) y
3.la tolerancia a la partición de sus nodos (Partition-Tolerance).
En su lugar se tendrá que escoger entre las combinaciones:
• La combinación de “CA”, es en la que los sistemas de BD optarán por tener
una alta disponibilidad y una eventual consistencia de datos, lo cual implica
sacrificar la distribución de sus datos, en esta zona cae la mayoría de los
sistemas tradicionales (relacionales) y una gama de sistemas NoSQL que
están más orientados a operaciones de lectura.
• La combinación “CP”, que es considerada una zona de consistencia
forzada, es en la cual se sacrificaría en ciertos momentos el rasgo de la
disponibilidad dando lugar a que en ciertos momentos los nodos tarden en
tener los mismos datos ya sincronizados.
• La combinación “AP”, es el escenario que da lugar a los sistemas NoSQL
que requieren forzosamente un gran escalamiento y una mayor distribución de
sus datos, por lo que el criterio de la tolerancia a la partición es una propiedad
irrenunciable, siendo entonces en la disponibilidad y en la consistencia donde
se hacen malabarismos, sacrificando más la consistencia que la disponibilidad
[Wada, et al., 2011].

Se muestran conjuntos que se
intersecan en ciertas zonas,
dando lugar a combinaciones
de “CA”, “CP” y “AP”.
Fig. 3 Representación del teorema de CAP de Brewer y ejemplificación de la
zona (CA, AP y CP) en la que radican algunos sistemas NoSQL

Prejuicios al teorema de CAP
Es importante mencionar, que esta clasificación basada en la intersección de
zonas del teorema de CAP para los sistemas NoSQL, no debe ser tomada de
una forma inflexible ni mutuamente excluyente, dado que esto se ha utilizado
como justificación para que ciertos desarrollos de sistemas NoSQL no garanticen
una total consistencia en los datos [Stonebraker, 2010].
Es aquí donde la oferta de sistemas NoSQL debe esmerarse y ofrecer diversos
esquemas de configuración que puedan personalizarse para adaptarse al
escenario más conveniente según las necesidades de su implementación y
entonces permitir que se realice un tipo de tunning para mejorar sus prestaciones.
Para ilustrar este punto, se aprecia en la parte inferior de la Fig.3, que algunos
sistemas como el Cassandra puede aparecer tanto en la región de “AP” como en
la de “CP” y también CouchDB está tanto en “CA” como en la región de “AP”
dependiendo de la configuración que se realice con ellos.

1.2.2. Clasificación de los sistemas de BD NoSQL
Los sistemas de BD relacionales tienen un solo modelo base y al lenguaje SQL
como pautas directas de implementación, mientras que los sistemas de BD
NoSQL tienen muchas variantes y son de diferentes tipos, porque dependen del
objetivo para el cual están diseñados, de su arquitectura y del modelo de datos
sobre el que se hayan desarrollado.
Una clasificación de BD NoSQL muy usada, los divide en 4 grupos según su
modelo de almacenamiento de datos [Hetch & Jablonski, 2011]
• Almacén de documentos (Document store)
• Almacén de clave-valor (key-value store)
• Almacén tabular u orientado a columnas (Column oriented store)
• Almacén basado en grafos (Graph databases)

• Almacén de documentos (Document store): En este modelo, la base de
datos es una colección de documentos en formatos de texto estructurado
como XML o JSON y más recientemente el BJSON (JSON binario) Cada
documento incluye varios campos de datos y se asocian con un identificador
de documento.
Este modelo es el más popular dentro de los sistemas NoSQL, ya que está
orientado a evitar operaciones complejas de unión, permitir modificaciones de
su esquema (estructura de datos), ofrecer un amplio conjunto de capacidades
de consulta (mediante APIs) y como punto más fuerte el tener una alta
escalabilidad.
Los sistemas NoSQL más populares en esta categoría son: MongoDB,
Amazon DynamoDB, Couchbase, CouchDB, FireBase, RavenDB, entre otros.

• Almacén de clave-valor (key-value store): Los datos se almacenan siempre
en parejas de clave y valor. El valor es un bloque de datos y se usa la clave
para acceder directamente a los datos.
Es fácil de construir, proporciona escalabilidad fácil y ofrece un buen
rendimiento.
Los sistemas NoSQL que destacan son: Redis, Memcached, Riak KV,
Aerospike, entre otros.

• Almacén tabular u orientado a columnas (Column oriented store).
Este modelo de almacenamiento extensible está basado en la disposición de
la información en forma de columnas (vertical) a diferencia de la tradicional
orientación en filas (horizontal) de las bases de datos relacionales.
Este modelo se describe como un mapa de datos multidimensional ordenado, que es
persistente, está distribuido, con baja densidad en sus elementos (sparsity), pero que
resulta muy apropiado para gestionar sistemas que puedan escalar con grandes
cantidades de datos.
Los sistemas NoSQL más representativos de esta categoría son: Cassandra, HBase,
Accumulo, Google Cloud BigTable, entre otros.

• Almacén basado en grafos (Graph databases): Los nodos y los enlaces
entre nodos son el concepto principal en las bases de datos basadas en
grafos. Los nodos corresponden a entidades tales como un usuario o
cualquier objeto y los enlaces representan las relaciones existentes entre los
nodos.
Ejemplos de sistemas NoSQL basados en grafos son: Neo4j, Titan, Giraph,
Gremlin, InfiniteGraph, FlockDB, entre otros.

Tabla 3. Características principales de sistemas de BD NoSQL (basado en Shaleynikov, A., 2017)
MongoDB Cassandra Couchbase Neo4j Hbase
Descripción
Uno de los
almacenes de
documentos más
populares
Almacén tabular
basado en ideas del
BigTable y DynamoDB
Almacén de
documentos basado en
JSON derivado de
CouchDB con interfaz
compatible con
Memcached
Almacén de grafos
nativo para aplicaciones
inteligentes y en tiempo
real a nivel empresarial
Almacén tabular
basado en Apache
Hadoop y conceptos de
BigTable
Modelo de Datos
Almacén de
documentos
Almacén tabular
Almacén de
documentos
Almacén de grafos Almacén tabular
Desarrollador MongoDB, Inc.
Apache Software
Fundation
Couchbase, Inc. Neo4j, Inc.
Apache Software
Fundation
Lanzamiento 2009 2008 2011 2007 2008
Lenguaje de
implementación
C++ Java C, C++ y Erlang Java, Scala, Cypher Java
Script del lado del
servidor
JavaScript No
Funciones de vista en
JavaScript
Sí Sí
Método de
replicación
Replicación
Maestro-esclavo
Factor de replicación
seleccionable
Replicación Maestro-
maestro y Maestro-
esclavo.
Clustering casual
utilizando el protocolo
Raft
Factor de replicación
seleccionable
Mejor uso
Si los datos cambian
constantemente y
se necesitan
consultas dinámicas.
Si se necesita buen
desempeño con una
BD grande.
Cuando los datos
necesarios no caben
en el servidor, pero se
requiere una interfaz
amigable y familiar
para ello
Cualquier aplicación
que requiera acceso a
los datos de baja
latencia, soporte de
alta concurrencia y alta
disponibilidad.
Cuando se necesita
recorrer una gran
cantidad de relaciones y
adyacencias libres de
índices.
Si la aplicación tiene un
esquema variable en el
que cada fila es
ligeramente diferente.
Se necesita acceso a
datos basados en claves

Top 10 bases de datos NoSQL
Comparativa de los 10 motores de datos NoSQL más populares, de acuerdo con
el ranking que ofrece el portal web db-engines.com.
Tabla 4. Los 10 sistemas NoSQL más populares de la actualidad
(Basado en el ranking de septiembre de 2017 del portal db-engines.com)
#
Nombre del DBMS Empresa fabricante
Fecha de la 1a
versión
Tipo de licenciamiento Tipo de DBMS NoSQL
1 MongoDB MongoDB, Inc 2009 Comercial, AGPL3 Document store
2
Cassandra
Apache Software
Foundation
2008 Open source - Apache v2 Wide column store
3 Redis Salvatore Sanfilippo 2009 Comercial, BSD 3 Key-value store
4 Elasticsearch Elastic 2010 Open source - Apache v2 Search engine
5
Solr
Apache Software
Foundation
2004 Open source - Apache v2 Search engine
6
HBase
Apache Software
Foundation
2008 Open source - Apache v2 Wide column store
7 Splunk Splunk, Inc 2003 Comercial Search engine
8 Neo4j Neo4j, Inc. 2007 Comercial, GPL3 Graph DBMS
9 Amazon DynamoDB Amazon 2012 Comercial, free tier Document store
10 Couchbase Couchbase, Inc 2011 Open source - Apache v2 Document store

1.2.3. Atributos de calidad para sistemas de BD NoSQL
Atributo Descripción
Disponibilidad
Métrica empleada para medir la disponibilidad es el porcentaje de tiempo que un sistema es capaz de realizar las
funciones para las que está diseñado. La mayoría de los sistemas NoSQL proveen mejor disponibilidad que los
sistemas relacionales.
Consistencia
Se define como el requerimiento de que cualquier transacción de la base de datos debe alterar los datos
solamente en un escenario permitido. Cualquier dato escrito en la base de datos debe ser válido según las reglas
establecidas. La consistencia es un aspecto variable en los sistemas NoSQL.
Durabilidad
La durabilidad significa que una vez que una transacción es confirmada, esta quedará persistida, incluso ante
eventos como pérdida de alimentación eléctrica, errores y caídas del sistema. Los sistemas NoSQL con menor
desempeño tienden a tener mayor durabilidad, debido a la prioridad respecto a la velocidad de las transacciones
frente a la permanencia de datos. En la mayoría de sistemas NoSQL, este aspecto es configurable
Mantenibilidad
Trata de las herramientas, procesos y prácticas que permiten mantener el sistema de base de datos. Comúnmente
se utilizan logs o bitácoras. Los sistemas con más componentes representan mayor complejidad respecto al
mantenimiento.
Desempeño
El desempeño en sistemas NoSQL depende completamente de la arquitectura del sistema de base de datos. Los
sistemas basados en columnas se orientan a operaciones de escritura, mientras que los sistemas basados en
documentos se orientan a operaciones de lectura.
Confiabilidad
Probabilidad de que se produzca un error en un único componente de la solución. La confiabilidad se sustenta en la
capacidad de los sistemas de realizar cierta cantidad de operaciones sin cometer errores. Las bases de datos NoSQL
contemplan minoritariamente el aspecto de confiabilidad, debido a su pronta actualización de los datos.
Robustez
Se define como la capacidad de los sistemas de lidiar con errores de ejecución. Al igual que la confiabilidad, la
robustez es un aspecto poco atendido en los sistemas NoSQL.
Escalabilidad
Medida de la capacidad de crecimiento de un servicio o de una aplicación para satisfacer demandas de
rendimiento cada vez mayores. Los sistemas NoSQL son escalables en el rendimiento, en cuanto a la adición de
nodos o mejoras en el hardware.
Tabla 5. Atributos de la calidad para sistemas de base de datos NoSQL (basado en: Lourenço, et al., 2015)

1.3. Tendencias actuales en sistemas de Bases de Datos y Big Data
Existen una gran cantidad de sistemas NoSQL que han emergido en la última
década, cada uno de ellos con una cierta orientación y finalidad muy específica
para atender los retos del Big Data y de los ambientes distribuidos. Por esto es
muy importante conocer estas nuevas tecnologías y estar al pendiente de las
nuevas tendencias ya sea para conocerlas, aprender a utilizarlas, evaluarlas o
poder recomendar su mejor uso.
Se mostrará un análisis de la popularidad y de la penetración de los sistemas de
bases de datos desde diferentes perspectivas:
1) de rankings de popularidad de estos sistemas manejadores de bases
de datos,
2) de la opinión de los desarrolladores de software,
3) desde un análisis de la oferta y la demanda en el mercado laboral, y
finalmente
4) con un análisis de cómo se están moviendo los niveles de salario para
especialistas de estas áreas.

1.3.1. Sistemas de Bases de Datos más populares
DB-Engines.com un portal especializado en bases de datos:
• ofrece un ranking de popularidad que actualiza cada mes,
• enciclopedia con los datos técnicos de más de 300 diferentes SGBD.
• información clasificada según el tipo de modelo BD,
• visualización de tendencias en la popularidad de los SGBD, etc.
Como se calcula el ranking*?
• no está basado en cifras oficiales,
• ni en el volumen de ventas facturado por empresas fabricantes,
• se trata de un algoritmo propio, que considera:
o menciones relevantes de buscadores como: Google, Bing y Yandex;
o la frecuencia de búsquedas en Google Trends;
o la frecuencia de discusiones técnicas, post y blogs en sitios especializados
como: StackOverflow y DBA Stack Exchange;
o las ofertas de empleo en portales como: Indeed y Simply Hired;
o los perfiles profesionales localizados en sitios como LinkedIn y Upwork;
o el análisis de contenido en redes sociales como Twitter.
[*] https://db-engines.com/en/ranking_definition/

El Top 30 de sistemas de Bases de Datos relacionales y NoSQL
Utilizando este ranking de popularidad junto con la información de la enciclopedia
disponible en DB-engines.com, generamos un listado de los 30 sistemas de bases
de datos (DBMS) más populares.
Tabla 6. Top 30 de sistemas de Bases de Datos (DBMS) más populares en Sept 2017. Basado en db-engines.com
#
Nombre del
DBMS
Empresa fabricante
1a
versión
Tipo de licencia Tipo DBMS Puntaje
Variación
Sep2016
#Sep 2016
1 Oracle Oracle 1980 Comercial Relational DBMS 1359.09 -66.47 1
2 MySQL Oracle 1995 Comercial, GPL2 Relational DBMS 1312.61 -41.41 2
3 MS SQL Server Microsoft 1989 Comercial Relational DBMS 1212.54 0.99 3
4 PostgreSQL
PostgreSQL Global
Development Group
1989 Open source - BSD Relational DBMS 372.36 56.01 4
5 MongoDB MongoDB, Inc 2009 Comercial, AGPL3 Document store 332.73 16.74 5
6 DB2 IBM 1983 Comercial Relational DBMS 198.34 17.15 6
7 MS Access Microsoft 1992 Comercial Relational DBMS 128.81 5.50 8
8 Cassandra
Apache Software
Foundation
2008 Open source - Apache v2 Wide column store 126.20 -4.29 7
9 Redis Salvatore Sanfilippo 2009 Comercial, BSD 3 Key-value store 120.41 12.61 10
10 Elasticsearch Elastic 2010 Open source - Apache v2 Search engine 120.00 23.52 11
Un dato muy interesante es la gran diferencia en el puntaje que se tiene entre los tres
primeros lugares comparados contra el 4to y 5to lugar, esta diferencia es de casi 4 veces:
mientras que el primer lugar (Oracle) tiene 1359 puntos, el quinto lugar (MongoDB) tiene solo
332.73 puntos.

# Nombre del DBMS Empresa fabricante
1a
versión
Tipo de licencia Tipo DBMS Puntaje
Variación
Sep2016
#Sep 2016
11 SQLite Dwayne Richard Hipp 2000
Open source - public
domain
Relational DBMS 112.04 3.41 9
12 Teradata Teradata 1979 Comercial Relational DBMS 80.91 7.84 12
13 Solr
Apache Software
Foundation
2004
Open source - Apache
v2
Search engine 69.91 2.95 14
14 SAP Adaptive Server SAP, Sybase 1987 Comercial Relational DBMS 66.75 -2.41 13
15 HBase
Apache Software
Foundation
2008
v2
Wide column store 64.34 6.53 15
16 Splunk Splunk, Inc 2003 Comercial Search engine 62.57 11.28 17
17 FileMaker Filemaker, Inc (Apple) 1983 Comercial Relational DBMS 61.00 5.64 16
18 MariaDB MariaDB Foundation 2009 Comercial, GPL2 Relational DBMS 55.47 16.94 20
19 Hive
Apache Software
Foundation
2012
v2
Relational DBMS 48.62 -0.21 18
20 SAP HANA SAP 2010 Comercial Relational DBMS 48.33 4.91 19
21 Neo4j Neo4j, Inc. 2007 Comercial, GPL3 Graph DBMS 38.42 2.06 21
22 Amazon DynamoDB Amazon 2012 Comercial, free tier Document store 37.82 10.40 25
23 Couchbase Couchbase, Inc 2011
v2
Document store 33.11 4.57 22
24 Memcached
Danga Interactive
(LiveJournal)
2003 Open source - BSD Key-value store 28.94 0.51 23
25 Informix IBM 1984 Comercial Relational DBMS 27.84 -0.35 24
26 Vertica HP (Vertica ) 2005 Comercial Relational DBMS 22.01 0.95 27
27
Microsoft Azure SQL
Database
Microsoft 2010 Comercial Relational DBMS 21.60 2.18 29
28 CouchDB
Apache Software
Foundation
2005
v2
Document store 20.99 -0.48 26
29 Netezza IBM 2000 Comercial Relational DBMS 19.40 -0.41 28
30 Firebird
Firebird Foundation
(Borland Interbase)
2000
Comercial, Open
source
Relational DBMS 17.86 2.28 30
Continuación … Tabla 6. Top 30 de sistemas de Bases de Datos (DBMS) más populares en Sept 2017. Basado en db-engines.com

Top 20 DBMS
Gráfico en escala logarítmica de la tendencia en popularidad de los Top 20 DBMS
Fig. 4. Los Top 20 DBMS. Incluyendo relacionales y NoSQL. Tomado de DB-engines.com
Se aprecia claramente que los tres primeros lugares son líderes indiscutibles a lo largo del 2013 y hasta la
fecha, y también, como algunos motores NoSQL (p. e. MongoDB) empiezan a tener notoriedad, pero
siguen estando muy distantes a los tres punteros que son: Oracle, MySQL y MS SQL Server.

Top 10 SGBD NoSQL vs Oracle
Fig. 5. Top 10 sistemas NoSQL vs Oracle. Tomado de db-engines.com
En la Fig. 5 se muestra de forma similar la tendencia de popularidad para los motores NoSQL, se ha
dejado activa la visualización del ranking del Oracle para tenerlo de referencia y apreciar el amplio margen
que hay entre los motores NoSQL y el líder global en este ranking.

1.3.2. La encuesta para desarrolladores de Stackoverflow
“Los profesionales del área de bases de datos con habilidades en SQL siguen
siendo muy bien reconocidos, demandados y bien pagados”.
Developer Hiring Trends 2017 [Mazzina, 2017]
Se analiza la encuesta 2017 de Stackoverflow [Stackoverflow, 2017]*:
• respuestas de más de 60 mil encuestados de todo el planeta.
• se comentan los cambios en las tecnologías y ofertas de empleo
• alta demanda de puestos especializados con pocos candidatos.
• áreas de mayor demanda:
o Backend para web/cloud, iOS, Android y DBA/SQL.
* https://insights.stackoverflow.com/survey/2017/

Tecnologías de Bases de Datos más populares
Fig. 6. Resultados de la encuesta Stackoverflow 2017, donde se analizan las tecnologías de bases de datos
que más utilizan los desarrolladores a nivel mundial. Tomado de [Stackoverflow, 2017].

Lenguajes de programación más utilizados a nivel mundial
Fig. 7. Resultados de la encuesta Stackoverflow 2017, donde se presentan los lenguajes de programación
más utilizados por los desarrolladores a nivel mundial. Tomado de [Stackoverflow, 2017].

1.3.3. Oferta y demanda de empleos en el mercado laboral
Para hacer un análisis desde la perspectiva del mercado laboral, usamos el
portal indeed.com, especializado en ofertas y búsquedas de empleo, y
utilizamos su servicio de JobTrends [indeed.com, 2017]
Si se trata de analizar las tendencias de empleo con una comparativa entre
varios perfiles tecnológicos, p.e.:
• NoSQL,
• Big Data,
• SQL,
• web developer,
• android developer y
• cloud computing
solo tendríamos que escribir la siguiente URL en nuestro web-browser [*]:
https://www.indeed.com/jobtrends/q-NoSQL-q-big-data-q-SQL-q-web-developer-q-android-developer-q-cloud-computing.html
*NOTA: Durante el proceso final de edición de este texto, se detectó que la funcionalidad de Indeed.com/JobTrends/ para formular
expresiones comparativas de empleo ya no está disponible, esto pudiera ser una situación temporal. Afortunadamente, ya se habían
capturado en pantalla las gráficas resultantes que se muestran en las siguientes dos figuras.

Perfiles de empleos requeridos por las empresas
Comparativa de oferta de trabajos tradicionales como “desarrollo web” y
“SQL”, contra otros perfiles como: “cloud-computing”, "desarrollo android",
"tecnologías en la nube" y "Big Data".
Fig.8. Comparativa en tendencias de ofertas de empleo por parte de las empresas para perfiles de
Big Data y bases de Datos. Periodo del 2014 al 2017. Tomado de Indeed.com/JobTrends/

Profesionales que buscan trabajo y ofrecen sus servicios
Análisis del tipo de empleo que buscan las personas (Jobseeker interest),
Fig.9. Comparativa en tendencias de interés de empleo por parte las personas para perfiles de
Big Data y bases de Datos. Periodo del 2014 al 2017. Tomado de Indeed.com/JobTrends/
Si comparamos la oferta contra la demanda, para perfiles en SQL la demanda de
empresas es del 1.86% mientras que la oferta no llega al 0.2% de postulantes.

1.3.4. Empleos con más futuro: rangos de ingreso para profesionales en TI
En el estudio reciente de la “Guía 2017 de salarios para profesionales de tecnología
para EUA” [RHT, 2017] publicado por la empresa consultora estadounidense “Robert
Half Technology” realizan un análisis de cuáles son los roles profesionales más
demandados por las empresas del área de la TI.
En este estudio se ha identificado que si se deja fuera de este análisis los salarios
ofrecidos a los puestos gerenciales (CIO, CTO, directivos) -los cuales en oscilan en
rangos desde $140,000 - 279,000 USD anuales- es entonces el área
correspondiente a "Datos y Administradores de Bases de Datos" donde se han
encontrado los puestos de trabajo mejor valorados.
Por ejemplo, el "Ingeniero en Big Data" ronda los rangos de salario que puedan
llegar al umbral de puestos directivos, y es esta área donde también se han ubicado
los más altos porcentajes de incremento en su salario promedio anual, si se
compara el año 2016 contra la proyección para este 2017.

Tabla 7. Comparativa de niveles de ingreso para el área de “Datos y Administradores de Bases de Datos.
Extracto tomado de la “Guía 2017 de salarios para profesionales de tecnología para EUA” (RHT, 2017)
Profesional de las TI 2016* 2017* % cambio**
Data Scientist $109,000 - $153,750 $116,000 - $ 163,500 6.40%
Big Data Engineer $129,500 - $183,500 $135,000 - $ 196,000 5.80%
Database Developer $103,250 - $153,250 $108,000 - $ 161,500 5.10%
Business Intelligence Analyst $113,750 - $164,000 $118,000 - $ 171,750 4.30%
Data Architect $127,250 - $175,500 $131,250 - $ 184,000 4.10%
Data Warehouse Manager $123,750 - $172,000 $129,000 - $ 179,000 4.10%
Data Modeler $106,750 - $155,500 $111,000 - $ 161,500 3.90%
Data Analyst/Report Writer $ 74,500 - $114,500 $ 77,500 - $ 118,750 3.80%
Database Manager $118,000 - $170,500 $122,250 - $ 177,000 3.70%
Database Administrator $ 95,750 - $142,750 $ 98,500 - $ 148,500 3.60%
Portal Administrator $ 94,000 - $134,250 $ 96,000 - $ 138,750 2.80%
Data Warehouse Analyst $105,000 - $152,000 $107,500 - $ 155,750 2.40%
Electronic Data Interchange (EDI) Specialist $ 76,500 - $115,500 $ 77,500 - $ 118,750 2.20%
*Salarios promedio anual para EUA, en USD.
** El promedio global de cambio anual es de 3.69%

En la Tabla 7 se muestran los niveles de ingreso para profesionales en TI en el área
de "Datos y Administradores de Bases de Datos", se trata tan solo de un extracto
de toda la información contenida en el estudio mencionado que incluye el análisis
de casi 60 diferentes perfiles de profesionales en TI, pero se puede apreciar que los
valores más altos del porcentaje de incremento del salario de un año a otro, son
del 6.4% para Data-Scientist, de 5.80% para Big Data Engineer, del 5.10% para
Database developer y del 4.30% para el Business Intelligence Analyst, mientras que
el promedio global de incremento es del 3.69%.
Estos datos nos dan a entender que esta área de especialización es bien valorada,
ampliamente demandada y por lo tanto muy bien pagada. Obviamente estas cifras
son para Estados Unidos, pero pueden servir de referencia para los profesionales
de México y Latinoamérica que estén interesados en especializarse en estos temas
y también para las empresas de TI de la región para poder ofrecer sueldos
competitivos y asegurarse la retención o captación de talentos.

1.4. Comentarios finales
Hemos abordado el fenómeno del Big Data y las herramientas tecnológicas
de bases de datos que se han desarrollado para permitir el procesamiento
de grandes volúmenes de datos. Esta explosión desmesurada en la
generación de información es propiciada en gran medida por el Internet,
las redes sociales, las empresas que han digitalizado sus procesos y la
ubicuidad e interconectividad de dispositivos que generan datos en cada
instante.
Los sistemas tradicionales de bases de datos basados en el modelo
relacional han dejado de ser la única opción para la gestión apropiada de
los datos, por el contrario, en la última década ha habido cambios
significativos en las tecnologías de datos lo que ha dado pie al surgimiento
de una amplia gama de sistemas de bases de datos, llamados NoSQL, que
ofrecen lidiar con las necesidades de procesamiento en este mundo del Big
Data. Sin embargo, es evidente de acuerdo con el análisis de estudios
especializados, tendencias de empleos, encuestas de desarrolladores y
rankings de los sistemas más populares y más utilizados en las empresas,
que estas nuevas tecnologías del Big Data y de sistemas NoSQL están en
un proceso inicial de aceptación e incorporación en las empresas y que
llevará su tiempo para que puedan ser implementadas a nivel comercial y
de producción.

En este debate sobre tecnologías de bases de datos, los manejadores de
base de datos relacionales llevan ventaja puesto que están muy
consolidados, con más de 40 años de desarrollo tecnológico, con una gran
masa de recursos humanos altamente calificados y con herramientas muy
probadas. Para no quedarse atrás, las poderosas empresas fabricantes le
están invirtiendo mucho en desarrollo para agregarle nuevas capacidades
tipo NoSQL a sus soluciones para seguir siendo competitivos. Por el otro
lado, los sistemas NoSQL tienen menos de 10 años de desarrollo
tecnológico y siguen en constante evolución. Ciertamente, para algunos
escenarios representan las soluciones idóneas por sus capacidades de
elasticidad y escalabilidad, así como por su arquitectura orientada al
procesamiento masivo de datos heterogéneos.
Falta mucho tiempo aún para que los sistemas NoSQL puedan convertirse
en la plataforma reinante de las bases de datos y seguramente esta lucha
nos tocará presenciarla en los próximos años. Por lo pronto, lo que nos
queda a nosotros es estar atentos, capacitarnos en estas nuevas
herramientas y nuevas tecnologías y estar dispuestos a aprender todos los
días.

Referencias
Diebold, FX. (2012). A personal perspective on the origin(s) and development of "Big Data": The
phenomenon, the term, and the discipline. Social Science Research Network. Accesible desde:
https://papers.ssrn.com/sol3/papers.cfm?abstract_id=2202843
Mashey, JR. (1998). Big Data and the Next Wave of InfraStress. Presentación ofrecida el 25 Abril de 1998, por
el Chief Scientist de la empresa SGI. Disponible en:
http://usenix.org/publications/library/proceedings/usenix99/invited_talks/mashey.pdf
Dutcher, J. (2014). What Is Big Data? Disponible en el Blog de Datascience de la UCBerkeley en:
https://datascience.berkeley.edu/what-is-big-data/ (Ultimo acceso en Sept, 2017)
Gandomi, A., y Haider, M. (2015). Beyond the hype: Big Data concepts, methods, and analytics. International
Journal of Information Management, 35(2), 137-144.
Moura, JA., y Serrao, C. (2015). Security and Privacy Issues of Big Data. En: Handbook of Research on Trends
and Future directions in Big Data and Web intelligence. IGI Global book series Advances in Data Mining and
Database Management. ISBN: 978-14666-85055. págs. 20-52.
Harrison, G. (2015). Five Database Technology Trends. The NoCOUG Journal. Disponible en:
http://guyharrison.squarespace.com/storage/Pages%20from%20NoCOUG_Journal_Latest.pdf (Ultimo acceso, Septiembre
2017)
Harrison, G. (2015b). Next generation databases. NoSQL, NewSQL and Big Data. Editorial Apress. ISBN: 978-
14842-1330-8. 235 págs.
Lourenço, et al, (2015). Choosing the right NoSQL database for the job: a quality attribute evaluation. Journal
of BigData. vol. 2 (1) 18 págs. ISSN 2196-1115. Disponible en:
https://journalofbigdata.springeropen.com/track/pdf/10.1186/s40537-015-0025-0/
Hecht, R., y Jablonski, S. (2011). NoSQL evaluation. In: International Conference on Cloud and Service
Computing. IEEE, Hong Kong, China. pp 336–41.

Shaleynikov, A. (2017). Top 4 NoSQL Databases. Infografía en la sección de Bases de Datos del portal
especializado Dzone. Disponible en https://dzone.com/articles/top-4-nosql-databases/ (Ultimo acceso, septiembre
2017)
Codd. E.F. (1970). A Relational Model of Data for Large Shared Data Banks. Communications of the ACM.
13(6). pp 377-387. Disponible en: http://dl.acm.org/citation.cfm?id=362685
Brewer, E.A. (2000). Towards robust distributed systems. In: Principles of Distributed Computing (PODC)
IEEE, Portland, Oregon, USA Vol. 7.
Wada, H., Fekete, A., Zhao, L., Lee. K. y Liu, A. (2011). Data consistency properties and the trade-offs in
commercial cloud storage: the consumers’ perspective. In: CIDR. ACM, Asilomar, California, USA Vol. 11. pp
134–143.
Stonebraker, M. (2010). In search of database consistency. Communications of the ACM. 53, (10). pp. 8–9.
Mazzina, A. (2017). StackOverflow. Developer Hiring Trends in 2017. Disponible en el Blog de Stackoverflow,
en: https://stackoverflow.blog/2017/03/09/developer-hiring-trends-2017/ (Ultimo acceso, septiembre, 2017)
Stackoverflow. (2017). Developer Survey Results 2017. Resultados de la Encuesta 2017 para desarrolladores
de la comunidad Stackoverflow, disponible en:
https://insights.stackoverflow.com/survey/2017/ (Ultimo acceso septiembre, 2017.)
Indeed.com (2017). JobTrends. Tendencias de oferta y demandas de empleo a nivel mundial en Indeed.com,
el portal web especializado para buscadores y ofertadores de empleo. https://www.indeed.com/jobtrends/
(Ultimo acceso Julio, 2017)
RHT. (2017). 2017 Salary Guide for Technology Professionals. Reporte especializado de la empresa
consultora “Robert Half Tecnhnology” sobre los salarios para profesionales de las TI en EUA y Canadá para
el año 2017. Disponible en: https://www.roberthalf.com/sites/default/files/documents/rht_0916_iapdf_sg2017_nam_eng.pdf
(Ultimo acceso, agosto 2017)

Big data, NoSQL y tendencias en Bases de Datos 2018.

Más contenido relacionado

La actualidad más candente (20)

Similar a Big data, NoSQL y tendencias en Bases de Datos 2018. (20)

Más de Roman Herrera (6)

Último (20)

Big data, NoSQL y tendencias en Bases de Datos 2018.