• Procesamiento en memoria: Spark carga los datos en la memoria, lo que agiliza considerablemente los algoritmos iterativos y las consultas interactivas en comparación con los sistemas basados en disco.
• Ejecución distribuida: funciona en un clúster de máquinas. Un programa de controlador coordina los ejecutores (procesos de trabajo) que ejecutan tareas en paralelo en diferentes particiones de datos.
• RDD y DataFrames: los conjuntos de datos distribuidos resilientes (RDD) son la abstracción de datos básica con tolerancia a fallos. Los DataFrames, creados a partir de RDDs, proporcionan una API más rica y compatible con esquemas para datos estructurados, lo que permite realizar optimizaciones a través del optimizador de Catalyst.
• Evaluación diferida y DAGs: Spark crea un grafo acíclico dirigido (DAG) de operaciones. Las transformaciones son "perezosas" (no se calculan de inmediato), lo que permite a Spark optimizar todo el flujo de trabajo antes de que una "acción" desencadene la ejecución.

Apache Spark es un motor rápido de uso general para computación de clústeres que se puede desplegar en clústeres de Hadoop o de forma independiente. Spark permite que los programadores escriban aplicaciones rápidamente en Java, Scala, Python, R y SQL para que puedan acceder a ellas los desarrolladores, los científicos de datos y los usuarios avanzados de las áreas de negocio con experiencia en estadísticas. Con Spark SQL, los usuarios se pueden conectar a cualquier fuente de datos y presentarla en forma de tabla para que puedan utilizarla los clientes de SQL. Por si fuera poco, resulta muy sencillo desplegar algoritmos interactivos de aprendizaje automático en Spark.

En cambio, con un motor de solo SQL, como Apache Impala, Apache Hive o Apache Drill, los usuarios solo pueden utilizar SQL o lenguajes semejantes para consultar los datos almacenados en distintas bases de datos. Por lo tanto, son frameworks más limitados que Spark. Sin embargo, en Google Cloud no tienes que decantarte por una opción u otra. BigQuery ofrece potentes funciones de SQL, y los servicios sin servidor de Google Cloud para Apache Spark y Dataproc, que son servicios gestionados de Spark y Hadoop, te permiten usar la versatilidad de Spark, a menudo con los mismos datos a través de BigLake Metastore y formatos abiertos.

Muchas empresas usan Spark para simplificar una tarea complicada e intensiva desde el punto de vista de la computación: procesar y analizar grandes volúmenes de datos archivados o en tiempo real, tanto estructurados como sin estructurar. Sus usuarios también lo utilizan para integrar de manera perfecta funciones complejas pertinentes, como el aprendizaje automático y los algoritmos de grafos. Entre las aplicaciones más habituales, se incluyen las siguientes:

• ETL/ELT a gran escala
• Procesamiento de datos en tiempo real
• Aprendizaje automático
• Exploración interactiva de datos
• Analíticas de gráficos

Los ingenieros de datos emplean Spark para programar y crear tareas de procesamiento de datos, con la opción de incorporar conjuntos de lenguajes ampliados. En Google Cloud, los ingenieros de datos pueden aprovechar Google Cloud Serverless para Apache Spark en flujos de procesamiento ETL/ELT sin operaciones o usar Dataproc para el control de clústeres gestionados, todo ello integrado con servicios como BigQuery y el catálogo universal de Dataplex para la gobernanza.

Los científicos de datos disfrutan de una experiencia mejor con las analíticas y el aprendizaje automático si utilizan Spark con GPUs. La posibilidad de procesar volúmenes más grandes de datos más rápido y con un lenguaje que conocen los ayuda a agilizar la innovación. Google Cloud ofrece una compatibilidad sólida con GPU para Spark y una integración perfecta con Vertex AI, lo que permite a los científicos de datos crear y desplegar modelos más rápido. Pueden aprovechar distintos entornos de cuadernos, como BigQuery Studio o Vertex AI Workbench, o conectar sus entornos de desarrollo integrados (IDEs) preferidos, como Jupyter y VS Code. Esta experiencia de desarrollo flexible, combinada con Gemini, les ayuda a agilizar su flujo de trabajo, desde la exploración inicial hasta el despliegue en producción.

• Google Cloud Serverless para Apache Spark: ejecuta tus trabajos de Spark sin gestionar ningún clúster para disfrutar de una experiencia sin operaciones. Disfruta de un inicio casi instantáneo, escalado automático y un aumento del rendimiento gracias a Lightning Engine y Gemini. Ideal para ETL, la ciencia de datos y las analíticas interactivas, sobre todo cuando se integra con BigQuery. 
• Dataproc: si necesitas más control sobre tu entorno de clúster o necesitas componentes específicos del ecosistema de Hadoop junto con Spark, Dataproc te ofrece un servicio totalmente gestionado. Dataproc simplifica la creación y la gestión de clústeres, y también se beneficia de las mejoras de Lightning Engine para el rendimiento de Spark. 
• Un ecosistema abierto y unificado: al ejecutar Spark en Google Cloud, se consigue una integración perfecta con servicios como BigQuery para analíticas unificadas, Vertex AI para MLOps, BigLake Metastore para compartir metadatos abiertos y Dataplex Universal Catalog para una gobernanza de datos integral, todos ellos con una arquitectura de lakehouse abierta.