Curso de Apache Hive para Big Data

Lección 1 • Arquitectura y Componentes de Hive

Explica los componentes principales de Hive: metastore, driver, compilador y motor de ejecución. Conecta la arquitectura con la comprensión del ciclo de vida de las consultas.

Lección 2 • Fundamentos y Desafíos de Big Data

Cubre los desafíos de volumen, velocidad y variedad que impulsan la adopción de big data. Establece el contexto de por qué existen herramientas de procesamiento distribuido como Hive.

Lección 3 • Configuración de un Entorno Hive

Guía la instalación y configuración de un entorno Hive local o sandbox. Proporciona preparación práctica para todos los capítulos siguientes.

Lección 1 • Tipos de Datos Primitivos y Complejos

Cubre los primitivos numéricos, de cadena, booleanos y de fecha junto con los tipos complejos ARRAY, MAP y STRUCT. La selección correcta del tipo afecta el almacenamiento y la precisión de las consultas.

Lección 2 • Sintaxis de HiveQL y Estructura de Consultas

Presenta HiveQL como un dialecto SQL con extensiones específicas de Hive. Cubre las cláusulas SELECT, FROM, WHERE y ORDER BY como bloques de construcción.

Lección 3 • Agregación y Agrupamiento

Enseña GROUP BY, HAVING y funciones de agregado para resumir conjuntos de datos. La agregación es fundamental para los patrones de consultas analíticas utilizados a lo largo del curso.

Lección 4 • Subconsultas y Expresiones de Tabla Comunes

Introduce vistas en línea, subconsultas y CTEs con la cláusula WITH para un diseño de consultas modular. Estos patrones aparecen en consultas analíticas complejas en capítulos posteriores.

Lección 1 • Particionado de Tablas

Enseña el particionado estático y dinámico para reducir los escaneos completos de tabla. El particionado es la técnica principal para mejorar el rendimiento de las consultas en tablas grandes.

Lección 2 • Creación y Administración de Bases de Datos

Cubre CREATE DATABASE, DROP DATABASE y las propiedades de la base de datos. Una organización adecuada de la base de datos apoya la gobernanza de datos multi-equipo.

Lección 3 • Formatos de Almacenamiento de Tablas

Compara los formatos de almacenamiento TextFile, SequenceFile, ORC y Parquet. La elección del formato impacta directamente en la velocidad de consulta y la eficiencia del almacenamiento.

Lección 4 • Tablas Administradas vs. Externas

Distingue las tablas administradas (datos propiedad de Hive) de las tablas externas (datos propiedad del usuario). Elegir correctamente previene la pérdida accidental de datos.

Lección 1 • Carga de Datos desde Archivos

Cubre LOAD DATA LOCAL y LOAD DATA desde rutas HDFS. La carga basada en archivos es el patrón de ingesta inicial más común en los flujos de trabajo de Hive.

Lección 2 • Transacciones ACID y Operaciones CRUD

Explica el soporte ACID de Hive que permite UPDATE y DELETE en tablas ORC. Las operaciones ACID requieren configuración y propiedades de tabla específicas.

Lección 3 • Patrones de INSERT e INSERT OVERWRITE

Enseña INSERT INTO e INSERT OVERWRITE para la población de datos basada en consultas. Estos patrones soportan pipelines de ETL construidos completamente dentro de HiveQL.

Lección 1 • Skew Joins y Manejo de Sesgo de Datos

Aborda el sesgo de join causado por valores de clave de alta frecuencia que sobrecargan los reducers. La optimización de skew join distribuye las claves calientes entre múltiples tareas.

Lección 2 • Tipos y Sintaxis de Join

Cubre los joins INNER, LEFT, RIGHT, FULL OUTER y CROSS con sintaxis de HiveQL. Comprender la semántica de los joins previene conjuntos de resultados incorrectos.

Lección 3 • UNION, INTERSECT y EXCEPT

Enseña operaciones de conjunto para combinar y comparar conjuntos de resultados entre consultas. Estas operaciones soportan patrones de desduplicación y análisis diferencial.

Lección 4 • Map-Side y Broadcast Joins

Explica los map-side joins usando la sugerencia MAPJOIN para la optimización de tablas pequeñas. Los broadcast joins eliminan la sobrecarga de shuffle en joins de tablas grandes a pequeñas.

Lección 1 • Comprensión del Plan de Ejecución de Consultas

Utiliza EXPLAIN y EXPLAIN EXTENDED para interpretar los planes de ejecución de MapReduce y Tez. Leer planes es la habilidad prerrequisito para todas las decisiones de optimización.

Lección 2 • Afinación del Motor de Ejecución Tez

Configura la ejecución de DAG de Tez para reducir la latencia en comparación con MapReduce. Tez es el motor recomendado para cargas de trabajo de Hive interactivas e iterativas.

Lección 3 • Poda de Particiones y Predicate Pushdown

Asegura que las consultas escaneen solo las particiones relevantes y empujen los filtros lo antes posible. Estas técnicas reducen la E/S, que es el costo dominante en las consultas de Hive.

Lección 4 • Optimización de Formato de Archivo y Compresión

Selecciona ORC y Parquet con códecs de compresión apropiados para minimizar el tiempo de escaneo. La compresión reduce tanto el costo de almacenamiento como la E/S de red durante la ejecución de la consulta.

Lección 1 • Funciones de Tabla Definidas por el Usuario

Construye UDTFs que emiten múltiples filas desde una sola fila de entrada usando la interfaz UDTF. Las UDTFs soportan la explosión de estructuras anidadas y la generación de filas personalizadas.

Lección 2 • Funciones de Agregado Definidas por el Usuario

Implementa UDAFs usando las interfaces UDAF y GenericUDAF para agregaciones personalizadas. Las UDAFs operan a través de grupos de reducer y requieren gestión de buffer.

Lección 3 • Fundamentos del Desarrollo de UDFs

Cubre la clase base UDF, el método evaluate y el empaquetado JAR para funciones escalares simples. Las UDFs llenan los vacíos donde las funciones integradas son insuficientes.

Lección 1 • Gestión del Metastore y Alta Disponibilidad

Configura un metastore remoto con un backend relacional y configuración de alta disponibilidad. La confiabilidad del metastore es crítica para el servicio ininterrumpido de Hive en producción.

Lección 2 • Modelos de Autorización: SQL Standards y Ranger

Compara la autorización estándar SQL de Hive con el control basado en políticas de Apache Ranger. La autorización detallada aplica acceso con privilegios mínimos a nivel de columna.

Lección 3 • Autenticación e Integración con Kerberos

Configura la autenticación basada en Kerberos para HiveServer2 y conexiones de cliente. La autenticación previene el acceso no autorizado a activos de datos sensibles.

Lección 4 • Enmascaramiento de Datos y Cifrado

Aplica políticas dinámicas de enmascaramiento de datos y zonas de cifrado HDFS para proteger columnas sensibles. El enmascaramiento permite analíticas sobre datos sensibles sin exponer valores brutos.