AWS Glue de Cero a Experto: ETL y automatización en la Nube

De principiante a experto en AWS Glue ETL: limpia, transforma y automatiza tus datos. Maneja crawlers, conexiones y Jobs

Comprar el curso Vista previa gratuita

Course curriculum

1. Capa gratuita de Amazon AWS
2. Crear una cuenta con amazon AWS. Si ya la tienes puedes saltar la lección
3. Autenticacion multifactor
4. Repaso a la consola de AWS. Si ya la conoces puedes saltar la lección
5. Comprobar que teneis activada la cuenta gratuita
6. Un paseo por la consola GLUE
7. Crear un usuario IAM para GLUE
1. Enunciado del ejemplo
2. Crear los buckets de S3 y subir el fichero CSV
3. Crear role para Glue
4. Crear nuestro primer Job parte 1
5. Crear nuestro primer Job parte 2
6. PRACTICA. Crear un JOB con productos
1. Introduccion Crawlers
2. Crear un crawler
3. Ejecutar el crawler
4. PRACTICA. Crear un crawler contra el fichero de productos.
5. Ver el catalogo de datos
6. Crear un job usando el catalogo de datos
7. LABORATORIO. Job con datos semi-estructurados. Parte 1
8. LABORATORIO. Job con datos semi-estructurados. Parte 2
9. Sesiones interactivas, Data preview y su coste en Glue
10. Visualizar datos con ATHENA. Peparar el entorno
11. Visualizar datos con ATHENA. Parte final
12. Crear un crawler para los datos de salida y consultar con ATHENA. Parte 1
13. Crear un crawler para los datos de salida y consultar con ATHENA. Parte 1
14. Planificar la ejecución de un crawler
15. PRACTICA. Planificar un crawler
1. Crear otra Base de datos. Propiedades
2. Crear una tabla de forma manual. Empleados
3. Crear un job con la tabla. Usando el transformador SQL TRANSFORM
4. Generar una tabla con la salida de un JOB. Clonar el job
5. Ver y editar las propiedades de una tabla
6. LABORATORIO. Editar las propiedades de la tabla EMPLEADOS
7. Estadistica de las Tablas. Parte 1
8. Estadistica de las Tablas. Parte 2
9. Actualización del esquema de una tabla con un crawler
10. Lanzar un job con el nuevo esquema. Campos calculados
11. Actualizar un esquema de forma manual. Tabla independiente
12. PRACTICA con la tabla anterior. Job para calcular un salario neto
1. Introduccion Particionamiento
2. Configurar permisos para CloudShell
3. Crear el entorno. Ventas con multiples ficheros y carpetas
4. Crear el crawler para detectar el particionamiento
5. Consultar los datos de ventas con Athena
6. Crear un job con particionamiento para ver las ventas de una semana
1. Conectar a otras fuentes de datos. Introducción a las conexiones
2. Conectores y conexiones
3. RDS. Bases de datos relacionales. Otorgar permisos al usuario
4. Otorgar permiso al role de GLUE
5. Crear una Base de datos RDS MySQL
6. Configurar el grupo de seguridad para permitir el acceso
7. Conectar DBeaver a la Base de Datos
8. Cargar la tabla de llamadas a nuestro MySQL
9. Crear nuestra primera conexión contra RDS MySQL
10. Probar la conexión. VPC Endpoint. ¿Porque lo necesitamos para Glue?
11. Crear un VPC Endpoint
12. Crear una Base de datos en el Catalogo para guardar las tablas de MySQL
13. Crear un crawler contra la tabla "llamadas"
14. Crear un JOB para filtrar las llamadas. Transformador de tipo FILTER
15. Laboratorio Parte 1-Crear una Base de datos de tipo MariaDB
16. Laboratorio Parte 2-Crear una conexión con DBeaver para comprobar funcionamiento
17. Laboratorio Parte3-Crear una conexión GLUE
18. Laboratorio Parte 4-Crear un crawler contra la tabla "llamadas" en el target
19. Laboratorio Parte 5- Crear Job.Migrar de MySQL a MariaDB
20. Practica con RDS
1. Acceder a una base de datos externa. Crear una maquina virtual para la sección
2. Configurar el grupo de seguridad
3. Instalar mysql
4. Configurar conexion con Dbeaver
5. Enunciado del laboratorio JOB. Cargar las tablas
6. Crear el conector
7. Crear el crawler
8. Crear el JOB . Transformadores de Join de tablas y agregación. Parte 1
9. Crear el JOB . Transformadores de Join de tablas y agregación. Parte 2
1. Presentacion de seccion
2. Joins de Datasets y Eliminar duplicados
3. Renombrar y eliminar columnas
4. Transformador condicional
5. Transformadores de Filtro, concatenación y filas nulas
6. Pivotando columnas
7. Columnas calculadas.
8. Práctica con varios transformadores
1. Ver los detalles de un JOB. Parte 1
2. Ver los detalles de un JOB. Parte 2. Parar la ejecución de un JOB
3. Script de un Job visual
4. Detalles de un trabajo. Lenguajes, DPUs y workers
5. Workers y DPUs
6. Otras propiedades. Insights, linajes, bookmarks y timeouts
7. Laboratorio. Un JOB con bookmark
8. Propiedades avanzadas
9. Parametros
10. Jobs planificados
1. Introducción a la monitorizacion y los logs
2. Monitorizacion general de los Jobs
3. Paneles de metrica y logs en la ejecución de un Job
4. CloudWatch Logs
5. Laboratorio con CloudWatch logs y CloudWatch insights
6. Laboratorio de metricas con CloudWatch metrics
1. Introducción a los scripts
2. Sesiónes de Glue
3. DynamicFrame y DataFrames
4. Motores del Job
5. Un primer script sencillo
6. Scripts con otros motores
7. Leer un fichero CSV de S3. Parte 1
8. Leer un fichero CSV de S3. Parte 2
9. Escribir en un bucket S3
10. Leer de una tabla del Catalogo y escribir un CSV en S3
11. Integrar un job con un control de versiones. Github
1. Apply Mapping. Parte 1
2. Apply Mapping. Parte 2
3. Filtros y columnas calculadas Parte 1
4. Filtros y columnas calculadas Parte 2
5. Agregaciones
6. Usar argumentos en la llamada al script
7. Práctica. Argumentos y filtros
8. Joins
9. Introducción a Spark SQL.
10. Usar SQL para hacer una transformacion
11. Otras transformaciones
12. Practica otras transformaciones
1. Ejemplo de Job con Python Shell
2. Introducción a Ray
3. Ejemplo de Job con ray
1. Introducción a los Notebooks
2. Un recorrido por un Notebook
3. Crear un Notebook
4. Magic commands
5. Ejemplos con magic commands
6. Un ejemplo práctico de NoteBook
1. Introducción a los triggers
2. Triggers on demand
3. Triggers planificados
4. Triggers basados en eventos
1. Introducción a los WorkFlows
2. Crear Workflow Parte 1
3. Crear Workflow Parte2
4. Control de errores en los Workflow
5. Triggers en los Workflows
1. Introduccion AWS CLI
2. Introducción a la instalación de AWS CLI
3. Instalar AWS CLI en Windows
4. Instalar AWS CLI en Linux
5. Crear claves de acceso
6. Configurar AWS CLI en Linux
7. Ficheros de configuración en Linux
8. Configurar claves de acceso en Windows
9. Ficheros de configuración en Windows
10. Uso de AWS CLI
1. Listar y visualizar información sobre los JOBS
2. PRACTICA. Visualizar información de los crawlers
3. Crear una base de datos del catalogo
4. Ver información de las Bases de datos del catálogo
5. Practica. Borrar bases de datos
6. Crear un crawler
7. Ejecutar el crawler y ver la tabla creada
8. Crear un Job, usando S3 de origen Parte 1
9. Crear un Job, usando S3 de origen Parte 2
10. Ejecutar el job
11. Crear y ejecutar un Job desde una tabla del catalogo

About this course

$50.00
167 lecciones
16 horas de contenido de video

Requisitos previos

Conocimientos básicos de programación, especialmente en Python
Conocimientos básicos de entornos Cloud, en especial de Amazon AWS
Conocimeintos de entornos de lineas de comandos
Conocimientos básicos de procesos ETL
Conexión a Internet
Crear una cuenta gratuita de Amazon AWS

Descripción del curso

¿Quieres dominar la integración de datos en la nube con AWS?

Me llamo Sergio y voy a ser tu profesor durante toda esta formación.

Este curso te guiará a través de las funcionalidades clave de este servicio de AWS, desde lo más básico hasta las técnicas más avanzadas de ETL (Extracción, Transformación y Carga).

Aprenderás a crear y gestionar trabajos de Glue, utilizar DynamicFrames para una manipulación de datos eficiente y a trabajar con diferentes motores y características de Glue..

Exploraremos cómo integrar Glue con otros servicios de AWS como S3, Athena y Redshift para construir pipelines de datos robustos y escalables.

Cubriremos temas como el uso de AWS Glue Studio para el desarrollo visual de flujos de trabajo, la configuración de la seguridad, la optimización del rendimiento y la resolución de problemas comunes.

TODO SERÁ PRÁCTICO. Cada video es un laboratorio donde aprender a crear y trabajar con todos los componentes de AWS GLUE.

Lo que aprenderás:

Qué es AWS Glue y cómo funciona.
Crear y ejecutar Jobs ETL paso a paso.
Creación de Jobs con Glue Studio, con scripts y con notebooks
Configurar y usar Crawlers y el Catálogo de datos.
Trabajar con DataFrames y DynamicFrames en PySpark.
Usar multiples transformaciones para nuestros trabajos
Integración con Amazon S3 y bases de datos.
Monitoreo de logs y métricas con CloudWatch.
Creación de Triggers
Trabajar con Notebooks
Crear Workflows y Pipelines
Trabajar con AWS CLI
Mejores prácticas y optimización de pipelines.
Y muchas más cosas

Al finalizar, serás capaz de diseñar, automatizar y administrar flujos ETL completos con AWS Glue, aplicando buenas prácticas y logrando procesos escalables en la nube.

También estarás preparado para diseñar, implementar y gestionar soluciones de integración de datos en la nube de forma profesional.

Este curso está diseñado para desarrolladores, ingenieros de datos y analistas que buscan dominar las herramientas de ETL en el ecosistema de AWS.