Saltar al contenido

Arquitectura de soluciones de grandes datos sin servidores utilizando Google Dataflow

Sección Introducción Transcripciones

Resumen del curso

Arquitectura de soluciones de grandes datos sin servidores utilizando Google Dataflow
Arquitectura de soluciones de grandes datos sin servidores utilizando Google Dataflow

Hola. Me llamo Janani Ravi, y bienvenidos a este curso de Arquitectura de Grandes Soluciones de Datos sin Servidor usando Google Dataflow. Un poco sobre mí, tengo un máster en ingeniería eléctrica de Stanford y he trabajado en empresas como Microsoft, Google y FlipKart. En Google, fui uno de los primeros ingenieros que trabajó en la edición colaborativa en tiempo real en Google Docs, y tengo cuatro patentes de sus tecnologías subyacentes. Actualmente trabajo en mi propia empresa, LoonyCorn, un estudio de contenido de video de alta calidad. En este curso, estarás expuesto a todo el potencial de Cloud Dataflow y su modelo de programación radicalmente innovador. Empezamos este curso con un entendimiento básico de cómo funciona Dataflow para computación sin servidores. Estudiaremos las APIs de Apache Beam utilizadas para construir tuberías y comprenderemos qué son las fuentes de datos, las sincronizaciones y las transformaciones. Estudiaremos las etapas de un oleoducto de Dataflow y lo visualizaremos como un gráfico de enlace de asíncrono dirigido. Luego usaremos las APIs de Apache Beam para construir tuberías para transformaciones de datos tanto en Java como en Python, y ejecutaremos estas tuberías localmente y en la nube. Integraremos nuestros oleoductos con otros servicios de GCP como BigQuery y veremos cómo podemos monitorear y depurar las etapas lentas de los oleoductos. Luego estudiaremos diferentes arquitecturas de tuberías, tales como las ramificaciones y las tuberías utilizando entradas laterales. También veremos cómo podemos aplicar operaciones de ventana para realizar agregaciones en nuestros datos. Por último, trabajaremos con Dataflow sin escribir ningún código utilizando plantillas de Dataflow preconstruidas que Google ofrece para operaciones comunes. Al final de este curso, debería sentirse cómodo utilizando los canales de Dataflow para transformar y procesar sus datos e integrar sus canales con otros servicios de Google.