Saltar al contenido

Aplicando la arquitectura Lambda con Spark, Kafka y Cassandra

Sección Introducción Transcripciones

Resumen del curso

Aplicando la arquitectura Lambda con Spark, Kafka y Cassandra
Aplicando la arquitectura Lambda con Spark, Kafka y Cassandra

¡Hola! Mi nombre es Ahmad Alkilani, y bienvenidos a mi curso, Aplicando la Arquitectura Lambda con Spark, Kafka y Cassandra. Vemos grandes datos discutidos todos los días, ya sea que estés en el campo trabajando activamente en grandes proyectos de datos, escuchando sobre la escala de problemas que las empresas como LinkedIn, Facebook y Twitter tienen que enfrentar diariamente, o simplemente escuchando la radio sobre alguna iniciativa en la que los grandes datos permitieron el análisis y el descubrimiento de nuevos conocimientos sobre los datos que tenemos. En este curso, nos centraremos en la construcción de sistemas en tiempo real que puedan manejar datos en tiempo real a escala con robustez y tolerancia a las fallas como ciudadanos de primera clase usando herramientas como Apache Spark, Kafka, Cassandra y Hadoop. Veremos cómo el diseño cuidadoso de sus grandes aplicaciones de datos le permite combinar datos de flujo de baja latencia en cargas de trabajo por lotes. Diseñaremos y construiremos una aplicación desde cero usando Apache Spark, Spark DataFrames y Spark SQL, además de la API de fuentes de datos de Spark para cargar, almacenar y manipular datos. También veremos las técnicas de integración de Spark Streaming y Spark-Kafka para mayor confiabilidad y velocidad. También escribiremos y produciremos datos Kafka para simular nuestro flujo de datos en tiempo real en nuestra aplicación de streaming. Y a medida que nos adentremos en el curso, veremos cómo se puede preservar el estado global y utilizar la memoria de forma eficiente con algoritmos aproximados mientras construimos una aplicación de Spark Streaming con estado. Y una aplicación de producción no está completa sin la capacidad de manejar errores y actualizaciones de código. También aprenderemos a usar una base de datos escalable NoSQL y a persistir sus datos en Cassandra y HDFS. Al final de este curso, se sentirá cómodo construyendo sus propios sistemas de datos grandes en tiempo real, escalables y tolerantes a las fallas y actuará sobre los datos de streaming y batch con Spark, Kafka, Cassandra y HDFS como la columna vertebral de la arquitectura lambda. Antes de comenzar este curso, usted debe estar familiarizado con algún lenguaje de programación, preferiblemente Java, Scala, o C#. Pero ciertamente no tienes que ser un maestro en ninguno de estos, ya que te guiaremos a través de una suave introducción para ponerte en marcha. Espero que se unan a mí en este viaje para aprender acerca de las arquitecturas lambda con el curso de Aplicación de la Arquitectura Lambda con Spark, Kafka y Cassandra en .