Formation Apache Spark SQL

Dans cette formation en direct, dirigée par un instructeur, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses en travaillant sur des exercices pratiques.

A l'issue de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser les Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des Big Data en utilisant PySpark.

Dans cette formation en direct, dirigée par un instructeur, les participants découvriront les offres technologiques et les approches de mise en œuvre pour le traitement des données graphiques. L'objectif est d'identifier les objets du monde réel, leurs caractéristiques et leurs relations, puis de modéliser ces relations et de les traiter en tant que données à l'aide d'une approche Graph Computing (également connue sous le nom de Graph Analytics). Nous commencerons par une vue d'ensemble et nous nous concentrerons sur des outils spécifiques au fil d'une série d'études de cas, d'exercices pratiques et de déploiements en direct.

A l'issue de cette formation, les participants seront capables de :

• Comprendre comment les données des graphes sont persistées et parcourues.
• Sélectionner le meilleur framework pour une tâche donnée (des bases de données de graphes aux frameworks de traitement par lots.)
• Mettre en œuvre Hadoop, Spark, GraphX et Pregel pour effectuer des calculs de graphes sur de nombreuses machines en parallèle.
• Voir les problèmes de big data du monde réel en termes de graphes, de processus et de traversées.

Format du cours

• Les cours magistraux et les discussions sont interactifs.
• De nombreux exercices et de la pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation des cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.

MLlib est la bibliothèque d'apprentissage automatique (ML) de Spark. Son objectif est de rendre l'apprentissage pratique pratique évolutif et facile. Il comprend des algorithmes et des utilitaires d'apprentissage courants, notamment la classification, la régression, la mise en cluster, le filtrage collaboratif, la réduction de la dimensionnalité, ainsi que des primitives d'optimisation de niveau inférieur et des API de pipeline de niveau supérieur.

Il se divise en deux paquets:

• spark.mllib contient l'API d'origine construite sur les RDD.

• spark.ml fournit des API de niveau supérieur construites à partir de DataFrames pour la construction de pipelines ML.

Public

Ce cours s’adresse aux ingénieurs et aux développeurs qui souhaitent utiliser une bibliothèque de machines intégrée à Apache Spark

L'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.

Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques Big Data pour traiter des données médicales
• Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé

Public

• Développeurs
• Data Scientists

Format du cours

• Partie lecture, partie discussion, exercices et exercices intensifs.

Remarque

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Cette formation en direct avec instructeur (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.

A l'issue de cette formation, les participants seront capables de :

Utilisez Hortonworks pour exécuter Hadoop de manière fiable à grande échelle. Unifiez les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark. Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark. Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.

Dans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
• Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
• Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.

Magellan est un moteur d'exécution distribué à source ouverte pour l'analyse géospatiale sur les grandes données. Imployé au-dessus de Apache Spark, il étend Spark SQL et fournit une abstraction relative pour l'analyse géospatiale.

Cette formation guidée par l'instructeur, en direct introduit les concepts et les approches pour la mise en œuvre d'analyse géospatiale et marche les participants à travers la création d'une application d'analyse prédictive en utilisant Magellan sur Spark.

À la fin de cette formation, les participants seront en mesure de :

• Demandez efficacement, parse et rejoignez des données géospatiales à l'échelle
• Implémentation des données géospatiales dans les applications d'intelligence d'affaires et d'analyse prédictive
• Utilisez un contexte spatial pour étendre les capacités des appareils mobiles, des capteurs, des logs et des portables

Le format du cours

• Lecture et discussion interactives.
• Beaucoup d’exercices et de pratiques.
• La mise en œuvre dans un environnement de laboratoire en direct.

Options de personnalisation de cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Cette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) est destinée aux développeurs qui souhaitent effectuer des analyses de big data en utilisant Apache Spark dans leurs applications .NET.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Comprendre comment .NET implémente les API Spark afin qu'elles soient accessibles à partir d'une application .NET.
• Développer des applications de traitement de données en C# ou F#, capables de traiter des ensembles de données dont la taille se mesure en téraoctets et en pédaoctets.
• Développer des fonctions d'apprentissage automatique pour une application .NET en utilisant les capacités d'Apache Spark.
• Réaliser des analyses exploratoires à l'aide de SQL requêtes sur des ensembles de big data.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions big data.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place une architecture de pipeline de données pour le traitement des big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct (en ligne ou sur site) s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark de traitement de très grandes quantités de données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce et savoir quand utiliser l'un ou l'autre.
• Intégrer Apache Spark avec d'autres outils d'apprentissage automatique.

Cette formation en direct avec instructeur à Canada (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent déployer, maintenir et optimiser les clusters Spark.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans différents environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et assurer la haute disponibilité.
• Déboguer et résoudre les problèmes courants liés à Spark.

La courbe d'apprentissage d' Apache Spark augmente lentement au début, il faut beaucoup d'efforts pour obtenir le premier retour. Ce cours vise à passer à travers la première partie difficile. Après avoir suivi ce cours, les participants comprendront les bases d’ Apache Spark , ils différencieront clairement RDD de DataFrame, ils apprendront les API Python et Scala , ils comprendront les exécuteurs et les tâches, etc. En suivant également les meilleures pratiques, ce cours est fortement axé sur déploiement en nuage, Databricks et AWS. Les étudiants comprendront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark d'AWS.

PUBLIC:

Ingénieur de données, DevOps , Data Scientist

OBJECTIF:

Ce cours présentera Apache Spark . Les étudiants apprendront comment Spark s'intègre dans l'écosystème du Big Data et comment utiliser Spark pour l'analyse de données. Le cours couvre le shell Spark pour l'analyse de données interactive, les composants internes de Spark, les API Spark, Spark SQL , le streaming Spark, ainsi que l'apprentissage automatique et graphX.

PUBLIC :

Développeurs / Analystes de données