Formation Apache Spark MLlib

Format du cours

• Les cours magistraux et les discussions sont interactifs.
• De nombreux exercices et de la pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation des cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.

L'analyse de données volumineuses implique l'examen de grandes quantités d'ensembles de données variés afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de quantités massives de données médicales et cliniques hétérogènes complexes. L'application de l'analyse de données volumineuses sur les données de santé présente un potentiel énorme pour la compréhension de l'amélioration de la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis pour les analyses et les applications pratiques dans un environnement clinique.

Au cours de cette formation en direct animée par un instructeur (à distance), les participants apprendront à effectuer des analyses de données volumineuses dans le domaine de la santé tout en effectuant une série d'exercices pratiques en laboratoire.

À la fin de cette formation, les participants seront en mesure de:

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques Big Data pour traiter des données médicales
• Etudiez les systèmes de données volumineuses et les algorithmes dans le contexte d'applications de santé

Public

• Développeurs
• Data Scientists

Format du cours

• Partie lecture, partie discussion, exercices et exercices intensifs.

Remarque

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Cette formation en direct avec instructeur (en ligne ou sur site) présente Hortonworks Data Platform (HDP) et accompagne les participants dans le déploiement de la solution Spark + Hadoop.

A l'issue de cette formation, les participants seront capables de :

Utilisez Hortonworks pour exécuter Hadoop de manière fiable à grande échelle. Unifiez les capacités de sécurité, de gouvernance et d'exploitation de Hadoop avec les flux de travail analytiques agiles de Spark. Utiliser Hortonworks pour étudier, valider, certifier et prendre en charge chacun des composants d'un projet Spark. Traiter différents types de données, notamment structurées, non structurées, en mouvement et au repos.

Dans cette formation dirigée par un instructeur en <loc> ; (sur site ou à distance), les participants apprendront comment configurer et intégrer différents Stream Processing frameworks avec des systèmes de stockage de big data existants et des applications logicielles et microservices connexes.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer différents Stream Processing frameworks, tels que Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner le framework le plus approprié pour le travail à effectuer.
• Traiter des données en continu, de manière concurrente et enregistrement par enregistrement.
• Intégrer les solutions Stream Processing aux bases de données existantes, aux entrepôts de données, aux lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec les applications d'entreprise et les microservices.

Magellan est un moteur d'exécution distribué à source ouverte pour l'analyse géospatiale sur les grandes données. Imployé au-dessus de Apache Spark, il étend Spark SQL et fournit une abstraction relative pour l'analyse géospatiale.

Cette formation guidée par l'instructeur, en direct introduit les concepts et les approches pour la mise en œuvre d'analyse géospatiale et marche les participants à travers la création d'une application d'analyse prédictive en utilisant Magellan sur Spark.

À la fin de cette formation, les participants seront en mesure de :

• Demandez efficacement, parse et rejoignez des données géospatiales à l'échelle
• Implémentation des données géospatiales dans les applications d'intelligence d'affaires et d'analyse prédictive
• Utilisez un contexte spatial pour étendre les capacités des appareils mobiles, des capteurs, des logs et des portables

Le format du cours

• Lecture et discussion interactives.
• Beaucoup d’exercices et de pratiques.
• La mise en œuvre dans un environnement de laboratoire en direct.

Options de personnalisation de cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Cette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) est destinée aux développeurs qui souhaitent effectuer des analyses de big data en utilisant Apache Spark dans leurs applications .NET.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Comprendre comment .NET implémente les API Spark afin qu'elles soient accessibles à partir d'une application .NET.
• Développer des applications de traitement de données en C# ou F#, capables de traiter des ensembles de données dont la taille se mesure en téraoctets et en pédaoctets.
• Développer des fonctions d'apprentissage automatique pour une application .NET en utilisant les capacités d'Apache Spark.
• Réaliser des analyses exploratoires à l'aide de SQL requêtes sur des ensembles de big data.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions big data.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place une architecture de pipeline de données pour le traitement des big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct (en ligne ou sur site) s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark de traitement de très grandes quantités de données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce et savoir quand utiliser l'un ou l'autre.
• Intégrer Apache Spark avec d'autres outils d'apprentissage automatique.

Cette formation en direct avec instructeur à Canada (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent déployer, maintenir et optimiser les clusters Spark.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans différents environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et assurer la haute disponibilité.
• Déboguer et résoudre les problèmes courants liés à Spark.

La courbe d'apprentissage d' Apache Spark augmente lentement au début, il faut beaucoup d'efforts pour obtenir le premier retour. Ce cours vise à passer à travers la première partie difficile. Après avoir suivi ce cours, les participants comprendront les bases d’ Apache Spark , ils différencieront clairement RDD de DataFrame, ils apprendront les API Python et Scala , ils comprendront les exécuteurs et les tâches, etc. En suivant également les meilleures pratiques, ce cours est fortement axé sur déploiement en nuage, Databricks et AWS. Les étudiants comprendront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark d'AWS.

PUBLIC:

Ingénieur de données, DevOps , Data Scientist

OBJECTIF:

Ce cours présentera Apache Spark . Les étudiants apprendront comment Spark s'intègre dans l'écosystème du Big Data et comment utiliser Spark pour l'analyse de données. Le cours couvre le shell Spark pour l'analyse de données interactive, les composants internes de Spark, les API Spark, Spark SQL , le streaming Spark, ainsi que l'apprentissage automatique et graphX.

PUBLIC :

Développeurs / Analystes de données

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux data scientists et aux développeurs qui souhaitent utiliser Spark NLP, construit sur Apache Spark, pour développer, mettre en œuvre et mettre à l'échelle des modèles et des pipelines de traitement de texte en langage naturel.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement de développement nécessaire pour commencer à construire des pipelines NLP avec Spark NLP.
• Comprendre les caractéristiques, l'architecture et les avantages de l'utilisation de Spark NLP.
• Utiliser les modèles pré-entraînés disponibles dans Spark NLP pour mettre en œuvre le traitement de texte.
• Apprendre à construire, entraîner et mettre à l'échelle les modèles Spark NLP pour des projets de production.

Cette formation en direct (en ligne ou sur site) est destinée aux développeurs qui souhaitent utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données volumineux et complexes.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement nécessaire pour commencer à traiter les big data avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants de base et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des big data.
• Explorer les outils de l'écosystème Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation par filtrage collaboratif similaires à ceux de Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle des algorithmes d'apprentissage automatique.

Cette formation en direct avec instructeur en <loc> ; (en ligne ou sur site) s'adresse aux ingénieurs logiciels qui souhaitent traiter des données volumineuses avec Spark Streaming et Scala.

A l'issue de cette formation, les participants seront capables de :

• Créer des applications Spark avec le langage de programmation Scala.
• Utiliser Spark Streaming pour traiter des flux continus de données.
• Traiter des flux de données en temps réel avec Spark Streaming.