Formation Big Data en Ville de Québec

Cette formation animée par un instructeur en <lieu> (en ligne ou en présentiel) s'adresse aux data scientists et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse de données massives.

À la fin de cette formation, les participants seront capables de :

• Mettre en place un environnement de données massives à l'aide de Google Colab et Spark.
• Traiter et analyser efficacement de grands ensembles de données avec Apache Spark.
• Visualiser les données massives dans un environnement collaboratif.
• Intégrer Apache Spark à des outils basés sur le cloud.

Stratio est une plateforme centrée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule et même solution. Ses modules Rocket et Intelligence permettent d'explorer, de transformer rapidement les données et de réaliser des analyses avancées dans les environnements d'entreprise.

Cette formation en direct, encadrée par un formateur (en ligne ou en présentiel), s'adresse aux professionnels des données de niveau intermédiaire souhaitant utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en mettant l'accent sur les structures itératives, les fonctions définies par l'utilisateur et la logique avancée des données.

À l'issue de cette formation, les participants seront capables de :

• Naviguer au sein de la plateforme Stratio et travailler avec les modules Rocket et Intelligence.
• Appliquer PySpark dans le contexte de l'ingestion, de la transformation et de l'analyse des données.
• Utiliser des boucles et une logique conditionnelle pour contrôler les flux de données et les tâches d'ingénierie des fonctionnalités (feature engineering).
• Créer et gérer des fonctions définies par l'utilisateur (UDF) pour des opérations de données réutilisables dans PySpark.

Format du cours

• Cours interactif et discussions.
• Nombreux exercices et mises en pratique.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de prendre les arrangements nécessaires.

L'entreposage de données est la pratique consistant à concevoir, construire et gérer des dépôts de données centralisés qui soutiennent les analyses, la génération de rapports et la prise de décision.

Cette formation dirigée par un instructeur, en ligne ou sur site, s'adresse aux professionnels des données de niveau intermédiaire qui souhaitent modéliser des données dimensionnelles, créer des pipelines ETL robustes et optimiser les charges de travail analytiques.

À la fin de cette formation, les participants seront en mesure de :

• Expliquer les concepts et les architectures de base de l'entreposage de données.
• Concevoir des modèles dimensionnels et choisir entre des schémas en étoile et en flocon de neige.
• Créer et orchestrer des pipelines ETL et ELT de manière fiable.
• Distinguer les charges de travail OLTP et OLAP et optimiser pour les analyses.

Format de la formation

• Conférence et discussion interactives.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de l'organiser.

Les participants qui complètent cette formation en présentiel animée par un instructeur à Ville de Québec acquerront une compréhension pratique et concrète du Big Data, ainsi que des technologies, méthodologies et outils qui lui sont associés.

Les participants auront l'occasion de mettre ces connaissances en pratique grâce à des exercices pratiques. Les interactions en groupe et les commentaires de l'instructeur constituent un élément important de la formation.

Le cours débute par une introduction aux concepts fondamentaux du Big Data, puis aborde les langages de programmation et les méthodologies utilisés pour réaliser des analyses de données. Enfin, nous discutons des outils et de l'infrastructure qui permettent le stockage du Big Data, le traitement distribué et la scalabilité.

Greenplum est une plateforme de données open source de traitement massivement parallèle (MPP), conçue pour les environnements d'analyse et de données à grande échelle.

Cette formation en direct, animée par un formateur (en ligne ou sur site), s'adresse aux utilisateurs techniques de niveau intermédiaire à avancé souhaitant comprendre l'architecture interne de Greenplum, concevoir des modèles de données optimisés et mettre en œuvre du SQL haute performance dans des environnements distribués.

À l'issue de cette formation, les participants seront capables de :

• Comprendre l'architecture décentralisée (shared-nothing) de Greenplum et son modèle de parallélisme.
• Concevoir des structures de tables distribuées et des partitions optimisées pour les performances des requêtes.
• Utiliser des stratégies d'indexation, des formats de stockage et des techniques de conception physique.
• Interpréter les plans EXPLAIN et optimiser les requêtes en suivant les meilleures pratiques.

Format de la formation

• Conférence interactive et débats.
• De nombreux exercices et pratiques.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.

Greenplum est une plateforme de données massivement parallèle open source basée sur PostgreSQL, conçue pour l'analyse avancée et l'entreposage de données à grande échelle.

Cette formation en direct, animée par un instructeur (en ligne ou sur site), s'adresse aux administrateurs de niveau intermédiaire souhaitant installer, configurer et gérer efficacement des environnements Greenplum, y compris la gestion des mises à jour du système et des bibliothèques.

À la fin de cette formation, les participants seront en mesure de :

• Installer et configurer un cluster Greenplum prêt pour la production.
• Gérer les mises à jour du système et appliquer les correctifs en toute sécurité.
• Gérer les bibliothèques Greenplum pour l'analyse et les extensions.
• Dépanner et surveiller les systèmes Greenplum.

Format du cours

• Conférence interactive et discussion.
• Utilisation pratique de Greenplum dans un environnement de laboratoire contrôlé.
• Exercices guidés axés sur la configuration du cluster, les flux de travail de mise à niveau et les extensions système.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours en fonction de votre environnement ou de votre plateforme de données, veuillez nous contacter afin de l'organiser.

Cette formation en présentiel ou en ligne, animée par un formateur, est dispensée à <lieu> et s'adresse aux professionnels des données de niveau avancé souhaitant optimiser leurs flux de traitement des données, garantir l'intégrité des données et mettre en œuvre des solutions de lakehouse robustes capables de gérer les complexités des applications modernes de données massives.

À l'issue de cette formation, les participants seront capables de :

• Acquérir une compréhension approfondie de l'architecture d'Iceberg, y compris la gestion des métadonnées et la disposition des fichiers.
• Configurer Iceberg pour une performance optimale dans divers environnements et l'intégrer avec plusieurs moteurs de traitement de données.
• Gérer des tables Iceberg à grande échelle, effectuer des modifications de schéma complexes et gérer l'évolution des partitions.
• Maîtriser les techniques d'optimisation des performances des requêtes et de l'efficacité des scans de données pour les grands ensembles de données.
• Mettre en œuvre des mécanismes pour assurer la cohérence des données, gérer les garanties transactionnelles et gérer les échecs dans les environnements distribués.

Cette formation en direct animée par un formateur à Ville de Québec (en ligne ou sur site) s'adresse aux professionnels des données de niveau débutant qui souhaitent acquérir les connaissances et les compétences nécessaires pour utiliser efficacement Apache Iceberg dans la gestion d'ensembles de données à grande échelle, garantir l'intégrité des données et optimiser les flux de traitement des données.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre en profondeur l'architecture, les fonctionnalités et les avantages d'Apache Iceberg.
• Apprendre les formats de tables, le partitionnement, l'évolution des schémas et les capacités de voyage dans le temps.
• Installer et configurer Apache Iceberg dans différents environnements.
• Créer, gérer et manipuler des tables Iceberg.
• Comprendre le processus de migration des données depuis d'autres formats de tables vers Iceberg.

Cette formation en présentiel ou en ligne, animée par un formateur, est dispensée dans Ville de Québec et s'adresse aux professionnels de l'informatique de niveau intermédiaire souhaitant renforcer leurs compétences en architecture des données, gouvernance des données, informatique en nuage et technologies big data, pour gérer et analyser efficacement de grands volumes de données dans le cadre de migrations de données au sein de leurs organisations.

À l'issue de cette formation, les participants seront capables de :

• Comprendre les concepts fondamentaux et les composants des différentes architectures de données.
• Acquérir une compréhension approfondie des principes de gouvernance des données et de leur importance dans les environnements réglementés.
• Mettre en œuvre et gérer des cadres de gouvernance des données tels que DAMA et TOGAF.
• Exploiter les plateformes cloud pour un stockage, un traitement et une gestion efficaces des données.

Cette formation en direct, animée par un formateur dans Ville de Québec (en ligne ou en présentiel), s'adresse aux ingénieurs de données de niveau intermédiaire souhaitant apprendre à utiliser Azure Data Lake Storage Gen2 pour concevoir des solutions analytiques efficaces.

À l'issue de cette formation, les participants seront capables de :

• Comprendre l'architecture et les fonctionnalités clés d'Azure Data Lake Storage Gen2.
• Optimiser le stockage et l'accès aux données en fonction du coût et des performances.
• Intégrer Azure Data Lake Storage Gen2 à d'autres services Azure pour l'analyse et le traitement des données.
• Développer des solutions à l'aide de l'API Azure Data Lake Storage Gen2.
• Résoudre les problèmes courants et optimiser les stratégies de stockage.

Cette formation en présentiel ou en ligne, encadrée par un formateur, dans <lieu> s'adresse aux développeurs souhaitant utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données volumineux et complexes.

À l'issue de cette formation, les participants seront capables de :

• Configurer l'environnement nécessaire pour commencer à traiter des données massives avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants clés et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des données massives.
• Explorer les outils de l'écosystème Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation basés sur le filtrage collaboratif, similaires à ceux utilisés par Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle les algorithmes d'apprentissage automatique.

La Big Data et l'analyse avancée consistent à appliquer des techniques et des outils sophistiqués pour analyser de grands ensembles de données complexes, afin d'en extraire des informations exploitables et de soutenir la prise de décision stratégique.

Cette formation en présentiel, animée par un formateur (en ligne ou sur site), s'adresse aux professionnels de la data de niveau avancé souhaitant exploiter des méthodes analytiques de pointe et les technologies du Big Data pour mener des analyses prédictives, prescriptives et en temps réel.

À l'issue de cette formation, les participants seront capables de :

• Concevoir et mettre en œuvre des pipelines de traitement de données à grande échelle pour des données structurées et non structurées.
• Appliquer des techniques avancées d'apprentissage automatique (machine learning) et d'apprentissage profond (deep learning) à des ensembles de données massifs.
• Exploiter des frameworks de calcul distribué pour l'analyse en temps réel et le streaming de données.
• Intégrer l'analyse Big Data dans les systèmes de business intelligence (BI) et de prise de décision.

Format de la formation

• Cours interactif et discussions.
• De nombreux exercices et pratiques.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin de convenir des détails.

Cette formation en direct, animée par un formateur, à Ville de Québec (en ligne ou sur site), s'adresse aux professionnels de l'informatique de niveau intermédiaire qui souhaitent acquérir une compréhension complète d'IBM DataStage sous ses aspects administratifs et développement, leur permettant de gérer et d'exploiter efficacement cet outil dans leur environnement professionnel.

À l'issue de cette formation, les participants seront capables de :

• Comprendre les concepts fondamentaux de DataStage.
• Apprendre à installer, configurer et gérer efficacement les environnements DataStage.
• Se connecter à diverses sources de données et extraire des données de manière efficace à partir de bases de données, de fichiers plats et de sources externes.
• Mettre en œuvre des techniques de chargement des données performantes.

Cette formation en direct, animée par un formateur, à Ville de Québec (en ligne ou en présentiel), s'adresse aux administrateurs système de niveau débutant à intermédiaire souhaitant déployer, entretenir et optimiser des clusters Spark.

À l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans divers environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en œuvre des mesures de sécurité et assurer une haute disponibilité.
• Dépanner et corriger les problèmes courants de Spark.

Lors de cette formation en présentiel animée par un formateur à Ville de Québec, les participants apprendront à utiliser Python et Spark conjointement pour analyser les mégadonnées, tout en réalisant des exercices pratiques.

À la fin de cette formation, les participants seront en mesure de :

• Apprendre à utiliser Spark avec Python pour analyser les mégadonnées.
• Réaliser des exercices qui reproduisent des scénarios du monde réel.
• Utiliser divers outils et techniques d'analyse des mégadonnées avec PySpark.

Ce cours en présentiel (en ligne ou sur site) s'adresse aux développeurs de logiciels, aux gestionnaires et aux analystes d'affaires qui souhaitent utiliser des systèmes de big data pour stocker et récupérer de grandes quantités de données.

À la fin de cette formation, les participants seront capables de :

• Interroger efficacement de grandes quantités de données.
• Comprendre comment les systèmes de big data stockent et récupèrent les données.
• Utiliser les derniers systèmes de big data disponibles.
• Transformer les données des systèmes de données vers des systèmes de rapport.
• Apprendre à écrire des requêtes SQL dans :
  • MySQL
  • Postgres
  • Hive Query Language (HiveQL/HQL)
  • Redshift

Format du cours

• Conférence interactive et discussion.
• De nombreux exercices et pratiques.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour l'organiser.

Les avancées technologiques et l'augmentation massive des données transforment la façon dont les affaires sont menées dans de nombreux secteurs, y compris le gouvernement. La génération de données gouvernementales et les taux d'archivage numérique sont en hausse en raison de la croissance rapide des appareils mobiles et des applications, des capteurs et dispositifs intelligents, des solutions de cloud computing et des portails destinés aux citoyens. À mesure que l'information numérique s'étend et devient plus complexe, la gestion, le traitement, le stockage, la sécurité et la disposition des informations deviennent également plus complexes. De nouveaux outils de capture, de recherche, de découverte et d'analyse aident les organisations à extraire des insights de leurs données non structurées. Le marché gouvernemental est à un point de bascule, prenant conscience que l'information est un atout stratégique, et que le gouvernement doit protéger, exploiter et analyser les informations structurées et non structurées pour mieux servir et répondre aux exigences de sa mission. Alors que les dirigeants gouvernementaux s'efforcent d'évoluer vers des organisations axées sur les données pour accomplir avec succès leur mission, ils jettent les bases pour corrélater les dépendances entre les événements, les personnes, les processus et les informations.

Des solutions gouvernementales à haute valeur seront créées à partir d'un mashup des technologies les plus disruptives :

• Appareils mobiles et applications
• Services cloud
• Technologies et réseaux d'affaires sociaux
• Big Data et analyse

Le Big Data est l'une des solutions intelligentes pour les secteurs d'activité et permet au gouvernement de prendre de meilleures décisions en agissant sur des modèles révélés par l'analyse de grands volumes de données — liés ou non, structurés et non structurés.

Mais accomplir ces prouesses nécessite bien plus que simplement accumuler de grandes quantités de données. « Tirer le sens de ces volumes de Big Data nécessite des outils et technologies de pointe capables d'analyser et d'extraire des connaissances utiles à partir de flux d'information vastes et diversifiés », ont écrit Tom Kalil et Fen Zhao du Bureau de la Politique de Science et Technologie de la Maison Blanche dans un article sur le blog de l'OSTP.

La Maison Blanche a fait un pas vers l'aide des agences à trouver ces technologies lorsqu'elle a établi l'Initiative nationale de recherche et développement sur le Big Data en 2012. L'initiative comprenait plus de 200 millions de dollars pour tirer le meilleur parti de l'explosion du Big Data et des outils nécessaires pour l'analyser.

Les défis posés par le Big Data sont presque aussi ardues que sa promesse est encourageante. Le stockage efficace des données est l'un de ces défis. Comme toujours, les budgets sont serrés, donc les agences doivent minimiser le prix par mégaoctet du stockage et maintenir les données facilement accessibles pour que les utilisateurs puissent les obtenir quand ils le veulent et comme ils en ont besoin. La sauvegarde de grandes quantités de données intensifie le défi.

L'analyse efficace des données est un autre défi majeur. De nombreuses agences utilisent des outils commerciaux qui leur permettent de passer en revue les montagnes de données, repérant des tendances qui peuvent les aider à fonctionner plus efficacement. (Une étude récente de MeriTalk a révélé que les dirigeants informatiques fédéraux pensent que le Big Data pourrait aider les agences à économiser plus de 500 milliards de dollars tout en accomplissant leurs objectifs de mission.).

Des outils Big Data développés sur mesure permettent également aux agences de répondre au besoin d'analyser leurs données. Par exemple, le groupe d'analytics computationnels du Laboratoire national d'Oak Ridge a mis à disposition de autres agences son système d'analyse de données Piranha. Le système a aidé les chercheurs médicaux à trouver un lien qui peut alerter les médecins des anévrismes aortiques avant qu'ils ne surviennent. Il est également utilisé pour des tâches plus banales, telles que le tri des CV pour connecter les candidats à l'emploi avec les gestionnaires de recrutement.

Lors de cette formation animée par un instructeur à Ville de Québec, les participants apprendront l'état d'esprit à adopter face aux technologies Big Data, évalueront leur impact sur les processus et politiques existants, et mettront en œuvre ces technologies afin d'identifier les activités criminelles et prévenir la criminalité. Des études de cas tirées d'organismes de maintien de l'ordre du monde entier seront examinées pour saisir leurs approches d'adoption, les défis rencontrés et les résultats obtenus.

À l'issue de cette formation, les participants seront en mesure de :

• Combiner la technologie Big Data aux processus traditionnels de collecte de données pour reconstituer un récit lors d'une enquête.
• Mettre en œuvre des solutions industrielles de stockage et de traitement du Big Data pour l'analyse des données.
• Préparer une proposition pour l'adoption des outils et processus les plus appropriés afin d'adopter une approche fondée sur les données pour les enquêtes criminelles.

Le terme mégadonnées (Big Data) désigne les solutions conçues pour stocker et traiter de grands ensembles de données. Développées initialement par Google, ces solutions ont évolué et inspiré de nombreux autres projets similaires, dont plusieurs sont disponibles en open source. R est un langage de programmation très répandu dans l'industrie financière.

Aperçu du cours

Ce cours offre une introduction pratique et structurée à la conception de systèmes de streaming de données en temps réel. Il couvre les concepts fondamentaux, les modèles d’architecture et les outils industriels utilisés pour traiter des données en continu à grande échelle. Les participants apprendront à concevoir, implémenter et optimiser des pipelines de streaming à l’aide de frameworks modernes. Le cours progresse des idées de base aux applications pratiques, permettant aux apprenants de construire avec confiance des solutions en temps réel prêtes pour la production.

Format de la formation

• Séances dirigées par un formateur avec des explications guidées

 • Parcours conceptuels illustrés par des exemples concrets

 • Démonstrations pratiques et exercices de codage 

• Laboratoires progressifs alignés sur les sujets quotidiens

 • Discussions interactives et sessions de questions-réponses  

Objectifs du cours

• Comprendre les concepts du streaming de données en temps réel et l’architecture des systèmes

 • Différencier les modèles de traitement par lots et de traitement en streaming 

• Concevoir des pipelines de streaming évolutifs et tolérants aux pannes 

• Travailler avec des outils et frameworks de streaming distribués 

• Appliquer le traitement basé sur l’heure des événements, le fenêtrage et les opérations avec état 

Construire et optimiser des solutions de données en temps réel pour des cas d’utilisation commerciaux 

Apache Hadoop est le cadre de travail le plus populaire pour le traitement des mégadonnées sur des grappes de serveurs. Au cours de cette formation de trois jours (ou quatre jours au choix), les participants apprendront à connaître les avantages commerciaux et les cas d'utilisation de Hadoop et de son écosystème, comment planifier le déploiement et la croissance de la grappe, comment installer, maintenir, surveiller, résoudre les problèmes d'incident et optimiser Hadoop. Ils pratiqueront également le chargement massif de données dans la grappe, se familiariseront avec diverses distributions Hadoop et apprendront à installer et gérer les outils de l'écosystème Hadoop. La formation se terminera par une discussion sur la sécurisation de la grappe avec Kerberos.

« … Les matériaux étaient très bien préparés et couverts de manière approfondie. Le laboratoire était très utile et bien organisé »
— Andrew Nguyen, Ingénieur principal d'intégration DW, Microsoft Online Advertising

Audience cible

Administrateurs Hadoop

Format

Conférences et ateliers pratiques, répartition approximative de 60 % de conférences et 40 % de travaux pratiques.

Apache NiFi est une plateforme open source d'intégration de données et de traitement d'événements basée sur des flux. Elle permet le routage, la transformation et la médiation entre systèmes en temps réel et automatisés, grâce à une interface web et un contrôle fin des opérations.

Cette formation en présentiel ou à distance, animée par un formateur expert, s'adresse aux administrateurs et ingénieurs de niveau intermédiaire souhaitant déployer, gérer, sécuriser et optimiser les flux de données NiFi dans des environnements de production.

À l'issue de cette formation, les participants seront en mesure de :

• Installer, configurer et maintenir des clusters Apache NiFi.
• Concevoir et gérer des flux de données provenant de diverses sources et destinations.
• Mettre en œuvre l'automatisation des flux, le routage et la logique de transformation.
• Optimiser les performances, surveiller les opérations et résoudre les problèmes.

Format de la formation

• Conférence interactive avec discussions sur des architectures réelles.
• Laboratoires pratiques : construction, déploiement et gestion des flux.
• Exercices scénarisés dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'organiser cela.

Lors de cette formation en présentiel avec instructeur à <lieu>, les participants apprendront les principes fondamentaux de la programmation basée sur les flux tout en développant plusieurs extensions de démonstration, composants et processeurs à l'aide d'Apache NiFi.

À l'issue de cette formation, les participants seront en mesure de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des API tierces.
• Créer sur mesure leur propre processeur Apache NiFi.
• Ingrérer et traiter des données en temps réel provenant de formats de fichiers et de sources de données diversifiés et inhabituels.

Cette formation offre une introduction pratique à la création de pipelines de traitement de données et d'apprentissage automatique évolutifs à l'aide de PySpark. Les participants apprennent le fonctionnement d'Apache Spark au sein des écosystèmes modernes de Big Data et les méthodes pour traiter efficacement de grands ensembles de données en appliquant les principes du calcul distribué.

Cette formation en direct, dirigée par un instructeur en <lieu> (en ligne ou sur site), s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark pour traiter de très grands volumes de données.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce, ainsi que les contextes d'utilisation de chacun.
• Intégrer Apache Spark à d'autres outils d'apprentissage automatique.

La courbe d'apprentissage d'Apache Spark est assez raide au début, car il faut investir beaucoup d'efforts pour obtenir les premiers résultats. Ce cours vise à franchir rapidement cette étape initiale difficile. À l'issue de cette formation, les participants comprendront les bases d'Apache Spark, sauront clairement différencier un RDD d'un DataFrame, maîtriseront les API Python et Scala, et comprendront le rôle des executeurs et des tâches, entre autres. En suivant les meilleures pratiques, ce cours met un accent particulier sur le déploiement dans le cloud, ainsi que sur Databricks et AWS. Les apprenants découvriront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark proposés par AWS.

PUBLIC CIBLE :

Ingénieur en données, Développeur DevOps, Data Scientist

Spark SQL est le module d'Apache Spark dédié au traitement des données structurées et non structurées. Il fournit des informations sur la structure des données ainsi que sur les calculs effectués, ce qui permet d'optimiser les performances. On utilise couramment Spark SQL pour deux objectifs principaux :
- exécuter des requêtes SQL.
- lire des données depuis une installation Hive existante.

Lors de cette formation en présentiel ou à distance animée par un instructeur, les participants apprendront à analyser divers types de jeux de données à l'aide de Spark SQL.

À l'issue de cette formation, les participants seront capables de :

• Installer et configurer Spark SQL.
• Effectuer des analyses de données avec Spark SQL.
• Interroger des jeux de données dans différents formats.
• Visualiser les données et les résultats des requêtes.

Format de la formation

• Cours interactifs et discussions.
• Nombreux exercices et mises en pratique.
• Mises en œuvre concrètes dans un environnement de laboratoire en direct.

Options de personnalisation de la formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter afin d'en convenir.

Cette formation en présentiel ou à distance, animée par un instructeur à <endroits>, s'adresse aux personnes techniques souhaitant déployer Talend Open Studio pour les données massives afin de simplifier le processus de lecture et de traitement des données massives.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer Talend Open Studio pour les données massives.
• Se connecter à des systèmes de données massives tels que Cloudera, HortonWorks, MapR, Amazon EMR et Apache.
• Comprendre et configurer les composants et les connecteurs des données massives d'Open Studio.
• Configurer les paramètres pour générer automatiquement du code MapReduce.
• Utiliser l'interface de glisser-déposer d'Open Studio pour exécuter des jobs Hadoop.
• Élaborer des prototypes de pipelines de données massives.
• Automatiser les projets d'intégration de données massives.