Formation Big Data en Ville de Québec

Ce formation en direct (en ligne ou sur site) est destinée aux scientifiques des données et ingénieurs de niveau intermédiaire qui souhaitent utiliser Google Colab et Apache Spark pour le traitement et l'analyse de grandes masses de données.

À la fin de cette formation, les participants seront capables de :

• Configurer un environnement big data en utilisant Google Colab et Spark.
• Traiter et analyser des jeux de données volumineux efficacement avec Apache Spark.
• Visualiser les grands ensembles de données dans un environnement collaboratif.
• Intégrer Apache Spark avec des outils basés sur le cloud.

Stratio est une plateforme centrée sur les données qui intègre le big data, l'IA et la gouvernance dans une seule solution. Ses modules Rocket et Intelligence permettent une exploration rapide des données, leur transformation et des analyses avancées dans les environnements d’entreprise.

Cette formation dispensée par un formateur (en ligne ou sur site) s'adresse aux professionnels de niveau intermédiaire en données qui souhaitent utiliser efficacement les modules Rocket et Intelligence de Stratio avec PySpark, en se concentrant sur les structures de boucle, les fonctions définies par l'utilisateur et la logique des données avancée.

À la fin de cette formation, les participants pourront :

• Naviguer et travailler au sein de la plateforme Stratio en utilisant les modules Rocket et Intelligence.
• Appliquer PySpark dans le contexte d'ingestion, de transformation et d'analyse des données.
• Utiliser des boucles et une logique conditionnelle pour contrôler les flux de travail des données et les tâches d'ingénierie des fonctionnalités.
• Créer et gérer des fonctions définies par l'utilisateur (UDFs) pour les opérations réutilisables des données dans PySpark.

Format de la Formation

• Cours interactif et discussion.
• De nombreuses exercices et pratiques.
• Implémentation pratique dans un environnement de laboratoire en direct.

Options de Personnalisation du Cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour en faire la demande.

Le Data Warehousing est la pratique de concevoir, construire et exploiter des entrepôts de données centralisés qui supportent l'analyse, le reporting et la prise de décision.

Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux professionnels des données intermédiaires souhaitant modéliser des données dimensionnelles, construire des pipelines ETL robustes et optimiser les charges de travail analytiques.

À la fin de cette formation, les participants seront en mesure de :

• Expliquer les concepts et architectures fondamentaux du data warehousing.
• Concevoir des modèles dimensionnels et choisir entre des schémas étoile et flocon de neige.
• Construire et orchestrer des pipelines ETL et ELT de manière fiable.
• Différencier les charges de travail OLTP et OLAP et optimiser pour l'analyse.

Format du cours

• Conférence interactive et discussion.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Les participants qui suivront cette formation en direct et dirigée par un instructeur dans Ville de Québec acquerront une compréhension pratique et réelle de Big Data et des technologies, méthodologies et outils qui y sont associés.

Les participants auront l'occasion de mettre en pratique ces connaissances par le biais d'exercices pratiques. L'interaction du groupe et le retour d'information de l'instructeur constituent une composante importante du cours.

Le cours commence par une introduction aux concepts élémentaires de Big Data, puis progresse vers les langages de programmation et les méthodologies utilisées pour réaliser Data Analysis. Enfin, nous discutons des outils et de l'infrastructure qui permettent le stockage Big Data, le traitement distribué et la Scalabilité.

Greenplum est une plateforme de données open-source conçue pour le traitement massivement parallèle (MPP) destinée à l'analyse et aux environnements de données à grande échelle.

Cette formation dirigée par un instructeur, en ligne ou sur site, est destinée aux utilisateurs techniques de niveau intermédiaire à avancé qui souhaitent comprendre l'architecture interne de Greenplum, construire des modèles de données optimisés et appliquer du SQL haute performance dans des environnements distribués.

À la fin de cette formation, les participants seront en mesure de :

• Comprendre l'architecture sans partage (shared-nothing) et le modèle de parallélisme de Greenplum.
• Concevoir des structures de tables distribuées et des partitions optimisées pour la performance des requêtes.
• Utiliser des stratégies d'indexation, des formats de stockage et des techniques de conception physique.
• Interpréter les plans EXPLAIN et optimiser les requêtes en utilisant les meilleures pratiques.

Format de la Formation

• Conférence interactive et discussion.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de Personnalisation de la Formation

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Greenplum est une plateforme de données parallèle à grande échelle open-source basée sur PostgreSQL, conçue pour l'analyse avancée et la gestion de grandes bases de données.

Cette formation dirigée par un instructeur (en ligne ou en présentiel) est destinée aux administrateurs intermédiaires qui souhaitent installer, configurer et gérer efficacement des environnements Greenplum, y compris la gestion des mises à jour du système et des bibliothèques.

À la fin de cette formation, les participants seront en mesure de :

• Installer et configurer un cluster Greenplum prêt pour la production.
• Gérer les mises à jour du système et appliquer des correctifs en toute sécurité.
• Gérer les bibliothèques Greenplum pour l'analyse et les extensions.
• Dépanner et surveiller les systèmes Greenplum.

Format du cours

• Conférence interactive et discussion.
• Utilisation pratique de Greenplum dans un environnement de laboratoire contrôlé.
• Exercices guidés axés sur la configuration du cluster, les workflows de mise à niveau et les extensions système.

Options de personnalisation du cours

• Pour demander une formation personnalisée basée sur votre environnement ou plateforme de données, veuillez nous contacter pour organiser.

Cette formation dirigée par un instructeur, en direct à Ville de Québec (en ligne ou sur site), est destinée aux professionnels de données de niveau avancé qui souhaitent optimiser les flux de travail de traitement des données, assurer l'intégrité des données et mettre en œuvre des solutions robustes de data lakehouse capables de gérer les complexités des applications de big data modernes.

À la fin de cette formation, les participants seront en mesure de :

• Acquérir une compréhension approfondie de l'architecture d'Iceberg, y compris la gestion des métadonnées et la disposition des fichiers.
• Configurer Iceberg pour un rendement optimal dans divers environnements et l'intégrer à plusieurs moteurs de traitement des données.
• Gérer les tables d'Iceberg à grande échelle, effectuer des modifications complexes du schéma et gérer l'évolution des partitions.
• Maîtriser les techniques pour optimiser la performance des requêtes et l'efficacité de la lecture des données pour des ensembles de données volumineux.
• Mettre en œuvre des mécanismes pour assurer la cohérence des données, gérer les garanties transactionnelles et gérer les échecs dans des environnements distribués.

Cette formation dirigée par un instructeur et en direct à Ville de Québec (en ligne ou sur site) est destinée aux professionnels des données débutants qui souhaitent acquérir les connaissances et compétences nécessaires pour utiliser efficacement Apache Iceberg dans la gestion de jeux de données de grande taille, assurer l'intégrité des données et optimiser les workflows de traitement des données.

À la fin de cette formation, les participants seront capables de :

• Acquérir une compréhension approfondie de l'architecture, des fonctionnalités et des avantages d'Apache Iceberg.
• Apprendre les formats de table, la partition, l'évolution du schéma et les capacités de voyage dans le temps.
• Installer et configurer Apache Iceberg dans différents environnements.
• Créer, gérer et manipuler des tables Iceberg.
• Comprendre le processus de migration des données d'autres formats de table vers Iceberg.

Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux professionnels de l'informatique de niveau intermédiaire qui souhaitent améliorer leurs compétences en architecture des données, gouvernance des données, cloud computing et technologies de big data afin de gérer efficacement et d'analyser de grands ensembles de données pour la migration de données au sein de leur organisation.

À la fin de cette formation, les participants seront capables de :

• Comprendre les concepts et les composants fondamentaux des différentes architectures de données.
• Acquérir une compréhension complète des principes de gouvernance des données et de leur importance dans les environnements réglementaires.
• Mettre en œuvre et gérer des cadres de gouvernance des données tels que Dama et Togaf.
• Tirer parti des plateformes cloud pour un stockage, un traitement et une gestion de données efficaces.

Cette formation dirigée par un instructeur, en ligne ou sur site à Ville de Québec, est destinée aux ingénieurs de données de niveau intermédiaire qui souhaitent apprendre à utiliser Azure Data Lake Storage Gen2 pour des solutions d'analyse de données efficaces.

À la fin de cette formation, les participants seront en mesure de :

• Comprendre l'architecture et les principales fonctionnalités d’Azure Data Lake Storage Gen2.
• Optimiser le stockage et l'accès aux données en termes de coût et de performance.
• Intégrer Azure Data Lake Storage Gen2 avec d'autres services Azure pour l'analyse et le traitement des données.
• Développer des solutions en utilisant l'API Azure Data Lake Storage Gen2.
• Diagnostiquer les problèmes courants et optimiser les stratégies de stockage.

Cette formation en Ville de Québec (en ligne ou sur site) est destinée aux développeurs qui souhaitent utiliser et intégrer Spark, Hadoop et Python pour traiter, analyser et transformer des ensembles de données complexes et volumineux.

A l'issue de cette formation, les participants seront capables de :

• Mettre en place l'environnement nécessaire pour commencer à traiter les big data avec Spark, Hadoop et Python.
• Comprendre les fonctionnalités, les composants de base et l'architecture de Spark et Hadoop.
• Apprendre à intégrer Spark, Hadoop et Python pour le traitement des big data.
• Explorer les outils de l'écosystème Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka et Flume).
• Construire des systèmes de recommandation par filtrage collaboratif similaires à Netflix, YouTube, Amazon, Spotify et Google.
• Utiliser Apache Mahout pour mettre à l'échelle des algorithmes d'apprentissage automatique.

Big Data et l'Analyse Avancée est l'application de techniques et outils sophistiqués pour analyser de grands ensembles de données complexes afin d'en tirer des insights exploitables et prendre des décisions stratégiques.

Cette formation dispensée par un formateur (en ligne ou sur site) s'adresse aux professionnels avancés des données souhaitant utiliser des méthodes analytiques à la pointe et des technologies de big data pour l'analyse prédictive, prescriptive et en temps réel.

À la fin de cette formation, les participants seront capables de :

• Concevoir et mettre en œuvre des pipelines de traitement de données à grande échelle pour les données structurées et non structurées.
• Appliquer des techniques d'apprentissage automatique avancé et profond à de vastes jeux de données.
• Tirer parti des cadres de calcul distribué pour l'analyse en temps réel et le flux de données.
• Intégrer l'analyse de big data dans les systèmes d'intelligence d'affaires et de prise de décision.

Format du cours

• Cours interactif avec discussion.
• Nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour arranger cela.

Cette formation dirigée par un instructeur, en ligne ou sur site à Ville de Québec, est destinée aux professionnels informatiques de niveau intermédiaire qui souhaitent avoir une compréhension complète d'IBM DataStage sous les angles administratif et de développement, afin de pouvoir gérer et utiliser efficacement cet outil dans leurs environnements respectifs.

À la fin de cette formation, les participants seront en mesure de :

• Comprendre les concepts fondamentaux de DataStage.
• Apprendre à installer, configurer et gérer efficacement des environnements DataStage.
• Se connecter à diverses sources de données et extraire des données efficacement depuis des bases de données, des fichiers plats et des sources externes.
• Mettre en œuvre des techniques efficaces de chargement de données.

Cette formation en direct avec instructeur à Ville de Québec (en ligne ou sur site) s'adresse aux administrateurs système de niveau débutant à intermédiaire qui souhaitent déployer, maintenir et optimiser les clusters Spark.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark dans différents environnements.
• Gérer les ressources du cluster et surveiller les applications Spark.
• Optimiser les performances des clusters Spark.
• Mettre en place des mesures de sécurité et assurer la haute disponibilité.
• Déboguer et résoudre les problèmes courants liés à Spark.

Les participants qui suivent cette formation en direct et dirigée par un instructeur en <loc&gt ; acquerront une compréhension pratique et réelle de Big Data et des technologies, méthodologies et outils qui y sont associés.

Les participants auront l'occasion de mettre en pratique ces connaissances par le biais d'exercices pratiques. L'interaction au sein du groupe et le retour d'information de l'instructeur constituent une composante importante du cours.

Le cours commence par une introduction aux concepts élémentaires du Big Data, puis progresse vers les langages de programmation et les méthodologies utilisées pour effectuer l'analyse des données. Enfin, nous discutons des outils et de l'infrastructure qui permettent le stockage des Big Data, le traitement distribué et la Scalabilité.

Au cours de cette formation en direct avec instructeur à Ville de Québec, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses (big data) en travaillant sur des exercices pratiques.

A la fin de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des big data en utilisant PySpark.

Cette formation en direct (en ligne ou sur site) est destinée aux développeurs de logiciels, aux gestionnaires et aux analystes d'affaires qui souhaitent utiliser des systèmes de big data pour stocker et récupérer de grandes quantités de données.

À la fin de cette formation, les participants seront capables de :

• Interroger efficacement de grandes quantités de données.
• Comprendre comment les systèmes Big Data stockent et récupèrent les données.
• Utiliser les derniers systèmes de big data disponibles.
• Transformer les données provenant des systèmes de données vers les systèmes de reporting.
• Apprendre à écrire des requêtes SQL dans :
  • MySQL
  • Postgres
  • Langage de requête Hive (HiveQL/HQL)
  • Redshift

Format du cours

• Conférence interactive et discussion.
• De nombreux exercices et pratiques.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Public cible :

Ce cours est destiné aux spécialistes des TIC à la recherche d'une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué.

Goal :

Connaissance approfondie de l'administration des clusters Hadoop.

Les avancées technologiques et l'augmentation constante de l'information transforment la façon dont les affaires sont menées dans de nombreux secteurs, y compris le gouvernement. Les taux de génération et d'archivage numérique des données gouvernementales augmentent en raison de la croissance rapide des appareils mobiles et des applications, des capteurs et dispositifs intelligents, des solutions cloud computing, et des portails orientés vers les citoyens. Alors que l'information numérique s'étend et devient plus complexe, la gestion, le traitement, le stockage, la sécurité et la disposition de cette information deviennent également plus complexes. De nouveaux outils de capture, de recherche, de découverte et d'analyse aident les organisations à tirer des insights de leurs données non structurées. Le marché gouvernemental est à un point critique, réalisant que l'information est un actif stratégique, et que le gouvernement doit protéger, exploiter et analyser tant les informations structurées que non structurées pour mieux servir et répondre aux exigences de sa mission. Alors que les dirigeants du gouvernement s'efforcent d'évoluer vers des organisations axées sur les données pour accomplir leur mission avec succès, ils posent les bases pour établir des liens entre les événements, les personnes, les processus et l'information.

Des solutions gouvernementales à forte valeur ajoutée seront créées grâce à une combinaison des technologies les plus disruptives :

• Appareils mobiles et applications
• Services cloud
• Technologies de réseautage et de business social
• Big Data et analytics

Le Big Data est l'une des solutions intelligentes de l'industrie qui permet au gouvernement de prendre de meilleures décisions en agissant sur les modèles révélés par l'analyse de grands volumes de données — structurées ou non, liées ou non.

Mais accomplir ces exploits demande bien plus qu'un simple accumulation massive de données. « Comprendre le sens de ces volumes de Big Data nécessite des outils et technologies de pointe capables d'analyser et d'extraire des connaissances utiles à partir de flux d'information vastes et divers, » ont écrit Tom Kalil et Fen Zhao du Bureau de la politique scientifique et technologique de la Maison Blanche dans un billet sur le blog de l'OSTP.

La Maison Blanche a fait un pas vers l'aide aux agences à trouver ces technologies en établissant l'Initiative nationale de recherche et développement en Big Data en 2012. L'initiative incluait plus de 200 millions de dollars pour tirer parti de l'explosion du Big Data et des outils nécessaires pour l'analyser.

Les défis posés par le Big Data sont presque aussi redoutables que sa promesse est encourageante. Le stockage efficace des données en fait partie. Les budgets étant toujours serrés, les agences doivent minimiser le prix du stockage par mégaoctet et garder les données facilement accessibles pour que les utilisateurs puissent y accéder quand ils le veulent et comme ils en ont besoin. Le backup de quantités massives de données accentue encore ce défi.

Analyser efficacement les données est un autre défi majeur. De nombreuses agences utilisent des outils commerciaux qui leur permettent de trier à travers les montagnes de données, détectant des tendances qui peuvent les aider à opérer plus efficacement. (Une récente étude par MeriTalk a montré que les dirigeants IT fédéraux pensaient que le Big Data pourrait aider les agences à économiser plus de 500 milliards de dollars tout en remplissant leurs objectifs de mission.).

Des outils de Big Data développés sur mesure permettent également aux agences d'analyser leurs données. Par exemple, le Groupe d'Analyse des Données Computationnelles du Laboratoire National Oak Ridge a rendu son système d'analyse de données Piranha disponible pour d'autres agences. Le système a aidé les chercheurs médicaux à trouver un lien qui peut alerter les médecins sur l'anévrysme aortique avant qu'il ne se produise. Il est également utilisé pour des tâches plus routinières, telles que le tri de CV pour connecter les candidats aux postes avec les recruteurs.

Jour 1 - fournit une vue d’ensemble de haut niveau des domaines essentiels liés aux Big Data. Le module est divisé en plusieurs sections, chacune accompagnée d’un exercice pratique.

Jour 2 - explore un éventail de sujets relatifs aux pratiques et outils d'analyse pour les environnements Big Data. Il ne s’attarde pas sur les détails de mise en œuvre ou de programmation, mais maintient une couverture conceptuelle, se concentrant sur des sujets qui permettent aux participants de développer une compréhension globale des fonctions et caractéristiques d'analyse courantes offertes par les solutions Big Data.

Jour 3 - fournit un aperçu des domaines fondamentaux et essentiels relatifs à l’architecture de la plateforme de solution Big Data. Il couvre les mécanismes Big Data nécessaires au développement d’une plateforme de solution Big Data et les options architecturales pour assembler une plateforme de traitement de données. Des scénarios courants sont également présentés pour fournir une compréhension de base de la manière dont une plateforme de solution Big Data est généralement utilisée.

Jour 4 - s’appuie sur le Jour 3 en explorant des sujets avancés relatifs à l’architecture de la plateforme de solution Big Data. En particulier, différentes couches architecturales qui composent la plateforme de solution Big Data sont introduites et discutées, y compris les sources de données, l'ingestion de données, le stockage de données, le traitement de données et la sécurité.

Jour 5 - couvre un certain nombre d’exercices et de problèmes conçus pour tester la capacité des participants à appliquer les connaissances acquises lors des Jours 3 et 4.

L'analyse de données volumineuses implique le processus d'examen de grands ensembles de données variées afin de découvrir des corrélations, des modèles cachés et d'autres informations utiles.

L'industrie de la santé dispose de masses de données médicales et cliniques complexes et hétérogènes. L'application de l'analyse de données volumineuses à des données de santé présente un énorme potentiel pour tirer des insights permettant d'améliorer la prestation des soins de santé. Cependant, l'énormité de ces ensembles de données pose de grands défis dans les analyses et les applications pratiques à un environnement clinique.

Dans cette formation dirigée par un formateur (à distance), les participants apprendront comment réaliser une analyse de données volumineuses dans la santé tout en effectuant une série d'exercices pratiques guidés.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer des outils d'analyse de données volumineuses tels que Hadoop MapReduce et Spark
• Comprendre les caractéristiques des données médicales
• Appliquer des techniques de grandes données pour gérer les données médicales
• Étudier les systèmes et algorithmes de grande donnée dans le contexte des applications de santé

Public visé

• Développeurs
• Data Scientists

Format du cours

• Partie exposé, partie discussion, exercices et pratique intensive.

Note

• Pour demander une formation sur mesure pour ce cours, veuillez nous contacter pour organiser.

Au cours de cette formation en direct à Ville de Québec, les participants apprendront l'état d'esprit avec lequel il faut aborder les technologies Big Data, évaluer leur impact sur les processus et politiques existants et mettre en œuvre ces technologies dans le but d'identifier les activités criminelles et de prévenir la criminalité. Des études de cas d'organismes d'application de la loi du monde entier seront examinées afin de mieux comprendre leurs approches, leurs défis et leurs résultats en matière d'adoption.

À l'issue de cette formation, les participants seront en mesure de :

• Combiner la technologie Big Data avec les processus traditionnels de collecte de données pour reconstituer une histoire au cours d'une enquête.
• Mettre en œuvre des solutions industrielles de stockage et de traitement des big data pour l'analyse des données.
• Préparer une proposition pour l'adoption des outils et des processus les plus adéquats pour permettre une approche axée sur les données dans les enquêtes criminelles.

Big Data est un terme qui désigne des solutions destinées à stocker et traiter de grands ensembles de données. Développées initialement par Google, ces solutions Big Data ont évolué et inspiré d'autres projets similaires, nombreux d'entre eux étant disponibles en open-source. R est un langage de programmation populaire dans l'industrie financière.

Lorsque les technologies de stockage traditionnelles ne parviennent pas à gérer la quantité de données que vous devez stocker, il existe des centaines d'alternatives. Ce cours vise à guider les participants sur les alternatives pour le stockage et l'analyse des Big Data et leurs avantages et inconvénients.

Ce cours se concentre principalement sur la discussion et la présentation des solutions, bien que des exercices pratiques soient disponibles sur demande.

Le cours fait partie des compétences de Data Scientist (domaine: données et technologie).

Cette session de formation en classe explorera Big Data. Les délégués disposeront d'exemples informatiques et d'exercices d'études de cas à entreprendre avec des outils Big Data pertinents.

Public

Si vous essayez de comprendre les données auxquelles vous avez accès ou souhaitez analyser des données non structurées disponibles sur le réseau (comme Twitter, Linked in, etc.), ce cours est pour vous.

Il s’adresse principalement aux décideurs et aux personnes qui doivent choisir les données qui méritent d’être collectées et celles qui méritent d’être analysées.

Cela ne vise pas les personnes qui configurent la solution, ces personnes bénéficieront d'une vue d'ensemble.

Mode de livraison

Pendant le cours, des exemples concrets de technologies principalement open source seront présentés aux délégués.

De courtes conférences seront suivies de présentations et d'exercices simples des participants.

Contenu et logiciel utilisés

Tous les logiciels utilisés sont mis à jour à chaque exécution du cours, nous vérifions donc les dernières versions possibles.

Il couvre le processus d'obtention, de formatage, de traitement et d'analyse des données, afin d'expliquer comment automatiser le processus de prise de décision avec l'apprentissage automatique.

Les données volumineuses sont des ensembles de données si volumineux et complexes qu'un logiciel de traitement de données traditionnel ne permet pas de les traiter. Les défis du Big Data incluent la capture, le stockage, l'analyse, la recherche, le partage, le transfert, la visualisation, l'interrogation, la mise à jour et la confidentialité des informations.

Ce cours est destiné aux spécialistes IT à la recherche d'une solution pour stocker et traiter de grands ensembles de données dans un environnement de système distribué

Objectif du cours:

Acquérir des connaissances concernant l'administration de Hadoop cluster

Apache Hadoop est le cadre le plus populaire pour le traitement Big Data sur des clusters de serveurs. Au cours de ce stage de trois jours (quatre jours optionnellement), les participants apprendront les avantages commerciaux et les cas d'utilisation pour Hadoop et son écosystème, comment planifier la mise en place et l'expansion du cluster, comment installer, entretenir, surveiller, résoudre les problèmes et optimiser Hadoop. Ils pratiqueront également le chargement de données massives sur le cluster, se familiariseront avec diverses distributions Hadoop, et exerceront l'installation et la gestion des outils de l'écosystème Hadoop. Le cours se terminera par une discussion sur la sécurisation du cluster avec Kerberos.

“…Les matériaux étaient très bien préparés et couverts en profondeur. La salle d'exercices était très utile et bien organisée”
— Andrew Nguyen, Principal Integration DW Engineer, Microsoft Online Advertising

Audience

Administrateurs Hadoop

Format

Conférences et ateliers pratiques, répartition approximative 60% conférences, 40% ateliers.

Apache Hadoop est le framework le plus populaire pour le traitement Big Data sur des clusters de serveurs. Ce cours introduira au développeur divers composants (HDFS, MapReduce, Pig, Hive, et HBase) de l'écosystème Hadoop.

Apache Hadoop est l'un des cadres les plus populaires pour le traitement Big Data sur des clusters de serveurs. Ce cours aborde la gestion des données dans HDFS, Pig avancé, Hive, et HBase.  Ces techniques de programmation avancées seront bénéfiques aux développeurs expérimentés en Hadoop.

Public cible: développeurs

Durée : trois jours

Format : conférences (50%) et ateliers pratiques (50%).

Public cible :

Ce cours vise à démystifier la technologie Big Data/Hadoop et à montrer qu'elle n'est pas difficile à comprendre.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux administrateurs système qui souhaitent apprendre à mettre en place, déployer et gérer des clusters Hadoop au sein de leur organisation.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Hadoop.
• Comprendre les quatre composants majeurs de l'écosystème Hadoop : HDFS, MapReduce, YARN et Hadoop Common.
• Utiliser le système de fichiers distribués Hadoop (HDFS) pour faire évoluer un cluster vers des centaines ou des milliers de nœuds. 
• Configurer HDFS comme moteur de stockage pour les déploiements Spark sur site.
• Configurer Spark pour accéder à des solutions de stockage alternatives telles qu'Amazon S3 et des systèmes de base de données NoSQL tels que Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Exécuter des tâches administratives telles que le provisionnement, la gestion, la surveillance et la sécurisation d'un cluster Apache Hadoop.

Ce cours introduit HBase – un stockage NoSQL basé sur Hadoop. Le cours est destiné aux développeurs qui utiliseront HBase pour développer des applications, ainsi qu'aux administrateurs qui géreront les clusters HBase.

Nous guiderons un développeur à travers l'architecture de HBase, la modélisation des données et le développement d'applications sur HBase. Il abordera également l'utilisation de MapReduce avec HBase, ainsi que certains sujets d'administration liés à l'optimisation des performances. Le cours est très pratique avec de nombreux exercices de laboratoire.

Durée : 3 jours

Public cible : Développeurs & Administrateurs

Dans cette formation dirigée par un instructeur, en direct à Ville de Québec (sur site ou à distance), les participants apprendront à configurer et intégrer différentes frameworks de traitement de flux avec des systèmes de stockage de données volumineuses existants ainsi qu'avec des applications logicielles et microservices associés.

Au terme de cette formation, les participants seront en mesure de :

• Installer et configurer différentes frameworks de traitement de flux, comme Spark Streaming et Kafka Streaming.
• Comprendre et sélectionner la framework la plus appropriée pour le travail à accomplir.
• Traiter les données de manière continue, concurrente et par enregistrement.
• Intégrer des solutions de traitement de flux avec des bases de données existantes, des entrepôts de données, des lacs de données, etc.
• Intégrer la bibliothèque de traitement de flux la plus appropriée avec des applications d'entreprise et des microservices.

Cette formation en direct avec instructeur en <loc&gt ; (en ligne ou sur site) est destinée aux personnes techniques qui souhaitent apprendre à mettre en œuvre une stratégie d'apprentissage automatique tout en maximisant l'utilisation des données massives (big data).

A l'issue de cette formation, les participants pourront :

• Comprendre l'évolution et les tendances de l'apprentissage automatique.
• Savoir comment l'apprentissage automatique est utilisé dans différents secteurs d'activité.
• Se familiariser avec les outils, les compétences et les services disponibles pour mettre en œuvre l'apprentissage automatique au sein d'une organisation.
• Comprendre comment l'apprentissage automatique peut être utilisé pour améliorer l'exploration et l'analyse des données.
• Apprendre ce qu'est un backend de milieu de données et comment il est utilisé par les entreprises.
• Comprendre le rôle que jouent les big data et les applications intelligentes dans tous les secteurs d'activité.

Apache NiFi est une plateforme open-source, basée sur le flux de données, pour l'intégration et le traitement d'événements. Elle permet un routage, une transformation et une médiation en temps réel entre des systèmes disparates, avec une interface utilisateur web et un contrôle granulaire.

Cette formation dirigée par un instructeur (sur site ou à distance) est destinée aux administrateurs et ingénieurs de niveau intermédiaire qui souhaitent déployer, gérer, sécuriser et optimiser les flux de données NiFi dans des environnements de production.

À la fin de cette formation, les participants seront en mesure de :

• Installer, configurer et maintenir des clusters Apache NiFi.
• Concevoir et gérer des flux de données provenant de sources et de récepteurs variés.
• Mettre en œuvre l'automatisation du flux, le routage et la logique de transformation.
• Optimiser les performances, surveiller les opérations et dépanner les problèmes.

Format du cours

• Cours interactif avec discussion sur l'architecture réelle.
• Laboratoires pratiques : construction, déploiement et gestion des flux.
• Exercices basés sur des scénarios dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser.

Au cours de cette formation en direct et dirigée par un instructeur dans Ville de Québec, les participants apprendront les principes fondamentaux de la programmation par flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.

A la fin de cette formation, les participants seront capables de :

• Comprendre l'architecture de NiFi et les concepts de flux de données.
• Développer des extensions en utilisant NiFi et des APIs tierces.
• Développer leur propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu communs.

Cette formation en présentiel dirigée par un instructeur à Ville de Québec (en ligne ou sur site) est destinée aux scientifiques des données qui souhaitent utiliser la pile SMACK pour construire des plateformes de traitement de données pour des solutions de big data.

À la fin de cette formation, les participants seront capables de :

• Mettre en œuvre une architecture de pipeline de données pour le traitement du big data.
• Développer une infrastructure de cluster avec Apache Mesos et Docker.
• Analyser les données avec Spark et Scala.
• Gérer les données non structurées avec Apache Cassandra.

Cette formation en direct (en ligne ou sur site) s'adresse aux ingénieurs qui souhaitent mettre en place et déployer un système Apache Spark de traitement de très grandes quantités de données.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apache Spark.
• Traiter et analyser rapidement de très grands ensembles de données.
• Comprendre la différence entre Apache Spark et Hadoop MapReduce et savoir quand utiliser l'un ou l'autre.
• Intégrer Apache Spark avec d'autres outils d'apprentissage automatique.

L'apprentissage d'Apache Spark présente une courbe d'apprentissage qui s'accélère lentement au début, nécessitant beaucoup d'efforts pour obtenir les premiers résultats. Ce cours vise à franchir la première partie difficile. Après avoir suivi ce cours, les participants comprendront les bases d'Apache Spark, distingueront clairement RDD de DataFrame, apprendront l'API Python et Scala, comprendront les exécuteurs et les tâches, etc. En suivant les meilleures pratiques, ce cours se concentre fortement sur le déploiement dans le cloud, Databricks et AWS. Les étudiants comprendront également les différences entre AWS EMR et AWS Glue, l'un des derniers services Spark d'AWS.

PUBLIC :

Data Engineer, DevOps, Data Scientist

OBJECTIF :

Ce cours introduira Apache Spark. Les étudiants apprendront comment Spark s'intègre dans l'écosystème Big Data, ainsi que comment utiliser Spark pour l'analyse des données. Le cours couvre le Spark shell pour l'analyse interactive des données, les internals de Spark, les API de Spark, Spark SQL, Spark streaming, et machine learning et GraphX.

PUBLIC :

Développeurs / Analystes de données

Cette formation en Ville de Québec (en ligne ou sur site) s'adresse aux data scientists et aux développeurs qui souhaitent utiliser Spark NLP, construit sur Apache Spark, pour développer, implémenter et mettre à l'échelle des modèles et des pipelines de traitement de texte en langage naturel.

A la fin de cette formation, les participants seront capables de :

• Mettre en place l'environnement de développement nécessaire pour commencer à construire des pipelines NLP avec Spark NLP.
• Comprendre les caractéristiques, l'architecture et les avantages de l'utilisation de Spark NLP.
• Utiliser les modèles pré-entraînés disponibles dans Spark NLP pour implémenter le traitement de texte.
• Apprendre à construire, entraîner et mettre à l'échelle les modèles Spark NLP pour des projets de production.
• Appliquer la classification, l'inférence et l'analyse des sentiments sur des cas d'utilisation réels (données cliniques, comportement des clients, etc.).

Apache Spark SQL est le module d'Apache Spark pour travailler avec des données structurées et non structurées. Spark SQL fournit des informations sur la structure des données ainsi que sur les calculs effectués. Ces informations peuvent être utilisées pour réaliser des optimisations. Deux utilisations courantes de Spark SQL sont:
- pour exécuter des requêtes SQL.
- pour lire des données à partir d'une installation Hive existante.

Dans cette formation dirigée par un instructeur (en présentiel ou à distance), les participants apprendront à analyser divers types de jeux de données à l'aide de Spark SQL.

À la fin de cette formation, les participants seront en mesure de :

• Installer et configurer Spark SQL.
• Effectuer des analyses de données avec Spark SQL.
• Interroger des jeux de données dans différents formats.
• Visualiser les données et les résultats des requêtes.

Format du cours

• Cours interactif et discussion.
• Beaucoup d'exercices et de pratique.
• Mise en œuvre pratique dans un environnement de laboratoire en direct.

Options de personnalisation du cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter pour organiser cela.

Cette formation dirigée par un instructeur (en ligne ou sur site) est destinée aux personnes techniques souhaitant déployer Talend Open Studio for Big Data pour simplifier le processus de lecture et d'analyse des big data.

À la fin de cette formation, les participants seront capables de :

• Installer et configurer Talend Open Studio for Big Data.
• Se connecter à des systèmes de Big Data tels que Cloudera, HortonWorks, MapR, Amazon EMR et Apache.
• Comprendre et configurer les composants et connecteurs Big Data d'Open Studio.
• Configurer les paramètres pour générer automatiquement du code MapReduce.
• Utiliser l'interface glisser-déposer d'Open Studio pour exécuter des tâches Hadoop.
• Prototyper des pipelines de Big Data.
• Automatiser des projets d'intégration de Big Data.