Formation Talend Big Data Integration

Dans cette formation en direct, dirigée par un instructeur, les participants apprendront à construire un Data Vault.

A l'issue de cette formation, les participants seront capables de :

• Comprendre l'architecture et les concepts de conception derrière Data Vault 2.0, et son interaction avec le Big Data, le NoSQL et l'IA.
• Utiliser les techniques de mise en voûte des données pour permettre l'audit, le traçage et l'inspection des données historiques dans un entrepôt de données.
• Développer un processus ETL (Extract, Transform, Load) cohérent et reproductible.
• Construire et déployer des entrepôts hautement évolutifs et reproductibles.

Cette formation en <loc> ; (en ligne ou sur site) est destinée aux ingénieurs de données, aux scientifiques de données et aux programmeurs qui souhaitent utiliser les fonctionnalités Spark Streaming dans le traitement et l'analyse de données en temps réel.

À l'issue de cette formation, les participants seront en mesure d'utiliser Spark Streaming pour traiter des flux de données en direct destinés à être utilisés dans des bases de données, des systèmes de fichiers et des tableaux de bord en direct.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux développeurs qui souhaitent mettre en œuvre le traitement des flux Apache Kafka sans écrire de code.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Confluent KSQL.
• Mettre en place un pipeline de traitement de flux en utilisant uniquement des commandes SQL (pas de codage Java ou Python).
• Exécuter le filtrage des données, les transformations, les agrégations, les jointures, le fenêtrage et la sessionnalisation entièrement en SQL.

Cette formation en direct avec instructeur (en ligne ou sur site) s'adresse aux développeurs qui souhaitent apprendre les principes du stockage en mémoire pur et persistant, tout en créant un exemple de projet de calcul en mémoire.

A l'issue de cette formation, les participants seront capables de :

Utilisez Ignite pour la persistance en mémoire, sur disque, ainsi que pour une base de données en mémoire purement distribuée. Réaliser la persistance sans synchroniser les données avec une base de données relationnelle. Utilisez Ignite pour effectuer des jointures SQL et distribuées. Améliorer les performances en rapprochant les données de l'unité centrale, en utilisant la mémoire vive comme stockage. Répartir les ensembles de données sur un cluster pour obtenir une évolutivité horizontale. Intégrer Ignite avec des SGBDR, NoSQL, Hadoop et des processeurs d'apprentissage automatique.

Apache Beam est un modèle de programmation unifiée et open source permettant de définir et d'exécuter des pipelines de traitement de données parallèles Sa puissance réside dans sa capacité à exécuter à la fois des pipelines batch et de streaming, l'exécution étant effectuée par l'un des backends de traitement distribué pris en charge par Apache: Apache Apex, Apache Flink, Apache Spark et Google Cloud Dataflow Apache Beam est utile pour les tâches ETL (Extraction, Transformation et Chargement) telles que le déplacement de données entre différents supports de stockage et sources de données, la transformation des données dans un format plus souhaitable et le chargement de données sur un nouveau système Dans cette formation en ligne instruite, les participants apprendront comment implémenter les SDK Apache Beam dans une application Java ou Python qui définit un pipeline de traitement de données pour décomposer un gros ensemble de données en plus petits morceaux pour un traitement parallèle indépendant À la fin de cette formation, les participants seront en mesure de: Installez et configurez Apache Beam Utilisez un seul modèle de programmation pour effectuer à la fois le traitement par lots et le traitement de flux à partir de leur application Java ou Python Exécutez des pipelines dans plusieurs environnements Public Développeurs Format du cours Partie conférence, discussion en partie, exercices et pratique lourde de handson Remarque Ce cours sera disponible Scala dans le futur S'il vous plaît contactez-nous pour organiser .

Apache Apex est une plate-forme YARNnative qui unifie le traitement des flux et des lots Il traite les données importantes de manière évolutive, performante, tolérante, dynamique, distribuée et facilement exploitable Cette formation en ligne, en mode instructeur, présente l'architecture de traitement de flux unifié d'Apache Apex et guide les participants à travers la création d'une application distribuée utilisant Apex sur Hadoop À la fin de cette formation, les participants seront en mesure de: Comprendre les concepts de pipeline de traitement de données tels que les connecteurs pour les sources et les puits, les transformations de données communes, etc Construire, dimensionner et optimiser une application Apex Traiter les flux de données en temps réel de manière fiable et avec une latence minimale Utilisez Apex Core et la bibliothèque Apex Malhar pour accélérer le développement d'applications Utiliser l'API Apex pour écrire et réutiliser le code Java existant Intégrer Apex dans d'autres applications en tant que moteur de traitement Régler, tester et mettre à l'échelle les applications Apex Public Développeurs Architectes d'entreprise Format du cours Partie conférence, discussion en partie, exercices et pratique lourde de handson .

Apache Storm est un moteur de calcul distribué en temps réel utilisé pour permettre l'intelligence d'affaires en temps réel. Il le fait en permettant aux applications de traiter de manière fiable les flux de données illimité (par exemple. Traitement de flux).

"Storm est pour le traitement en temps réel ce qui Hadoop est pour le traitement de pièces!"

Dans cette formation en direct guidée par l'instructeur, les participants apprendront comment installer et configurer Apache Storm, puis développer et déployer une Apache Storm application pour traiter de grands données en temps réel.

Certains des sujets inclus dans cette formation comprennent :

• Apache Storm dans le contexte de Hadoop
• Travailler avec des données illimitées
• Comptabilité continue
• Analyse en temps réel
• Traitement distribué RPC et ETL

Demandez ce cours maintenant!

Audience

• Développeurs de logiciels et ETL
• Les professionnels de mainframe
• Les scientifiques de données
• Les grands analystes de données
• [ 0 ] Les professionnels

Format du cours

• Lecture partielle, discussion partielle, exercices et pratiques lourdes

Dans cette formation dirigée par un instructeur (sur site ou à distance), les participants apprendront à déployer et à gérer Apache NiFi dans un environnement de laboratoire réel.

A l'issue de cette formation, les participants seront capables de :

• Installer et configurer Apachi NiFi.
• Sourcez, transformez et gérez des données provenant de sources de données disparates et distribuées, notamment des bases de données et des big data lakes.
• Automatiser les flux de données.
• Autoriser l'analyse en continu.
• Appliquer diverses approches pour l'ingestion de données.
• Transformer Big Data et en informations commerciales.

Dans cette formation en direct, dirigée par un instructeur, les participants apprendront les principes fondamentaux de la programmation basée sur le flux en développant un certain nombre d'extensions, de composants et de processeurs de démonstration à l'aide de Apache NiFi.

A l'issue de cette formation, les participants seront capables de :

Développer des extensions en utilisant NiFi et des API tierces.
• Développer son propre processeur Apache Nifi.
• Ingérer et traiter des données en temps réel à partir de formats de fichiers et de sources de données disparates et peu courants.

Cette formation en direct avec instructeur (en ligne ou sur site) présente les principes et les approches qui sous-tendent le traitement distribué des données en flux et par lots, et accompagne les participants dans la création d'une application de flux de données en temps réel dans Apache Flink.

A l'issue de cette formation, les participants seront capables de :

Mettre en place un environnement pour développer des applications d'analyse de données. Comprendre le fonctionnement de la bibliothèque de traitement de graphes d'Apache Flink (Gelly). Compiler, exécuter et surveiller des applications de streaming de données basées sur Flink et tolérantes aux pannes. Gérer diverses charges de travail. Effectuer des analyses avancées. Mettre en place un cluster Flink à plusieurs nœuds. Mesurer et optimiser les performances. Intégrer Flink à différents systèmes Big Data. Comparer les capacités de Flink avec celles d'autres frameworks de traitement des big data.

Dans cette formation en direct, dirigée par un instructeur, les participants apprendront à utiliser Python et Spark ensemble pour analyser les données volumineuses en travaillant sur des exercices pratiques.

A l'issue de cette formation, les participants seront capables de :

• Apprendre à utiliser Spark avec Python pour analyser les Big Data.
• Travailler sur des exercices qui imitent des cas réels.
• Utiliser différents outils et techniques pour l'analyse des Big Data en utilisant PySpark.

Dans cette formation en direct, dirigée par un instructeur, les participants découvriront les offres technologiques et les approches de mise en œuvre pour le traitement des données graphiques. L'objectif est d'identifier les objets du monde réel, leurs caractéristiques et leurs relations, puis de modéliser ces relations et de les traiter en tant que données à l'aide d'une approche Graph Computing (également connue sous le nom de Graph Analytics). Nous commencerons par une vue d'ensemble et nous nous concentrerons sur des outils spécifiques au fil d'une série d'études de cas, d'exercices pratiques et de déploiements en direct.

A l'issue de cette formation, les participants seront capables de :

• Comprendre comment les données des graphes sont persistées et parcourues.
• Sélectionner le meilleur framework pour une tâche donnée (des bases de données de graphes aux frameworks de traitement par lots.)
• Mettre en œuvre Hadoop, Spark, GraphX et Pregel pour effectuer des calculs de graphes sur de nombreuses machines en parallèle.
• Voir les problèmes de big data du monde réel en termes de graphes, de processus et de traversées.

Format du cours

• Les cours magistraux et les discussions sont interactifs.
• De nombreux exercices et de la pratique.
• Mise en œuvre pratique dans un environnement de laboratoire réel.

Options de personnalisation des cours

• Pour demander une formation personnalisée pour ce cours, veuillez nous contacter.

MLlib est la bibliothèque d'apprentissage automatique (ML) de Spark. Son objectif est de rendre l'apprentissage pratique pratique évolutif et facile. Il comprend des algorithmes et des utilitaires d'apprentissage courants, notamment la classification, la régression, la mise en cluster, le filtrage collaboratif, la réduction de la dimensionnalité, ainsi que des primitives d'optimisation de niveau inférieur et des API de pipeline de niveau supérieur.

Il se divise en deux paquets:

• spark.mllib contient l'API d'origine construite sur les RDD.

• spark.ml fournit des API de niveau supérieur construites à partir de DataFrames pour la construction de pipelines ML.

Public

Ce cours s’adresse aux ingénieurs et aux développeurs qui souhaitent utiliser une bibliothèque de machines intégrée à Apache Spark

La découverte de connaissances dans les bases de données (KDD) est le processus de découverte de connaissances utiles à partir d’une collection de données. Les applications réelles pour cette technique de minage de données comprennent le marketing, la détection de fraudes, les télécommunications et la fabrication.

Dans ce cours guidé par l'instructeur, en direct, nous introduisons les processus impliqués dans le KDD et effectuons une série d'exercices pour pratiquer la mise en œuvre de ces processus.

Audience

• Analystes de données ou toute personne intéressée à apprendre à interpréter les données pour résoudre les problèmes

Le format du cours

• Après une discussion théorique de KDD, l'instructeur présentera des cas de vie réelle qui demandent l'application de KDD pour résoudre un problème. Les participants prépareront, sélectionneront et nettoyeront des ensembles de données et utiliseront leurs connaissances antérieures sur les données pour proposer des solutions basées sur les résultats de leurs observations.