Plan du cours
Architecture d'entreprise et conception de pipelines
- Architectures ETL multicouches.
- Conception de composants modulaires et réutilisables.
- Approches hybrides entre systèmes.
Ingénierie des performances avancée
- Optimisation au niveau des étapes.
- Stratégies de parallélisme et de thread.
- Surveillance des pipelines sous charge élevée.
Automatisation, scripting et extensions personnalisées
- Scripting à l'intérieur des transformations.
- Développement de plugins personnalisés.
- Extension des capacités PDI avec Java et JavaScript.
Traitement des données complexes et intégrations
- Intégrations en temps réel et en streaming.
- Travail avec des plateformes Big Data.
- Traitement avancé des fichiers et des API.
Gouvernance des données, sécurité et conformité
- Sécurisation des transformations et des identifiants.
- Traçabilité et lignée des données.
- Considérations réglementaires et de conformité.
Orchestration et planification entreprise
- Gestion de grands réseaux de jobs.
- Conception de la récupération d'erreurs et de la reprise sur incident.
- Orchestration au niveau de l'environnement.
Dépôt, contrôle de version et CI/CD
- Stratégies de dépôt d'entreprise.
- Intégration de PDI avec Git.
- Modèles de déploiement continu.
Déploiement, surveillance et opérations de production
- Promotion des solutions entre environnements.
- Outils opérationnels et tableaux de bord.
- Préparation complète à la production de bout en bout.
Récapitulatif et prochaines étapes
Pré requis
- Une compréhension des pipelines ETL et de la modélisation des données.
- De l'expérience avec des transformations PDI de niveau intermédiaire.
- De solides compétences en SQL et en scripting.
Public cible
- Ingénieurs des données seniors.
- Architectes ETL.
- Professionnels gérant des charges de travail d'intégration de données complexes.
Nos clients témoignent (2)
Très utile car il m'aide à comprendre ce que nous pouvons faire avec les données dans notre contexte. Il m'aidera également à
Nicolas NEMORIN - Adecco Groupe France
Formation - KNIME Analytics Platform for BI
Traduction automatique
C'est une session pratique.
Vorraluck Sarechuer - Total Access Communication Public Company Limited (dtac)
Formation - Talend Open Studio for ESB
Traduction automatique