Plan du cours
Fondamentaux du déploiement d'IA hybride
- Compréhension des modèles de déploiement hybride, cloud et de périphérie
- Caractéristiques des charges de travail IA et contraintes d'infrastructure
- Choix de la topologie de déploiement appropriée
Conteneurisation des charges de travail IA avec Docker
- Création de conteneurs d'inférence GPU et CPU
- Gestion des images et registres sécurisés
- Mise en œuvre d'environnements reproductibles pour l'IA
Déploiement de services IA dans des environnements cloud
- Exécution de l'inférence sur AWS, Azure et GCP via Docker
- Provisionnement de la puissance de calcul cloud pour le service de modèles
- Sécurisation des points de terminaison IA basés sur le cloud
Techniques de déploiement Edge et On-Premise
- Exécution de l'IA sur des appareils IoT, des passerelles et des microservers
- Runtimes légers pour les environnements de périphérie
- Gestion de la connectivité intermittente et de la persistance locale
Réseau hybride et connectivité sécurisée
- Tunneling sécurisé entre la périphérie et le cloud
- Certificats, secrets et accès basé sur les jetons
- Ajustement des performances pour une inférence à faible latence
Orchestration des déploiements d'IA distribués
- Utilisation de K3s, K8s ou d'un orchestration légère pour les configurations hybrides
- Découverte de services et planification des charges de travail
- Automatisation des stratégies de déploiement multi-sites
Surveillance et observabilité à travers les environnements
- Suivi des performances de l'inférence sur les différents sites
- Centralisation de la journalisation pour les systèmes d'IA hybrides
- Détection des pannes et récupération automatique
Mise à l'échelle et optimisation des systèmes d'IA hybrides
- Mise à l'échelle des grilles de périphérie et des nœuds cloud
- Optimisation de l'utilisation de la bande passante et du cache
- Équilibre de la charge de calcul entre le cloud et la périphérie
Résumé et prochaines étapes
Pré requis
- Une compréhension des concepts de conteneurisation
- De l'expérience avec les opérations de ligne de commande Linux
- Une familiarité avec les flux de travail de déploiement de modèles IA
Audience
- Architectes d'infrastructure
- Ingénieurs de fiabilité des sites (SRE)
- Développeurs Edge et IoT
Nos clients témoignent (2)
Comment les formateurs transmettent-ils efficacement leurs connaissances
Vu Thoai Le - Reply Polska sp. z o. o.
Formation - Certified Kubernetes Administrator (CKA) - exam preparation
Traduction automatique
le formateur avait beaucoup de connaissances et de patience à partager avec nous
Bogdan Olaru
Formation - Introduction to Docker
Traduction automatique