Formation Classification audio et détection d'événements avec l'IA

Fondements de la classification audio

• Types d'événements sonores : environnementaux, mécaniques, générés par l'humain
• Aperçu des cas d'utilisation : surveillance, monitoring, automatisation
• Classification vs détection vs segmentation audio

Données audio et extraction de caractéristiques

• Types de fichiers et formats audio
• Taux d'échantillonnage, fenêtrage, considérations sur la taille des trames
• Extraction des MFCC, des caractéristiques chroma, des mélo-spectrogrammes

Préparation des données et annotation

• UrbanSound8K, ESC-50 et jeux de données personnalisés
• Étiquetage des événements sonores et des limites temporelles
• Équilibrage des jeux de données et augmentation audio

Construction de modèles de classification audio

• Utilisation de réseaux de neurones convolutifs (CNN) pour l'audio
• Entrée du modèle : forme d'onde brute vs caractéristiques
• Fonctions de perte, métriques d'évaluation et surapprentissage

Détection d'événements et localisation temporelle

• Stratégies de détection par trames et par segments
• Post-traitement des détections à l'aide de seuils et de lissage
• Visualisation des prédictions sur les chronologies audio

Sujets avancés et traitement en temps réel

• Apprentissage par transfert pour les scénarios à faible volume de données
• Déploiement des modèles avec TensorFlow Lite ou ONNX
• Traitement audio en flux continu et considérations sur la latence

Développement de projets et scénarios d'application

• Conception d'un pipeline complet : de l'ingestion à la classification
• Développement d'une preuve de concept pour la surveillance, le contrôle qualité ou le monitoring
• Journalisation, alertes et intégration avec des tableaux de bord ou des API

Résumé et prochaines étapes