Formation technicien PNL

Leçon 1 • Qu'est-ce que le TAL et pourquoi est-il important

Définit le TAL, sa relation avec la linguistique et l'apprentissage automatique, ainsi que son impact dans le monde réel. Établit la ligne de base conceptuelle pour l'ensemble du contenu technique ultérieur.

Leçon 2 • Concepts linguistiques fondamentaux pour le TAL

Couvre la phonologie, la morphologie, la syntaxe, la sémantique et la pragmatique telles qu'elles s'appliquent aux pipelines de TAL. Fournit le vocabulaire linguistique dont les techniciens ont besoin pour interpréter le comportement des modèles.

Leçon 3 • Présentation de l'écosystème d'outils

Passe en revue les principales bibliothèques, frameworks et API cloud de TAL utilisés en production. Les étudiants acquièrent une orientation sur le paysage des outils avant de commencer les travaux pratiques.

Leçon 4 • Présentation du pipeline de TAL

Présente la séquence standard des étapes de traitement du TAL, du texte brut au résultat structuré. Les étudiants associent chaque étape à une tâche concrète et comprennent le flux de données.

Leçon 1 • Stratégies de tokenisation

Explique les méthodes de tokenisation de mots, de phrases et de sous-mots ainsi que leurs compromis. Le choix de la tokenisation affecte directement la taille du vocabulaire et les performances du modèle.

Leçon 2 • Acquisition et encodage du texte

Couvre l'obtention de texte à partir de fichiers, d'API et de bases de données, ainsi que la gestion des encodages de caractères. Garantit que les données entrent dans le pipeline sans corruption ni perte.

Leçon 3 • Gestion des mots vides et du vocabulaire

Aborde la suppression des mots vides, l'élagage du vocabulaire et la gestion des mots hors vocabulaire. Équilibre la conservation des informations avec l'efficacité de calcul.

Leçon 4 • Nettoyage et suppression du bruit

Enseigne la suppression des balises HTML, des caractères spéciaux, du contenu standardisé et du balisage non pertinent. Améliore directement la précision du modèle en aval en réduisant le bruit.

Leçon 1 • Plongements de phrases et de documents

Étend les représentations au niveau des mots à des phrases et documents entiers à l'aide du calcul de moyenne et de modèles dédiés. Permet les tâches de similarité sémantique et de recherche.

Leçon 2 • Sélection de caractéristiques et réduction de dimensionnalité

Applique le chi-deux, l'information mutuelle et l'ACP pour réduire l'espace des caractéristiques sans perdre de signal. Améliore la vitesse d'apprentissage du modèle et la généralisation.

Leçon 3 • Sac de mots et vecteurs de comptage

Construit des matrices document-terme en utilisant des comptages bruts et des indicateurs binaires. Établit la représentation de base la plus simple avant d'introduire des méthodes plus riches.

Leçon 4 • Pondération TF-IDF

Applique la fréquence de terme - fréquence inverse de document pour pondérer les termes informatifs. Les étudiants calculent le TF-IDF manuellement et avec des bibliothèques, puis interprètent les résultats.

Leçon 1 • Reconnaissance d'entités nommées

Étiquette les séquences d'entités à l'aide d'étiqueteurs basés sur des règles, des CRF et des étiqueteurs neuronaux de séquence. Les étudiants annotent des données, entraînent des modèles et évaluent les performances au niveau des séquences.

Leçon 2 • Extraction de relations et d'événements

Identifie les relations entre les entités et extrait des enregistrements d'événements structurés à partir du texte. S'appuie sur la sortie du NER pour produire des données prêtes pour les graphes de connaissances.

Leçon 3 • Analyse des sentiments

Applique la classification à la détection de la polarité et à l'analyse des sentiments basée sur les aspects. Les étudiants traitent la négation, les indicateurs de sarcasme et le changement de domaine.

Leçon 4 • Fondamentaux de la classification de texte

Entraîne les classifieurs Naive Bayes, régression logistique et SVM sur des caractéristiques textuelles. Relie les choix de représentation du chapitre 3 aux résultats de classification.

Leçon 1 • Modèles séquence-à-séquence

Couvre l'architecture encodeur-décodeur pour des tâches comme la traduction et le résumé. Les étudiants suivent le flux de données à travers l'encodeur, le vecteur de contexte et le décodeur.

Leçon 2 • Réseaux de neurones récurrents pour le texte

Présente l'architecture RNN, la mécanique du passage avant et les problèmes de gradient vanishing. Les étudiants implémentent un classifieur de texte RNN simple à partir de zéro.

Leçon 3 • Mécanismes d'attention

Présente l'attention additive et le produit scalaire comme solutions au goulot d'étranglement du contexte. Prépare les étudiants à l'architecture du transformer dans le chapitre suivant.

Leçon 4 • Modèles de langage n-grammes

Construit des modèles probabilistes de séquences de mots en utilisant des comptages n-grammes et le lissage. Fournit la base statistique avant l'introduction des modèles de séquences neuronaux.

Leçon 1 • Ajustement efficace en paramètres

Présente LoRA, le réglage des préfixes et les méthodes d'adaptateur qui réduisent les coûts de calcul et de mémoire. Les étudiants appliquent une méthode PEFT à un modèle pré-entraîné.

Leçon 2 • Ajustement de modèles pré-entraînés

Couvre l'ajout d'une tête spécifique à la tâche, la planification du taux d'apprentissage et la prévention du surapprentissage pendant l'ajustement. Les étudiants ajustent un modèle pré-entraîné sur un ensemble de données de classification.

Leçon 3 • Plongée approfondie dans l'architecture du transformer

Dissèque l'auto-attention, l'encodage positionnel, les couches feed-forward et la normalisation de couche. Les étudiants suivent un jeton à travers la pile complète de l'encodeur.

Leçon 4 • Familles de modèles de langage pré-entraînés

Passe en revue les familles de modèles encodeur seulement, décodeur seulement et encodeur-décodeur ainsi que leurs objectifs de pré-entraînement. Les étudiants associent la famille de modèles au type de tâche.

Leçon 1 • Techniques d'optimisation de la latence

Applique la quantification, la distillation et l'exportation ONNX pour réduire la latence d'inférence. Les étudiants comparent les performances avant et après chaque optimisation.

Leçon 2 • Conteneurisation et orchestration

Empaquete les services de TAL dans des conteneurs et introduit l'orchestration pour la mise à l'échelle. Les étudiants rédigent une définition de conteneur et déploient un service multi-répliques.

Leçon 3 • Sérialisation et empaquetage des modèles

Couvre la sauvegarde des poids du modèle, des configurations du tokeniseur et des artefacts de prétraitement sous forme de bundle déployable. Garantit la reproductibilité entre les environnements.

Leçon 4 • Surveillance de la production et détection de dérive

Implémente la journalisation, la surveillance des prédictions et les alertes de dérive des données pour les services de TAL en direct. Les étudiants configurent un tableau de bord de surveillance et définissent des seuils d'alerte.

Leçon 1 • IA responsable dans les systèmes de TAL

Aborde la détection des biais, les métriques d'équité, les risques pour la vie privée et les exigences de transparence dans le TAL. Les étudiants auditent un modèle pour détecter les biais et documentent les mesures d'atténuation.

Leçon 2 • TAL multilingue et cross-lingue

Applique des modèles pré-entraînés multilingues aux tâches de transfert cross-lingue et de traduction. Les étudiants évaluent les performances cross-lingues en zero-shot.

Leçon 3 • Systèmes de résumé de texte

Implémente des pipelines de résumé extractif et abstractif et évalue la qualité de la sortie. Les étudiants ajustent les compromis entre longueur et fidélité.

Leçon 4 • Schémas de conception de systèmes de TAL

Introduit les schémas de conception par pipeline modulaire, microservice et hybride règle-neuronal pour le TAL. Les étudiants sélectionnent et justifient un schéma de conception pour un scénario donné.

Leçon 5 • IA conversationnelle et systèmes de dialogue

Couvre la détection d'intention, le remplissage de créneaux, le suivi de l'état du dialogue et la génération de réponses. Les étudiants construisent un prototype de dialogue orienté tâche.