Formation technicien PNL

Leçon 1 • Qu'est-ce que le TALN et pourquoi est-il important

Définit le TALN, sa relation avec la linguistique et l'apprentissage automatique, ainsi que son impact dans le monde réel. Établit la base conceptuelle de tout le contenu technique subséquent.

Leçon 2 • Concepts linguistiques fondamentaux pour le TALN

Couvre la phonologie, la morphologie, la syntaxe, la sémantique et la pragmatique telles qu'elles s'appliquent aux pipelines de TALN. Fournit le vocabulaire linguistique dont les techniciens ont besoin pour interpréter le comportement des modèles.

Leçon 3 • Aperçu des outils et de l'écosystème

Passe en revue les bibliothèques, les cadres et les API infonuagiques dominants utilisés en production pour le TALN. Les étudiants acquièrent une orientation du paysage des outils avant de commencer les travaux pratiques.

Leçon 4 • Aperçu du pipeline de TALN

Présente la séquence standard des étapes de traitement du TALN, du texte brut à la sortie structurée. Les étudiants associent chaque étape à une tâche concrète et comprennent le flux de données.

Leçon 1 • Stratégies de tokenisation

Explique les méthodes de tokenisation des mots, des phrases et des sous-mots ainsi que leurs compromis. Le choix de la tokenisation affecte directement la taille du vocabulaire et le rendement du modèle.

Leçon 2 • Acquisition et encodage du texte

Couvre l'obtention de texte à partir de fichiers, d'API et de bases de données, ainsi que la gestion des encodages de caractères. Garantit que les données entrent dans le pipeline sans corruption ni perte.

Leçon 3 • Gestion des mots vides et du vocabulaire

Aborde la suppression des mots vides, l'élagage du vocabulaire et la gestion des mots hors vocabulaire. Équilibre la rétention d'information et l'efficacité computationnelle.

Leçon 4 • Nettoyage et élimination du bruit

Enseigne la suppression des balises HTML, des caractères spéciaux, du texte générique et du balisage non pertinent. Améliore directement la précision du modèle en aval en réduisant le bruit.

Leçon 1 • Plongements de phrases et de documents

Étend les représentations au niveau des mots à des phrases et des documents entiers à l'aide de moyennes et de modèles dédiés. Permet les tâches de similarité sémantique et de recherche.

Leçon 2 • Sélection de caractéristiques et réduction de dimensionnalité

Applique le chi-carré, l'information mutuelle et l'ACP pour réduire l'espace des caractéristiques sans perdre de signal. Améliore la vitesse d'apprentissage du modèle et la généralisation.

Leçon 3 • Sac de mots et vecteurs de comptage

Construit des matrices document-terme à l'aide de comptes bruts et d'indicateurs binaires. Établit la représentation de base la plus simple avant d'introduire des méthodes plus riches.

Leçon 4 • Pondération TF-IDF

Applique la fréquence de terme-fréquence inverse de document pour pondérer les termes informatifs. Les étudiants calculent le TF-IDF manuellement et avec des bibliothèques, puis interprètent les résultats.

Leçon 1 • Reconnaissance d'entités nommées

Étiquette les séquences d'entités à l'aide d'étiqueteurs de séquences basés sur des règles, des CRF et des réseaux de neurones. Les étudiants annotent des données, entraînent des modèles et évaluent le rendement au niveau des séquences.

Leçon 2 • Extraction de relations et d'événements

Identifie les relations entre les entités et extrait des enregistrements d'événements structurés à partir du texte. S'appuie sur la sortie de la REN pour produire des données prêtes pour un graphe de connaissances.

Leçon 3 • Analyse des sentiments

Applique la classification à la détection de polarité et à l'analyse des sentiments basée sur les aspects. Les étudiants gèrent la négation, les indicateurs de sarcasme et le changement de domaine.

Leçon 4 • Fondamentaux de la classification de texte

Entraîne les classifieurs naïfs bayésiens, de régression logistique et SVM sur des caractéristiques textuelles. Relie les choix de représentation du chapitre 3 aux résultats de classification.

Leçon 1 • Modèles séquence-à-séquence

Couvre l'architecture encodeur-décodeur pour des tâches comme la traduction et le résumé. Les étudiants tracent le flux de données à travers l'encodeur, le vecteur de contexte et le décodeur.

Leçon 2 • Réseaux de neurones récurrents pour le texte

Présente l'architecture RNN, la mécanique de la propagation avant et les problèmes de gradient qui s'estompent. Les étudiants implémentent un classifieur de texte RNN simple à partir de zéro.

Leçon 3 • Mécanismes d'attention

Présente l'attention additive et par produit scalaire comme solutions au goulot d'étranglement du contexte. Prépare les étudiants à l'architecture transformeur dans le chapitre suivant.

Leçon 4 • Modèles de langage n-grammes

Construit des modèles probabilistes de séquences de mots à l'aide de comptes n-grammes et de lissage. Fournit la base statistique avant l'introduction des modèles de séquences neuronaux.

Leçon 1 • Ajustement efficace en termes de paramètres

Présente LoRA, l'ajustement par préfixe et les méthodes d'adaptateurs qui réduisent les coûts de calcul et de mémoire. Les étudiants appliquent une méthode PEFT à un modèle pré-entraîné.

Leçon 2 • Ajustement de modèles pré-entraînés

Couvre l'attachement d'une tête spécifique à la tâche, la planification du taux d'apprentissage et la prévention du surapprentissage pendant l'ajustement. Les étudiants ajustent un modèle pré-entraîné sur un ensemble de données de classification.

Leçon 3 • Plongée en profondeur dans l'architecture transformeur

Dissèque l'auto-attention, l'encodage positionnel, les couches feed-forward et la normalisation de couche. Les étudiants tracent un jeton à travers toute la pile de l'encodeur.

Leçon 4 • Familles de modèles de langage pré-entraînés

Passe en revue les familles de modèles encodeur seulement, décodeur seulement et encodeur-décodeur ainsi que leurs objectifs de pré-entraînement. Les étudiants associent la famille de modèles au type de tâche.

Leçon 1 • Techniques d'optimisation de la latence

Applique la quantification, la distillation et l'exportation ONNX pour réduire la latence d'inférence. Les étudiants effectuent des tests comparatifs avant et après chaque optimisation.

Leçon 2 • Conteneurisation et orchestration

Empaquette les services de TALN dans des conteneurs et présente l'orchestration pour la mise à l'échelle. Les étudiants écrivent une définition de conteneur et déploient un service multi-réplicas.

Leçon 3 • Sérialisation et empaquetage de modèles

Couvre la sauvegarde des poids du modèle, des configurations du tokeniseur et des artefacts de prétraitement sous forme de lot déployable. Garantit la reproductibilité entre les environnements.

Leçon 4 • Surveillance en production et détection de dérive

Implémente la journalisation, la surveillance des prédictions et les alertes de dérive des données pour les services de TALN en direct. Les étudiants configurent un tableau de bord de surveillance et définissent des seuils d'alerte.

Leçon 1 • IA responsable dans les systèmes de TALN

Aborde la détection des biais, les métriques d'équité, les risques pour la vie privée et les exigences de transparence dans le TALN. Les étudiants auditent un modèle pour détecter les biais et documentent les mesures d'atténuation.

Leçon 2 • TALN multilingue et translinguistique

Applique des modèles pré-entraînés multilingues au transfert translinguistique et aux tâches de traduction. Les étudiants évaluent le rendement translinguistique zéro-shot.

Leçon 3 • Systèmes de résumé de texte

Implémente des pipelines de résumé extractif et abstractif et évalue la qualité de la sortie. Les étudiants ajustent les compromis entre la longueur et la fidélité.

Leçon 4 • Modèles de conception de systèmes de TALN

Présente les modèles de conception par pipeline modulaire, microservice et hybride règle-neuronal pour le TALN. Les étudiants sélectionnent et justifient un modèle de conception pour un scénario donné.

Leçon 5 • IA conversationnelle et systèmes de dialogue

Couvre la détection d'intention, le remplissage d'emplacements, le suivi de l'état du dialogue et la génération de réponses. Les étudiants construisent un prototype de dialogue orienté tâche.