Du texte brut
à la prédiction
Préparer un texte, le représenter en nombres, construire un premier modèle d’analyse de sentiments.
Vous utilisez déjà le NLP tous les jours
Comment Google traduit-il une phrase en une seconde ?
Comment Siri vous comprend-il quand vous parlez ?
Comment votre boîte mail repère-t-elle un spam ?
Qu’est-ce que le NLP ?
“Le NLP (Natural Language Processing, ou TAL) est le domaine de l’IA qui permet à une machine de lire, comprendre et produire du langage humain.
On le retrouve partout :
- Traduction automatique — Google Traduction, DeepL.
- Assistants vocaux — Siri, Alexa : de la parole à l’intention.
- Filtres anti-spam — classer un e-mail en « spam » / « non-spam ».
- Analyse de sentiments — avis clients positifs ou négatifs.
- Chatbots et moteurs de recherche.
Trois grains, un projet
Le cours part d’un texte brut et aboutit à une prédiction, en trois étapes :
- 01Préparer — le prétraitement : nettoyer un texte, étape par étape.
- 02Représenter — la vectorisation : transformer les mots en nombres.
- 03Exploiter — le mini-projet : construire un analyseur de sentiments.
À l’issue du cours, vous saurez…
- Définir le NLP et citer ses applications
- Décrire la chaîne de traitement d'un texte
- Appliquer le prétraitement à un texte simple
- Expliquer pourquoi un texte doit devenir des vecteurs
- Appliquer Bag-of-Words et TF-IDF
- Comparer ces approches avec les word embeddings
- Mobiliser les acquis des grains 1 et 2
- Construire un classifieur d'analyse de sentiments
- Évaluer la performance du modèle
Nettoyer le texte
Un texte brut ne peut pas être analysé tel quel. On le nettoie par étapes successives — tokenisation, normalisation, stop words, lemmatisation — sur une phrase fil rouge : « Les chats dormaient tranquillement sur le canapé ! »
Le vocabulaire de base
| Notion | Définition |
|---|---|
| Corpus | Ensemble des textes que l'on étudie (ex. tous les avis clients). |
| Document | Une unité du corpus : une phrase, un avis, un e-mail. |
| Token | La plus petite unité issue du découpage : le plus souvent un mot, parfois la ponctuation. |
| Tokenisation | Opération qui découpe un texte en tokens. |
| Vocabulaire | Ensemble des tokens distincts présents dans le corpus. |
| Stop words | Mots très fréquents et peu informatifs (« le », « de », « et », « à »…), souvent retirés. |
La chaîne de traitement d’un texte
Quatre opérations s’enchaînent toujours dans le même ordre :
Tokenisation : découper en mots
word_tokenize(texte) fragmente la phrase en jetons :
« Les chats dormaient tranquillement sur le canapé ! »
La ponctuation devient un token à part entière.
Normalisation : tout en minuscules
« Les » et « les » doivent être traités pareil — sinon le même mot compte deux fois.
Stop words : retirer les mots-outils
- Très fréquents, peu de sens : « le », « sur », « de »…
- On filtre avec la liste française de stop words (et la ponctuation avec).
Ce qui est fréquent et vide tombe ; ce qui est informatif reste.
Lemmatisation : la forme de base
Chaque forme conjuguée ou fléchie revient à son lemme, la forme du dictionnaire :
Avec spaCy : token.lemma_
Les formes conjuguées sont les branches ; le lemme est la racine.
Stemming ou lemmatisation ?
Les deux ramènent un mot à une forme de base, mais différemment :
| Stemming (racinisation) | Lemmatisation | |
|---|---|---|
| Principe | Coupe la fin du mot de façon mécanique. | Ramène au lemme en tenant compte de la grammaire. |
| Exemples | « mangeaient » → « mange » « chevaux » → « cheva » | « mangeaient » → « manger » « chevaux » → « cheval » |
| Bilan | Rapide mais grossier — la « racine » n'est pas toujours un vrai mot. | Plus précis, mais plus coûteux. |
La chaîne complète, avant / après
| Étape | Résultat |
|---|---|
| Texte brut | Les chats dormaient tranquillement sur le canapé ! |
| Tokenisation | [Les] [chats] [dormaient] [tranquillement] [sur] [le] [canapé] [!] |
| Minuscules | [les] [chats] [dormaient] [tranquillement] [sur] [le] [canapé] [!] |
| Sans stop words | [chats] [dormaient] [tranquillement] [canapé] |
| Lemmatisation | [chat] [dormir] [tranquillement] [canapé] |
De 8 tokens bruts à 4 tokens propres et porteurs de sens.
Pourquoi prétraiter ?
Pédagogique, riche en ressources. Ne pas oublier nltk.download(...) — l’erreur classique du débutant.
Rapide, orienté production. Tokeniseur, stop words et lemmatiseur prêts à l’emploi.
Représenter le texte en nombres
Les algorithmes d'apprentissage ne manipulent que des nombres. Trois familles de représentations, du plus simple au plus riche : Bag-of-Words, TF-IDF, word embeddings.
Un ordinateur ne comprend pas les mots
- Il ne comprend que des nombres.
- Chaque document doit devenir un vecteur — une liste de nombres.
- C’est l’étape de vectorisation.
Bag-of-Words : compter les mots
On construit le vocabulaire (les mots distincts), puis chaque document devient un vecteur qui compte les occurrences. L’ordre des mots est ignoré — d’où le « sac ».
- D1 : « le chat dort »
- D2 : « le chat mange le poisson »
- Vocabulaire : {le, chat, dort, mange, poisson}
| Doc | le | chat | dort | mange | poisson |
|---|---|---|---|---|---|
| D1 | 1 | 1 | 1 | 0 | 0 |
| D2 | 2 | 1 | 0 | 1 | 1 |
Le problème des mots trop fréquents
- « le », « de », « et »… reviennent partout sans rien dire.
- Dans un simple comptage, ils écrasent les mots vraiment informatifs.
- Fréquent ≠ informatif : la colonne « le » gonfle et prend toute la place.
TF-IDF : pondérer par la rareté
- TF (Term Frequency) : plus un mot apparaît dans un document, plus il compte pour ce document.
- IDF (Inverse Document Frequency) : plus un mot apparaît dans beaucoup de documents, moins il est discriminant.
N = nombre de documents · df(t) = documents contenant le mot t.
Ce que fait vraiment l’IDF
IDF proche de zéro : son poids TF-IDF s’effondre. « le » ne caractérise rien.
Poids élevé : c’est lui qui caractérise le document où il apparaît.
BoW et TF-IDF ignorent le sens
- Leurs vecteurs sont creux : beaucoup de dimensions, presque toutes à zéro.
- Deux synonymes = deux colonnes sans aucun lien.
- « voiture » et « automobile » y sont aussi éloignés que « voiture » et « banane ».
Deux jumeaux enfermés dans deux boîtes qui ne se voient pas.
Les word embeddings
- Chaque mot devient un vecteur dense de quelques centaines de dimensions.
- Appris (Word2Vec, GloVe, FastText) pour que les mots proches par le sens soient proches dans l’espace.
- « voiture » et « automobile » se touchent ; « banane » reste à l’écart.
+ femme
≈ reine
Quelle méthode choisir ?
| Bag-of-Words | TF-IDF | Embeddings | |
|---|---|---|---|
| Principe | Compte les mots | Pondère par la rareté | Vecteurs denses appris |
| Vecteur | Creux, grande dim. | Creux, grande dim. | Dense, faible dim. |
| Sens des mots | Non capturé | Non capturé | Capturé (similarité) |
| Avantages | Simple, interprétable | Filtre les mots fréquents | Capte le sens, performant |
| Limites | Ignore l'importance | Ignore le sens et l'ordre | Coûteux, moins interprétable |
Construire un analyseur de sentiments
Le projet final réunit tout ce qu'on a appris : des avis étiquetés, un découpage entraînement / test, TF-IDF, une régression logistique, une évaluation honnête — et le test ultime sur une phrase jamais vue.
Le pipeline complet
Un projet de classification de texte enchaîne toujours les mêmes étapes :
- Le grain 1 fournit le prétraitement, le grain 2 la vectorisation TF-IDF.
- Il reste à entraîner, évaluer et prédire — avec scikit-learn.
Des avis étiquetés
X = les avis (textes) · y = les étiquettes : 1 = positif, 0 = négatif.
| Avis (X) | Étiquette (y) |
|---|---|
| « super film, j’ai adoré » | 1 · positif |
| « très mauvais, ennuyeux » | 0 · négatif |
| « excellent, je recommande » | 1 · positif |
| « horrible, perte de temps » | 0 · négatif |
| « génial et touchant » | 1 · positif |
| « décevant et trop long » | 0 · négatif |
Jeu d’entraînement, jeu de test
- Entraînement : le modèle apprend dessus —
train_test_split. - Test : données jamais vues, pour estimer la capacité à généraliser.
Vectoriser, puis entraîner
fit_transform sur l’entraînement, transform seul sur le test : le vocabulaire n’est appris qu’une fois.
Évaluer, puis prédire
Le modèle est-il bon ?
| Métrique | Ce qu'elle mesure |
|---|---|
| Accuracy | Proportion de prédictions correctes sur l'ensemble. |
| Précision | Parmi les prédits « positifs », combien le sont vraiment. |
| Rappel | Parmi les vrais « positifs », combien ont été retrouvés. |
| F1-score | Moyenne harmonique précision / rappel (compromis). |
Itérer pour s’améliorer
Entraîner → évaluer → corriger. Les pistes classiques :
- 01Plus de données d’entraînement — le levier le plus sûr.
- 02Une meilleure représentation : remplacer TF-IDF par des embeddings pré-entraînés (Word2Vec, GloVe).
- 03Visualiser les regroupements avec
t-SNE: positifs et négatifs forment-ils des nuages distincts ? - 04Tester d’autres modèles (Naïve Bayes, SVM) et ajuster les hyperparamètres.
Vous avez construit votre premier classifieur NLP
- 01Préparer — tokenisation, normalisation, stop words, lemmatisation.
- 02Représenter — Bag-of-Words, TF-IDF, embeddings.
- 03Exploiter — découpage, entraînement, évaluation, prédiction.
Prêt à faire parler les données ?