Tech • IA • Robotique
Comment fonctionne le machine learning, de bout en bout (bases complètes)
4/10INTRO
L’apprentissage automatique est passé de règles codées à la main à des modèles pilotés par les données; les réseaux de neurones, les transformers et l’entraînement à grande échelle alimentent désormais les systèmes d’IA modernes, capables d’apprendre des motifs et de faire des prédictions sur de nouvelles entrées.
POINTS CLÉS
Des règles vers l’apprentissage
Les premières IA reposaient sur des règles explicites écrites par des humains et sur la recherche, une approche efficace dans des domaines étroits comme les échecs. Une étape marquante a eu lieu en 1997, lorsque IBM Deep Blue a battu Garry Kasparov, montrant la puissance des systèmes spécialisés mais aussi leurs limites hors de tâches strictement définies. L’apprentissage automatique est apparu comme l’alternative pour des problèmes réels complexes comme le filtrage du spam, la traduction et la recommandation, où écrire chaque règle à la main est impraticable.
Jalons historiques
Les racines intellectuelles remontent à Alan Turing en 1950 et à l’atelier de Dartmouth en 1956, qui a contribué à formaliser l’intelligence artificielle comme discipline. Arthur Samuel chez IBM a créé un programme de dames qui s’améliorait par l’expérience, un exemple précoce d’apprentissage automatique. Parmi les percées ultérieures figurent la diffusion de la rétropropagation dans les années 1980, la victoire d’AlexNet au concours ImageNet en 2012 grâce aux GPU, AlphaGo battant un grand joueur de Go, et l’arrivée de l’architecture transformer en 2017.
Ce qu’est l’apprentissage automatique
L’apprentissage automatique est un logiciel qui apprend des motifs à partir des données au lieu de s’appuyer uniquement sur des instructions fixes. Dans la programmation traditionnelle, les développeurs écrivent des règles qui relient directement l’entrée à la sortie. En apprentissage automatique, un modèle est entraîné sur des exemples afin de produire des prédictions utiles sur de nouveaux cas, comme estimer le prix d’une maison ou prédire une note de film dans un système de recommandation.
Données, caractéristiques et étiquettes
Les ingrédients de base sont les données, les caractéristiques et les étiquettes. Dans un jeu de données immobilières, chaque ligne est un exemple; les caractéristiques incluent des valeurs comme la surface, le nombre de chambres et le quartier, et l’étiquette est le prix de vente. Cette configuration définit l’apprentissage supervisé, où le modèle est entraîné sur des exemples dont les réponses sont connues, tandis que les données non étiquetées mènent à des tâches d’apprentissage non supervisé centrées sur la découverte de structure.
Préparation et qualité des données
La préparation des données peut être aussi importante que le modèle lui-même. Les tâches incluent la suppression des mauvaises lignes, la gestion des valeurs manquantes, la conversion en nombres de champs catégoriels comme le quartier, et la création de meilleures caractéristiques, comme l’âge de la maison à partir de l’année de construction. Des données faibles, biaisées ou incomplètes peuvent mener à une mauvaise généralisation, un problème souvent résumé par garbage in, garbage out.
Entraînement versus inférence
L’apprentissage automatique comporte généralement deux phases distinctes: l’entraînement et l’inférence. Pendant l’entraînement, le modèle voit des exemples passés avec réponses connues, fait des prédictions, mesure l’erreur et met à jour ses valeurs internes. Pendant l’inférence, le modèle entraîné reçoit de nouvelles entrées et produit des prédictions sans être mis à jour; c’est ainsi que fonctionnent la plupart des systèmes déployés en pratique.
Paramètres et poids
Un modèle apprend en ajustant des paramètres internes, notamment des poids et des biais. Dans un modèle linéaire simple, le prix prédit peut s’écrire comme une somme pondérée des caractéristiques plus un terme de biais. Les petits modèles peuvent avoir des dizaines ou des centaines de paramètres, tandis que les grands systèmes opèrent à une tout autre échelle, notamment GPT-3 avec 175 milliards de paramètres et des variantes de Llama 2 publiées en tailles 7 milliards, 13 milliards et 70 milliards.
Fonctions de perte et descente de gradient
L’entraînement exige un moyen précis de mesurer l’erreur, fourni par une fonction de perte. Pour les tâches de prédiction numérique comme les prix des maisons, les choix courants incluent l’erreur quadratique moyenne et des mesures proches qui pénalisent davantage les grosses erreurs. Le modèle utilise ensuite la descente de gradient pour mettre à jour ses paramètres dans la direction qui réduit la perte, en traitant généralement les données par lots au fil de plusieurs époques.
Généralisation et découpage des données
De bonnes performances sur les données d’entraînement ne suffisent pas, car les modèles peuvent surapprendre et mémoriser des particularités au lieu d’apprendre des motifs utiles. Pour mesurer la généralisation, les données sont divisées en ensembles d’entraînement, de validation et de test. L’ensemble de validation aide à détecter le surapprentissage pendant le développement, tandis que l’ensemble de test fournit une vérification finale sur des exemples conservés jusqu’à la fin.
Comment les grands modèles de langage sont entraînés
Les systèmes modernes comme GPT sont de grands réseaux de neurones entraînés sur du texte découpé en tokens, convertis en embeddings numériques. Lors du pré-entraînement, le modèle prédit de façon répétée le token suivant sur d’immenses corpus textuels, apprenant grammaire, faits et motifs linguistiques via la même boucle de prédiction, perte, rétropropagation et mise à jour des paramètres. Lors du post-entraînement, des méthodes comme l’instruction fine-tuning et le RLHF affinent le modèle afin qu’il suive les instructions et produise des réponses plus utiles, sûres et pertinentes.
Évaluation et tendances modernes de l’IA
L’évaluation dépend de la tâche: MAE, MSE et RMSE pour la régression; accuracy, precision, recall et F1 pour la classification. Les modèles de langage exigent une évaluation plus large, incluant des benchmarks, des vérifications de factualité, des tests de code et de mathématiques, et des évaluations de préférences humaines, car il n’existe souvent pas une seule bonne réponse. Les progrès récents ont été portés par les transformers, l’attention, les systèmes multimodaux comme CLIP et DALL-E, et des agents capables d’utiliser des outils pour chercher, exécuter du code, inspecter des fichiers et agir dans des systèmes logiciels plus vastes.
CONCLUSION
Le changement central du domaine a été le passage de règles encodées manuellement à des modèles qui apprennent à partir d’exemples à grande échelle. L’IA moderne prolonge cette base avec des modèles plus grands, des données plus variées et l’usage d’outils, mais le pipeline fondamental reste le même: données, entraînement, évaluation et prédiction.
Explique-moi