Techniques & Modèles
Attention
Mécanisme qui permet au modèle de se concentrer sur les parties les plus pertinentes de l'entrée.
Définition
Le mécanisme d'attention, au cœur des Transformers, permet au modèle de pondérer dynamiquement l'importance de chaque mot (ou token) par rapport aux autres dans une séquence. Cela résout le problème des dépendances à longue distance et permet aux LLM de maintenir la cohérence sur des textes longs. L'« attention multi-tête » examine ces relations sous plusieurs angles simultanément.
Et concrètement, en PME ?
Ce terme revient dès qu'on cadre un projet IA. Ce qui compte n'est pas de savoir le définir, mais de repérer s'il concerne vos processus : un audit part de vos tâches réelles et vous dit lesquelles relèvent de cette notion — et lesquelles n'en relèvent pas.
Voir en quoi consiste un audit IATermes liés
- TransformerArchitecture de réseau de neurones fondatrice des LLM modernes, basée sur l'attention.
- LLM (Large Language Model)Modèle de langage de grande taille entraîné sur des milliards de documents pour générer et comprendre le texte.
- TokenUnité de texte (mot, syllabe ou caractère) traitée par un modèle de langage.