Language Models Can Control Their Own Attention [R]
8/10Des chercheurs montrent que les modèles de langage gèrent de manière sélective leur attention en se concentrant sur le contexte pertinent, jusqu'à 1 million de tokens. Cette avancée améliore la compréhension des mécanismes internes des modèles et leur applicabilité dans la NLP à grande échelle.
Reddit - r/MachineLearning · 05/09/2026 06:07:09
