Sakana AI est une start-up japonaise fondée par d’anciens chercheurs qui ont participé au développement de systèmes novateurs en IA, notamment des modèles conçus pour optimiser l’interprétation et le traitement de données complexes, ouvrant la voie à des applications concrètes et variées. Elle crée des modèles d’intelligence artificielle (IA) capables de s’adapter rapidement à différentes tâches. Leur nouvelle invention, Transformer², ajuste automatiquement ses paramètres pour gérer des situations variées, même inédites.
Transformer² : qu’est-ce que c’est ?
Transformer² est une avancée technologique basée sur les Transformers, une architecture populaire en intelligence artificielle qui traite efficacement des données comme du texte ou des images. Ce nouveau système va plus loin en introduisant un apprentissage adaptatif. Il ajuste ses paramètres en fonction des besoins spécifiques d’une tâche, sans nécessiter de réentraînement complet. Cela signifie que Transformer² peut gérer des contextes variés de manière autonome.
Un fonctionnement simplifié pour une IA plus intelligente
Le modèle fonctionne en deux étapes principales. Tout d’abord, il analyse la tâche à réaliser pour en comprendre les besoins. Ensuite, il applique des ajustements spécifiques grâce à une technique appelée Singular Value Finetuning (SVF). Cette méthode optimise les signaux internes du modèle en s’appuyant sur l’apprentissage par renforcement, une technique qui permet d’améliorer les performances au fil du temps.
Transformer² utilise également trois stratégies pour s’adapter en temps réel : une basée sur le prompt (texte d’entrée), une sur un classificateur qui identifie la tâche, et une autre sur l’apprentissage par quelques exemples. Ces approches permettent une personnalisation instantanée, sans nécessiter de longues phases de préparation.
Transformer² : des résultats concrets et accessibles
Sakana AI a testé Transformer² sur plusieurs domaines, comme les mathématiques, le codage et le raisonnement. Par exemple, dans des tests comme GSM8K (mathématiques) ou HumanEval (codage), Transformer² a surpassé les méthodes traditionnelles comme LoRA (une approche simplifiée pour adapter les modèles). Ce système s’avère plus performant tout en nécessitant moins de ressources, ce qui le rend idéal pour des applications variées.
Une IA accessible pour les développeurs et les entreprises
Transformer² ne se limite pas aux chercheurs : il vise aussi à rendre les modèles IA plus flexibles pour les développeurs. En permettant une adaptation rapide et efficace, il ouvre la voie à des usages concrets dans des secteurs divers, comme la santé, l’éducation ou la finance.
Avec Transformer², Sakana AI met en avant une IA plus accessible, capable d’évoluer en fonction des besoins, tout en réduisant les coûts et la complexité des processus de personnalisation. Ce projet marque une étape importante vers une intelligence artificielle véritablement au service des utilisateurs, débutants comme experts.
