La startup chinoise DeepSeek, reconnue pour ses technologies d’intelligence artificielle (IA) open source, a dévoilé un nouveau modèle ultra-large, le DeepSeek-V3. Ce modèle, conçu pour repousser les limites de l’innovation, est désormais disponible via la plateforme Hugging Face sous une licence spécifique à l’entreprise.
Une architecture révolutionnaire et performante
DeepSeek-V3 se distingue par ses 671 milliards de paramètres, mais s’appuie sur une architecture mixte d’experts. Cette approche permet d’activer uniquement les paramètres nécessaires à une tâche donnée, offrant ainsi une précision et une efficacité optimales. Comparé aux modèles ouverts et fermés de pointe, DeepSeek-V3 atteint des performances remarquables, rivalisant avec les solutions propriétaires comme celles d’Anthropic ou d’OpenAI.
La clé de cette performance réside dans des innovations notables, notamment une stratégie d’équilibrage de charge dynamique pour maximiser l’utilisation des ressources tout en préservant la stabilité du modèle. Une autre avancée majeure est la prédiction multi-token, qui permet de générer simultanément plusieurs tokens, augmentant ainsi la vitesse de traitement à 60 tokens par seconde.
Formation optimisée pour des résultats impressionnants
DeepSeek a utilisé 14,8 trillions de tokens de haute qualité pour la préformation, accompagnée d’une double extension de la longueur du contexte, atteignant 128 000 tokens. L’équipe a effectué un ajustement supervisé et un apprentissage par renforcement pour aligner le modèle sur les préférences humaines.
L’équipe a réalisé la formation en utilisant des optimisations matérielles et algorithmiques, comme le cadre de précision mixte FP8 et l’algorithme DualPipe pour le parallélisme. Résultat : un coût de formation estimé à environ 5,57 millions de dollars, bien en dessous des standards actuels. À titre de comparaison, des modèles comme Llama 3.1 nécessitent des investissements de plusieurs centaines de millions de dollars.
Des performances qui redéfinissent l’open source
DeepSeek-V3 se positionne comme le modèle open source le plus puissant à ce jour. Lors des tests, il a surclassé des modèles tels que Llama-3.1-405B et Qwen 2.5-72B, et a même rivalisé avec GPT-4o sur plusieurs benchmarks. Les résultats ont été particulièrement impressionnants pour les tâches en chinois et les évaluations mathématiques.
Cependant, certains modèles propriétaires, comme Claude 3.5 d’Anthropic, surpassent encore DeepSeek-V3 sur des tests spécifiques. Ces écarts soulignent les défis restants pour combler complètement l’écart entre les solutions open source et fermées.
Une solution accessible et compétitive
Le code source de DeepSeek-V3 est disponible sur GitHub sous licence MIT, tandis que le modèle lui-même est proposé sous une licence d’entreprise. Les utilisateurs peuvent également accéder au modèle via DeepSeek Chat ou une API à des tarifs compétitifs. Ces options permettent aux entreprises de tester et d’intégrer cette technologie à leurs propres systèmes, renforçant ainsi la flexibilité et la compétitivité du secteur de l’IA.
Vers une IA plus inclusive et collaborative
Avec DeepSeek-V3, l’écart entre l’IA open source et les modèles fermés se réduit considérablement. Ce développement marque une étape importante vers une intelligence artificielle plus accessible et collaborative, offrant aux entreprises des alternatives viables sans dépendance excessive à des fournisseurs dominants.
