La révolution de l’IA : Le tiny recursive model de samsung surpasse les géants

Une autre caractéristique notable du TRM est sa rentabilité. Alexia Jolicoeur-Martineau, l’auteure de l’étude, a confirmé que le coût de formation du modèle était inférieur à 500 dollars, une somme dérisoire en comparaison avec les coûts de formation des modèles de langage à usage général de plusieurs milliards de paramètres.

Le TRM a été formé en seulement deux jours en utilisant quatre GPU NVIDIA H-100. “Oui, il est encore possible de faire des choses cool sans un data center”, a déclaré Sebastian Raschka, ingénieur de recherche en IA, soulignant ainsi l’efficacité économique du modèle.

Plus encore, le TRM révolutionne l’approche traditionnelle du développement de l’IA qui reposait sur l’augmentation du nombre de paramètres. Il démontre qu’avec des innovations architecturales, de petits modèles peuvent raisonner plus efficacement sur des tâches spécifiques que de grands modèles. Le TRM illustre parfaitement le principe que “moins, c’est plus”.

Deedy Das, partenaire chez Menlo Ventures, a souligné que “pour des tâches spécifiques, des modèles plus petits peuvent non seulement être moins chers, mais aussi de bien meilleure qualité!”. Selon lui, les startups pourraient former des modèles pour des tâches spécifiques telles que l’extraction de PDF ou la prévision de séries temporelles pour moins de 1000 dollars. Ces modèles pourraient améliorer le modèle général, augmenter les performances et aider à construire de la propriété intellectuelle pour les tâches d’automatisation.