Actualités
Comment nous construisons des solutions sur des ordinateurs économiques
Nous étudions combien de travail utile et fiable un modèle d’IA local peut accomplir sur un ordinateur bon marché, et nous le comparons à une machine où tout le modèle tient en mémoire.
Trois ordinateurs participent. Un PC économique avec une carte graphique RTX 3060 fonctionne avec des limites de mémoire strictes. Un deuxième ordinateur avec l’agent Hermes analyse les résultats, vérifie le travail et apporte des améliorations. Un Mac Studio M3 exécute en parallèle les mêmes tâches comme référence avec assez de mémoire. Toutes les machines utilisent les mêmes fichiers de modèle et la même version de Strata.
Ce qui compte pour nous n’est pas la vitesse en soi, mais la qualité et la fiabilité des réponses sur des tâches réelles. Les résultats préliminaires montrent qu’un matériel limité ne signifie pas forcément une qualité de réponse inférieure.
Une partie distincte de l’expérience examine si l’agent sait trouver ses propres erreurs, les corriger et en prévenir de semblables. Sans qu’on le lui demande, il a aussi commencé à tenir compte du coût en tokens de ses améliorations et à réduire la consommation inutile.
Ces expériences mènent à des résultats réels et à des scénarios concrets, par exemple le travail sur les documents.
Détails techniques et tous les chiffres · Toutes les actualités