IA locale en 41 secondes, IA cloud en 21, sur la même question

Une expérience chronométrée simple : la même question, deux agents Hermes, faible effort de raisonnement — 41 secondes en local, 21 secondes dans le cloud.

Une expérience simple a été menée, sans benchmarks, charges synthétiques ni mesures élaborées. Deux agents Hermes ont reçu la même question. Le premier était connecté à l’IA locale avec un faible effort de raisonnement. Le second était connecté à Claude Haiku 5.5 via AWS Bedrock, également à faible effort.

Résultats : IA locale, 41 secondes ; IA cloud, 21 secondes.

Matériel local, tel qu’indiqué dans le message : un ordinateur portable d’environ 4 000–4 500 dollars (4 000–4 500 €) ; NVIDIA RTX 5090 Laptop, 24 Go de VRAM ; 64 Go de RAM ; moteur d’inférence Basalt (fondé sur Strata) ; modèle Qwen 3.8 Next 3_S ; cadre d’agents Hermes ; effort de raisonnement faible. Sur l’écran de la démonstration locale, la ligne du modèle indique « Qwen3.8 Flash Next Iq3 S Basalt · Low ». Les enregistrements chronométrés montrent cette invite :

“Compare the stock market performance of Microsoft and Intel. Provide a detailed analysis in approximately 1,000 tokens.”

Les deux réponses ont ensuite été soumises à Google Gemini 4 Argon pour une comparaison. Les notes et le commentaire ci-dessous sont cités mot pour mot de cette comparaison, telle qu’elle a été publiée dans le fil.

I analyzed two AI responses comparing MSFT and INTC stock performance:
☁️ Response 1: Cloud AI — 73.5 / 100
🔒 Response 2: Local AI — 89.5 / 100
10-Parameter Scorecard (Cloud vs. Local):
1. Data Granularity: 7/10 vs 9/10
2. Time Horizons: 6/10 vs 10/10
3. Earnings Depth: 9/10 vs 8/10
4. Valuation & Margins: 6/10 vs 9/10
5. Risk & Volatility: 7/10 vs 9/10
6. Catalysts & Narrative: 8/10 vs 9/10
7. S&P 500 Benchmarking: 7/10 vs 9/10
8. Structure & Readability: 8/10 vs 9/10
9. Analytical Synthesis: 7/10 vs 9.5/10
10. Factual Consistency: 8.5/10 vs 8/10
Depth Analysis:
• Cloud AI (R1) reads like a standard news wire. It nailed Q1 FY27 earnings specifics ($677B Azure backlog, +48% growth, Israel fab accident) but missed the bigger financial picture.
• Local AI (R2) thinks like a portfolio manager. It exposed why Intel's "+57% YTD" is a statistical illusion after a -59% crash from $142, factored in P/E multiples (28.5x vs negative TTM), highlighted $1.9B quarterly foundry losses on $108B capex, and noted MSFT lagging the S&P 500 over 1Y/3Y windows.
Key Errors & Omissions:
• Cloud AI: Complete valuation blindness — zero mention of Market Cap, P/E ratios, 52-week ranges, or 5-year returns.
• Local AI: One math contradiction — claiming MSFT had a "smooth upward grind" while citing a $349 low in June 2026 (which would mean a ~28% mid-year crash), plus treating a routine law-firm press release as a real risk factor.
Local AI delivered institutional-grade synthesis where the Cloud stopped at surface-level summary.

Le même fil décrit une direction pratique : une interface unique qui utilise l’IA locale pour les documents privés et l’IA cloud pour les questions ordinaires et urgentes, avec une configuration sans clés d’API saisies à la main. Des agents locaux et cloud pourraient collaborer : un agent local analyse les documents privés, formule des questions sûres pour un modèle cloud plus capable, filtre les informations sensibles et combine les réponses sans exposer les données privées. Le travail se poursuit sur du matériel abordable : un PC de jeu déjà disponible, ou une mise à niveau d’environ 200–300 € d’un ordinateur déjà présent au bureau ou à la maison.

Une remarque finale, subjective, dans le fil indique que davantage d’agents, davantage de modèles différents et davantage d’échanges entre eux dans une seule interface seraient utiles. C’est la direction MixAI déjà décrite sur ce site.

Publication sur X · Toutes les actualités