IA locale in 41 secondi, IA cloud in 21, sulla stessa domanda
Un esperimento cronometrato semplice: la stessa domanda, due agenti Hermes, basso sforzo di ragionamento — 41 secondi in locale, 21 secondi nel cloud.
È stato eseguito un esperimento semplice, senza benchmark, carichi sintetici o misurazioni elaborate. Due agenti Hermes hanno ricevuto la stessa domanda. Il primo era collegato all’IA locale con basso sforzo di ragionamento. Il secondo era collegato a Claude Haiku 5.5 via AWS Bedrock, anch’esso a basso sforzo.
Risultati: IA locale, 41 secondi; IA cloud, 21 secondi.
Hardware locale, come indicato nel post: un notebook dal costo di circa 4.000–4.500 dollari (4.000–4.500 €); NVIDIA RTX 5090 Laptop, 24 GB di VRAM; 64 GB di RAM; motore di inferenza Basalt (basato su Strata); modello Qwen 3.8 Next 3_S; framework agente Hermes; sforzo di ragionamento basso. Sullo schermo della dimostrazione locale la riga del modello recita «Qwen3.8 Flash Next Iq3 S Basalt · Low». Le registrazioni cronometrate mostrano questo prompt:
“Compare the stock market performance of Microsoft and Intel. Provide a detailed analysis in approximately 1,000 tokens.”
Le due risposte sono state poi sottoposte a Google Gemini 4 Argon per un confronto. I punteggi e il commento sotto sono citati integralmente da quel confronto, come pubblicato nel thread.
I analyzed two AI responses comparing MSFT and INTC stock performance:
☁️ Response 1: Cloud AI — 73.5 / 100
🔒 Response 2: Local AI — 89.5 / 100
10-Parameter Scorecard (Cloud vs. Local):
1. Data Granularity: 7/10 vs 9/10
2. Time Horizons: 6/10 vs 10/10
3. Earnings Depth: 9/10 vs 8/10
4. Valuation & Margins: 6/10 vs 9/10
5. Risk & Volatility: 7/10 vs 9/10
6. Catalysts & Narrative: 8/10 vs 9/10
7. S&P 500 Benchmarking: 7/10 vs 9/10
8. Structure & Readability: 8/10 vs 9/10
9. Analytical Synthesis: 7/10 vs 9.5/10
10. Factual Consistency: 8.5/10 vs 8/10
Depth Analysis:
• Cloud AI (R1) reads like a standard news wire. It nailed Q1 FY27 earnings specifics ($677B Azure backlog, +48% growth, Israel fab accident) but missed the bigger financial picture.
• Local AI (R2) thinks like a portfolio manager. It exposed why Intel's "+57% YTD" is a statistical illusion after a -59% crash from $142, factored in P/E multiples (28.5x vs negative TTM), highlighted $1.9B quarterly foundry losses on $108B capex, and noted MSFT lagging the S&P 500 over 1Y/3Y windows.
Key Errors & Omissions:
• Cloud AI: Complete valuation blindness — zero mention of Market Cap, P/E ratios, 52-week ranges, or 5-year returns.
• Local AI: One math contradiction — claiming MSFT had a "smooth upward grind" while citing a $349 low in June 2026 (which would mean a ~28% mid-year crash), plus treating a routine law-firm press release as a real risk factor.
Local AI delivered institutional-grade synthesis where the Cloud stopped at surface-level summary.
Lo stesso thread descrive una direzione pratica: un’unica interfaccia che usa l’IA locale per i documenti privati e l’IA cloud per domande ordinarie e urgenti, con una configurazione che non richiede chiavi API inserite a mano. Agenti locali e cloud potrebbero collaborare: un agente locale analizza i documenti privati, formula domande sicure per un modello cloud più capace, filtra le informazioni sensibili e combina le risposte senza esporre i dati privati. Il lavoro prosegue su hardware economico: un PC da gioco già disponibile, oppure un aggiornamento di circa 200–300 € a un computer già in ufficio o in casa.
Una nota conclusiva, soggettiva, nel thread osserva che sarebbero utili più agenti, più modelli diversi e più comunicazione tra loro in un’unica interfaccia. È la direzione MixAI già descritta su questo sito.