MixAI: volím kombinaci lokální a cloudové AI — a tady je proč

Téměř rok praktických experimentů. Hardware od 500 do 15 000 dolarů. Cloudová API, AI agenti a skutečné úkoly pro firmy i domácnosti. Od této chvíle budu o tomto kombinovaném přístupu k AI sdílet víc — o přístupu, který má podle mě velmi slibnou budoucnost.

Věci se mění téměř každý den. Technologie AI ale už dosáhla bodu, kdy můžeme dosahovat spolehlivých výsledků a realisticky plánovat, jak ji využívat v příštím roce či dvou.

A došel jsem k jednoduchému závěru: nemusíme si vybírat mezi lokální a cloudovou AI. Musíme se naučit brát to nejlepší z obou.

Jde o mnohem víc než jen o propojení různých modelů nebo jejich orchestraci. Jde o plánování celého systému: které úlohy spouštět lokálně, které předat externím modelům, jak rozdělit výpočetní prostředky, která předplatná dávají smysl a jaký hardware se opravdu vyplatí koupit.

Musíme plánovat i fyzickou infrastrukturu — počítače, servery, GPU, paměť, spotřebu energie a budoucí rozšíření.

Věřím, že lokální AI se stane nedílnou součástí našich životů. Už se dostává do chytrých telefonů, osobních počítačů a dokonce i do experimentálních operačních systémů.

Čtyři nejdůležitější věci

1. Skutečná hodnota. Nejvyšší prioritou je dosahovat užitečných, praktických výsledků.
2. Náklady. Kolik skutečně platíme za dokončení úkolu — nejen za hardware, předplatné nebo tokeny?
3. Bezpečnost. Zaslouží si vlastní kategorii, mimo jakékoli pořadí. Osobní údaje, soukromí a kontrola nad vlastní infrastrukturou vyžadují zvláštní pozornost.
4. Snadné použití. Jak snadno, rychle a spolehlivě dokážeme práci dokončit?

Podle těchto kritérií porovnávám technologie a stavím vlastní sestavu.

Předplatná a API: dva světy se začínají prolínat

Je to zajímavé téma, které se často přehlíží.

Ke cloudové AI se přistupuje buď přes předplatná s limity využití, nebo přes API, kde platíte za to, co skutečně využijete.

Každý přístup má vlastní ekonomiku, omezení i výhody. A je třeba je hodnotit odděleně.

Hranice mezi nimi se však začíná stírat.

Nedávným příkladem je OpenAI. Oprávnění předplatitelé ChatGPT Pro mohou podle úrovně předplatného dostávat 100 až 500 dolarů měsíčně v kreditech na API. Tyto kredity vyžadují samostatnou aktivaci a účtování API zůstává oddělené.

Je to docela zajímavý příklad toho, jak se dva cenové modely sbližují.

Proto neporovnávám jen modely. Zkoumám také ekonomiku předplatných a API, jejich omezení a jak je efektivně kombinovat.

Níže: tři oblasti, které aktivně zkoumám, moje experimenty s hardwarem, spolupracující AI agenti a jak chci všechny tyto informace zpřístupnit vám.

Co zkoumám — a co přijde dál

Moje tři hlavní oblasti výzkumu

1. Lokální AI servery

Experimentuji s hardwarem už od 500 dolarů, i když pro seriózní praktické použití bych doporučil zhruba 1 000 dolarů.

V současnosti mám přístup k systémům v hodnotě až 15 000 dolarů a také k pronajatým, mnohem dražším GPU pro testování modelů, jejichž provoz na vlastním hardwaru by ekonomicky nedával smysl.

Hrubý výkon modelů není mou hlavní prioritou. Hardware a software jsou jen nástroje.

Důležité je, co tyto systémy skutečně dokážou pro firmy a domácnosti, jak spolehlivě fungují a kdy se lokální výpočty finančně vyplatí víc než cloud.

2. Cloudové modely a AI API

Od levných API, včetně čínských modelů, až po špičkovou AI. Porovnávám schopnosti, omezení, skutečné náklady a integraci s lokálními systémy. Předplatná nebo API s platbou za využití jsou dalším důležitým faktorem — nejvýkonnější model není vždy nejrozumnější ekonomickou volbou.

3. AI agenti

Kromě jejich zjevných výhod mě zajímá hlavně spolupráce mezi nezávislými multiagentními ekosystémy. Moje systémy Hermes a Grokbot už spolu pracují — dva samostatné ekosystémy, každý s vlastními agenty a nástroji.

AI se potkává s fyzickým světem

Jednou z mých hlavních priorit je propojit AI s dostupnými chytrými domácnostmi, kancelářemi, servery, počítači a běžnými zařízeními.

Zkoumám, jak autonomní, bezpečné, spolehlivé a dostupné se tyto systémy mohou stát — zejména pro jednotlivce a malé firmy.

Programování s AI ustupuje do pozadí

Budu se méně soustředit na programování s AI. Ne proto, že by bylo méně důležité, ale proto, že se stává jen dalším nástrojem.

Cílem není psát kód. Cílem je věci dotáhnout.

Zajímají mě úplné, skutečné pracovní postupy, které AI zvládne s minimálním zásahem člověka.

Maximální hodnota, rozumné náklady

Nesnažím se dokázat, že lokální nebo cloudová AI je lepší. Někdy je správnou volbou počítač za 1 000 dolarů, server za 10 000 dolarů, pronajatý čas na GPU, levné API nebo předplatné špičkového modelu.

Rozhodují náklady na konečný výsledek — ne nástroje, kterými byl dosažen.

Co přijde dál

Moje příspěvky byly dosud většinou roztroušené zprávy o jednotlivých experimentech, někdy surové a nestrukturované. Chci z nich vytvořit ucelený, propojený obraz AI infrastruktury — hardwaru, modelů, agentů, nákladů a skutečných výsledků. Podrobné technické specifikace a diagnostika budou sbírány automaticky a sdíleny zvlášť, nejspíš formou odkazů.

Plánuji vám také dát přímý přístup ke svým AI agentům. Budete se jich moci zeptat na cokoli o mých experimentech, hardwaru, konfiguracích a výsledcích. Odpoví na základě shromážděných dat — a pokud to nezvládnou, zapojím se osobně.

Mým cílem je vytvořit otevřený, uspořádaný a skutečně užitečný obraz toho, čeho může AI dosáhnout s různými rozpočty.

Kombinuji lokální a cloudovou AI, chytře plánuji zdroje a soustředím se na skutečné výsledky pro firmy a domácnosti.

Na tom pracuji — a o to se s vámi budu dál dělit.

Nevybírejte si stranu. Kombinujte to nejlepší.

Původní vlákno na X · Všechny novinky