Новини
MixAI: я обираю поєднання локального та хмарного ШІ — і ось чому
Не потрібно обирати між локальним і хмарним ШІ. Потрібно навчитися брати найкраще від обох.
Майже рік практичних експериментів. Обладнання вартістю від 500 до 15 000 доларів. Хмарні API, ШІ-агенти та реальні завдання для бізнесу й дому. Відтепер я більше розповідатиму про цей комбінований підхід до ШІ — підхід, який, на мою думку, має дуже перспективне майбутнє.
Усе змінюється майже щодня. Але технології ШІ вже досягли рівня, на якому можна отримувати надійні результати й реалістично планувати їх використання на найближчі рік-два.
І я дійшов простого висновку: не потрібно обирати між локальним і хмарним ШІ. Потрібно навчитися брати найкраще від обох.
Йдеться про набагато більше, ніж просто підключення різних моделей чи їх оркестрація. Йдеться про планування всієї системи: які завдання виконувати локально, які передавати зовнішнім моделям, як розподіляти обчислювальні ресурси, які підписки мають сенс і яке обладнання справді варто купувати.
Потрібно планувати й фізичну інфраструктуру — комп’ютери, сервери, відеокарти, пам’ять, енергоспоживання та майбутнє розширення.
Я впевнений, що локальний ШІ стане невід’ємною частиною нашого життя. Він уже приходить у смартфони, персональні комп’ютери й навіть в експериментальні операційні системи.
Чотири найважливіші критерії
- Реальна цінність. Головний пріоритет — отримувати корисні, практичні результати.
- Вартість. Скільки ми насправді платимо за виконання завдання — а не лише за обладнання, підписки чи токени?
- Безпека. Вона заслуговує на окрему категорію, поза будь-яким рейтингом. Персональні дані, конфіденційність і контроль над власною інфраструктурою потребують особливої уваги.
- Простота використання. Наскільки легко, швидко й надійно ми можемо виконати роботу?
За цими критеріями я порівнюю технології та будую власну систему.
Підписки та API: два світи починають зливатися
Це цікава тема, яку часто оминають увагою.
Доступ до хмарного ШІ можна отримати через підписки з лімітами використання або через API, де ви платите за те, що реально використовуєте.
Кожен підхід має власну економіку, обмеження та переваги. І оцінювати їх потрібно окремо.
Але межа між ними починає розмиватися.
Свіжий приклад — OpenAI. Передплатники ChatGPT Pro, які відповідають умовам, можуть отримувати від 100 до 500 доларів на місяць у вигляді кредитів на API, залежно від рівня підписки. Ці кредити потрібно окремо активувати, а оплата API залишається окремою.
Це досить цікавий приклад того, як зближуються дві моделі оплати.
Тому я порівнюю не лише моделі. Я також вивчаю економіку підписок і API, їхні обмеження та те, як ефективно їх поєднувати.
Далі: три напрями, які я активно досліджую, мої експерименти з обладнанням, спільна робота ШІ-агентів і те, як я планую зробити всю цю інформацію доступною для вас.
Що я досліджую — і що буде далі
Три мої основні напрями досліджень
1. Локальні ШІ-сервери
Я експериментую з обладнанням вартістю всього від 500 доларів, хоча для серйозного практичного використання рекомендував би близько 1000 доларів.
Зараз я маю доступ до систем вартістю до 15 000 доларів, а також до орендованих, значно дорожчих відеокарт — для тестування моделей, запускати які на власному обладнанні економічно недоцільно.
Чиста продуктивність моделей — не мій головний пріоритет. Обладнання та програми — лише інструменти.
Важливо те, що ці системи реально можуть зробити для бізнесу й дому, наскільки надійно вони працюють і коли локальні обчислення фінансово вигідніші за хмару.
2. Хмарні моделі та ШІ-API
Від дешевих API, зокрема китайських моделей, до передового ШІ. Я порівнюю можливості, обмеження, реальні витрати та інтеграцію з локальними системами. Підписки чи API з оплатою за використання — ще один важливий чинник: найпотужніша модель не завжди найрозумніший економічний вибір.
3. ШІ-агенти
Окрім їхніх очевидних переваг, мене особливо цікавить співпраця між незалежними мультиагентними екосистемами. Мої системи Hermes і Grokbot уже працюють разом — дві окремі екосистеми, кожна зі своїми агентами та інструментами.
ШІ зустрічається з фізичним світом
Один із моїх головних пріоритетів — підключення ШІ до доступних розумних будинків, офісів, серверів, комп’ютерів і повсякденних пристроїв.
Я досліджую, наскільки автономними, безпечними, надійними й доступними можуть стати такі системи — особливо для приватних осіб і малого бізнесу.
ШІ-програмування відходить на другий план
Я менше зосереджуватимуся на ШІ-програмуванні. Не тому, що воно менш важливе, а тому, що воно стає просто ще одним інструментом.
Мета не в тому, щоб писати код. Мета — зробити справу.
Мене цікавлять повні, реальні робочі процеси, які ШІ може виконувати з мінімальною участю людини.
Максимум користі за розумної вартості
Я не намагаюся довести, що локальний чи хмарний ШІ кращий. Іноді правильний вибір — це ПК за 1000 доларів, сервер за 10 000 доларів, оренда часу на відеокартах, дешевий API або підписка на передову модель.
Важлива вартість кінцевого результату — а не інструменти, якими його досягнуто.
Що буде далі
Мої публікації досі були здебільшого розрізненими нотатками про окремі експерименти, іноді чорновими й неструктурованими. Я хочу перетворити їх на цілісну, пов’язану картину ШІ-інфраструктури — обладнання, моделі, агенти, витрати та реальні результати. Детальні технічні характеристики й діагностика збиратимуться автоматично й публікуватимуться окремо, найімовірніше у вигляді посилань.
Я також планую дати вам прямий доступ до моїх ШІ-агентів. Ви зможете запитати їх про що завгодно: про мої експерименти, обладнання, конфігурації та результати. Вони відповідатимуть на основі зібраних даних — а якщо не зможуть, долучуся я особисто.
Моя мета — створити відкриту, впорядковану й справді корисну картину того, чого ШІ може досягти за різних бюджетів.
Я поєдную локальний і хмарний ШІ, розумно планую ресурси та зосереджуюся на реальних результатах для бізнесу й дому.
Ось над чим я працюю — і чим продовжуватиму ділитися з вами.
Не обирайте сторону. Поєднуйте найкраще.