Эксперимент с видеокартой AMD RX 580 за 49 €: небольшие модели и расход энергии
Видеокарта за 49 € на рабочей станции 2012–2013 годов: что получается с небольшими локальными моделями и как это выглядит по энергии. Цифры — из эксперимента CLARYEL 12 ноября 2026 года.
12 ноября 2026 года на станции P3001 — подержанной рабочей станции с процессором Xeon E5-2697 v2 и установленными 64 ГБ ECC-памяти DDR3-1333 в четырёхканальном режиме (системе видно около 62 ГБ) — была установлена видеокарта AMD Radeon RX 580 8 ГБ. Карта куплена за 49 €: 45 € за саму карту и 4 € за доставку. Это вариант RX 580 2048SP: у него 2048 потоковых процессоров, а не 2304, как у «полной» RX 580, и по сути он ближе к RX 570. Это важно при сравнении с другими картами той же линейки. Операционная система — Ubuntu 24.04.
Со Strata эта карта не запускается, и просить поддержку этой модели GPU в Strata мы не планируем: время автора разумнее тратить на более производительное оборудование. Для эксперимента использовался llama.cpp с backend Vulkan. Нет CUDA, нет тензорных ядер, нет ускорения FP16. На той же станции, на небольшой модели 3B в квантовании Q4, декодирование составило 60 ток/с. Для сравнения, на большой модели Qwen объёмом 77,9 ГиБ связка RX 580 и llama.cpp показала 33,9 ток/с на предзаполнении (prefill) и 5,85 ток/с на декодировании. Та же станция с RTX 3050 8 ГБ и Strata на этой нагрузке дала 128–188 ток/с на предзаполнении и 23–31 ток/с на декодировании. Во время вывода RX 580 потребляла до около 120 Вт. Для такой большой модели карта слабее; как «второй мозг» для коротких микрозадач она, по результатам, всё же остаётся полезной, и по цене дешевле, чем сопоставимый объём более новой оперативной памяти.
Дальше эксперимент пошёл не в сторону максимального размера модели, а в сторону небольших моделей, которые целиком помещаются в 8 ГБ видеопамяти. Были отдельно измерены три модели: Qwen2.5-3B Q4 — 1,79 ГиБ, 392 ток/с предзаполнения и 60 ток/с декодирования; Nemotron Nano 4B Q4 — 2,63 ГиБ, 268 / 40 ток/с; Bonsai 2 9B Q2 — 2,37 ГиБ, 170 / 27 ток/с. Суммарный объём весов — 6,79 ГиБ. Теоретически все три могли бы разместиться в 8 ГБ, оставляя примерно 1,21 ГиБ на KV-кэш, буферы и накладные расходы. Это плотно, и одновременное присутствие всех трёх в видеопамяти не проверялось.
Отдельно измерялось фактическое потребление видеокарты при локальном выводе на пяти пределах мощности: 120, 100, 70, 50 и 30 Вт. Для небольших моделей, целиком помещающихся в видеопамять, в этом эксперименте наиболее экономичной для генерации оказалась отметка 70 Вт. По сравнению с 120 Вт потребление видеокарты во время вывода было примерно на 36% ниже, скорость генерации — только на 12–15% ниже, а затраты энергии на сгенерированный токен — на 26–28% ниже. При 70 Вт модель 3B давала 39,5 ток/с. Короткий ответ из 200 токенов потребовал 0,091 Вт·ч электроэнергии самой видеокарты. При тарифе 0,25 €/кВт·ч это 0,000023 € за один такой ответ, 0,023 € за тысячу ответов в день и около 8,30 € за 365 000 таких ответов в год. В эту оценку не входят простой и остальной компьютер. В простое RX 580 потребляет около 14 Вт, что при непрерывном питании соответствует примерно 30,70 € в год; процессор, память, плата и накопители добавляют своё. Для низкоинтенсивных нагрузок снижение потребления в простое может значить больше, чем снижение потребления во время самого вывода. Оговорка: 70 Вт оптимальны для проверенной в этом эксперименте генерации небольшими моделями, а не обязательно для любой задачи. Длинные запросы, конвейеры распознавания текста на изображениях, обработка звука и другие нагрузки могут иметь совершенно другие характеристики скорости и энергии.
Направление дальнейшей работы — не «какую самую большую модель можно запустить», а сколько полезных повседневных задач может выполнять недорогая локальная система: разбор небольших PDF, извлечение данных из сканов, распознавание текста на снимках, расшифровка коротких записей, классификация файлов, краткие изложения, разбор журналов, маршрутизация запросов и подготовка данных для более крупной ИИ-системы. Эти мультимодальные и документные сценарии на данной карте ещё не экспериментировались. Их осуществимость, точность, задержки, потребность в памяти и энергия только предстоит исследовать. Часть операций, возможно, разумнее выполнять на процессоре, оставляя видеокарту для вывода. Одновременная загрузка нескольких специализированных моделей, из которых в каждый момент работает одна, тоже остаётся открытым вопросом.
Отдельный инженерный вопрос — питание. Стандартный слот PCIe x16 может отдавать до 75 Вт напрямую с платы. Наш лучший по энергии режим для небольших моделей в этом эксперименте — программный предел 70 Вт. Идея, которую мы рассматриваем, состоит в том, чтобы собрать конфигурацию, работающую только от слота, без дополнительного 6- или 8-контактного разъёма питания, и ставить такую карту в уже имеющийся офисный компьютер, без замены блока питания. Это направление, а не готовое решение. В эксперименте даже при программном пределе 70 Вт кратковременно наблюдались пики выше 75 Вт, а имеющаяся RX 580 по-прежнему требует дополнительного питания. Безопасный вариант «только от слота» потребует инженерной работы с пиковой мощностью и проверки совместимости. Документные, графические и звуковые сценарии тоже ещё нужно подтвердить. Мы не утверждаем, что такая установка уже поставляется заказчикам.
Карта за 49 € не заменяет основную систему со Strata. По уже полученным результатам она может стать недорогим, относительно экономичным исполнителем множества коротких повторяющихся задач, при этом данные остаются локальными. Все замеры, эксперименты с пределом мощности, методика, исходные журналы, неудачи и выводы опубликованы в репозитории. Мы выясняем, сколько полезного локального ИИ можно извлечь из оборудования, которое часто считают устаревшим.