Contexto de 256K numa RTX 3050 8GB numa estação DDR3

A 11 de novembro de 2026 foram publicados resultados da estação P3001: um Intel Xeon E5-2697 v2 (12 núcleos / 24 threads, apenas AVX1), 64GB de RAM DDR3 ECC instalados (o sistema vê cerca de 62GB) a 1333 MT/s, uma NVIDIA RTX 3050 8GB, um SSD NVMe e Ubuntu 24.04. O software era Strata 0.1.55 (compilação compatível com AVX) com Qwen3.8-Flash-Next IQ3_S, um modelo comprimido.

Configuração anterior de 16K: 59 tok/s em texto real

Mais cedo no mesmo dia, foi comunicada na mesma máquina uma configuração de contexto de 16K com cache KV de 8 bits. A cache KV é a memória de trabalho do modelo para os tokens já processados. Números publicados com essa mensagem:

A mesma publicação indica 59 tok/s na descodificação de texto real e 120–132 tok/s de prefill. Um fio posterior precisa que esses 59 tok/s vêm da descodificação especulativa: a Strata prevê vários tokens seguintes e verifica-os em conjunto. Em texto real, a aceitação das previsões foi elevada; em preenchimento artificial de teste comparativo, não (cerca de 70% de aceitação em preenchimento sintético, segundo a publicação de 16K). O prefill era limitado pela DDR3-1333 e pelo AVX1; naquela configuração de 16K, 8GB de VRAM limitavam o contexto a 16K.

Configuração de 256K

O objetivo declarado era uma janela de contexto de 256K tokens — capacidade para cerca de 262 144 tokens num único pedido. Uma primeira tentativa limitou-se a subir o limite para 256K com cache KV de 8 bits. Segundo a publicação, a Strata tentou então manter demasiada dessa memória de trabalho nos 8GB de VRAM da GPU, a cache de especialistas na GPU caiu para zero ranhuras e seguiu-se um erro cuBLAS. O servidor ainda respondia, mas a aceleração da GPU não funcionava corretamente.

A solução publicada: passar a cache KV de int8 para q4_0 (compressão de 4 bits), com a memória por token a descer de cerca de 71KB para 29,5KB; definir –kv-resident 20480, para que apenas 20 480 posições KV permaneçam residentes na memória da GPU e os dados KV adicionais venham da RAM do sistema; manter 46,47GB de especialistas do modelo em RAM DDR3 bloqueada (page-locked); preservar 498 ranhuras de cache de especialistas na memória da GPU; e limitar a cache de pedidos a um único ponto de controlo ativo. Definições finais indicadas: –max-context 262144, –kv q4_0, –kv-resident 20480, –prompt-cache 1, –prompt-cache-every 0. A publicação afirma que a Strata arrancou então corretamente e comunicou max_context: 262144, loaded: true.

Velocidade medida

Os números seguintes são medições do próprio motor de inferência, uma execução por linha — dados preliminares, não médias de testes comparativos repetidos. O prefill é o processamento da entrada antes da resposta; o decode é a geração token a token; o TTFT é a espera até ao primeiro token de resposta.

A publicação observa que aumentar a entrada de cerca de 6K para 160K tokens só reduziu o prefill de 188 para 173 tok/s, enquanto o decode se manteve em torno de 23–26 tok/s. Uma execução repetida de 24K tokens com contexto em cache fez descer o TTFT de 128,3 segundos para 0,49 segundos. Uma entrada a frio de 160K tokens demorou cerca de 15,5 minutos até ao primeiro token de resposta — atribuído ao estrangulamento do Xeon antigo e da memória DDR3. É mencionado um relatório de agente sobre uma execução de 200K tokens, mas a linha numérica completa dessa execução não está na tabela.

Uma distinção importante no fio: 256K é o limite de contexto configurado e declarado. As medições detalhadas chegam a 160K, não aos 256K completos. A janela completa de 262K ainda não tinha sido medida no momento das publicações. Uma resposta estima cerca de 26 minutos de prefill a frio para os 262K completos, e indica que isso ainda precisa de ser medido. Os 59 tok/s não foram estabelecidos para cargas com contexto de 256K. O prefill da nova configuração foi mais elevado do que na configuração 16K anterior; o fio trata isto como uma diferença observada entre configurações, não como prova de uma única causa, porque o formato KV e a disposição da memória também mudaram.

Limites e uma estimativa energética

Limites enumerados no fio: memória da GPU quase cheia, cerca de 7,5–7,7GB usados em 8GB, com algumas execuções a avisar que restavam apenas 193–331MB livres; RAM do sistema em torno de 53GB em 62GB, com cerca de 46,5GB ocupados por especialistas do modelo fixados na memória; um único ponto de controlo quente da cache de pedidos, pelo que mudar entre conversas muito grandes pode exigir reprocessar as entradas (um ponto de controlo de 200K tokens por si só poderia ocupar cerca de 4,7GB); e os pedidos longos a frio são lentos.

Uma estimativa aproximada da energia para o prefill de 160K é indicada como 300W × 15,5 minutos ≈ 0,078 kWh. A 0,25 €/kWh, isso equivale a cerca de 0,02 € de eletricidade. A publicação marca-a como uma estimativa, não como uma medição energética.

A conclusão prática do fio é que a IA local económica não se destina a competir com os modelos na nuvem em sessões longas e exigentes, em que os serviços na nuvem costumam ser mais rápidos e mais económicos. A principal vantagem destes computadores antigos e baratos é a privacidade: processar documentos sensíveis localmente. Para muitas dessas tarefas, uma janela de contexto pequena é suficiente. O resultado publicado é que uma RTX 3050 8GB pode executar um modelo local configurado a 256K sem deslocar toda a memória de trabalho para a VRAM. São necessárias mais medições — incluindo o intervalo de contexto completo, a repetibilidade e a qualidade nas tarefas.

Os resultados das medições e os registos são publicados num repositório público.

Repositório do projeto no GitHub · Publicação no X · Resultados de 16K · Todas as notícias