Otimização de memória da DeepSeek pode afetar a precisão em documentos longos, indica estudo
Uma técnica criada para diminuir o uso de memória e o custo de processamento em modelos da DeepSeek pode dificultar a recuperação de informações específicas. A possível limitação foi observada em testes com textos extensos: dependendo de onde um dado aparecia no conteúdo, a precisão das respostas variava em até 40 pontos percentuais.
A pesquisa foi publicada no fim de setembro e conduzida por pesquisadores da ByteDance, com participação de colaboradores ligados às universidades de Princeton, Stanford e da Califórnia em Berkeley. O trabalho ainda não passou por revisão por pares, etapa em que especialistas independentes avaliam a metodologia e as conclusões.
Nos experimentos, os pesquisadores analisaram modelos DeepSeek-V4 e V4.1, além de outros sistemas comprimidos previamente treinados pela equipe. As avaliações envolveram tarefas de busca por informações em contextos de aproximadamente 128 mil tokens – uma quantidade que pode corresponder a dezenas de milhares de palavras.
Os resultados sugerem que a posição de um dado no texto pode influenciar a chance de o modelo recuperá-lo corretamente. Segundo os autores, essa variação estaria relacionada à forma como os sistemas agrupam e comprimem informações antes de armazená-las para uso posterior. Embora esse processo reduza a demanda por memória e recursos computacionais, alguns detalhes podem ficar menos acessíveis.
Um dos testes ilustra como mudanças aparentemente pequenas podem interferir no resultado. Os pesquisadores inseriram um trecho irrelevante antes de um código de programação, sem modificar o código em si. Ainda assim, a alteração prejudicou a capacidade do modelo de identificar a resposta correta. Isso indica que a organização do material apresentado pode ser importante, mesmo quando a informação necessária continua intacta.
Os autores, porém, destacam que os experimentos foram controlados e envolveram uma quantidade limitada de exemplos relacionados à programação. Portanto, os dados disponíveis não permitem concluir com que frequência o problema aparece em produtos e situações reais, nem se o impacto é semelhante em tarefas diferentes. A DeepSeek e a ByteDance não se pronunciaram sobre as conclusões.
Eficiência e precisão: o desafio de encontrar equilíbrio
A economia de recursos é uma das características que ajudaram a projetar a DeepSeek no cenário internacional. Com sede em Hangzhou, na China, a empresa desenvolveu modelos competitivos com custos computacionais mais baixos, aproximando-se de produtos de companhias como OpenAI e Anthropic.
Esse tipo de eficiência tem peso ainda maior para desenvolvedores chineses, que enfrentam limitações no acesso a semicondutores avançados dos Estados Unidos. Nesse contexto, técnicas de otimização podem ajudar a manter o desenvolvimento de sistemas de IA mesmo quando há menos recursos de hardware disponíveis.
A compressão de informações, por si só, não significa que um modelo vá responder incorretamente em todas as situações. O risco apontado é mais específico: certas informações podem se tornar difíceis de localizar em contextos muito longos, e a chance de recuperação pode variar conforme a estrutura do conteúdo. A dimensão prática desse efeito ainda precisa ser investigada.
Essa distinção é importante para empresas que pretendem usar IA em tarefas de alto impacto. Em uma conversa breve ou em uma atividade de redação, uma resposta imprecisa pode ser percebida e corrigida com facilidade. Já em uma análise de contratos, prontuários, relatórios técnicos ou grandes bases de conhecimento, a omissão de um detalhe pode alterar a conclusão.
Também é recomendável que organizações testem os modelos com materiais que representem seu uso cotidiano, em vez de confiar apenas em avaliações gerais de desempenho. Os testes podem variar a posição de dados relevantes, inserir conteúdo acessório e comparar respostas obtidas a partir do mesmo documento em diferentes formatos. Isso ajuda a identificar se a localização da informação interfere nos resultados.
Para tarefas que exigem alta confiabilidade, uma estratégia possível é combinar a resposta do modelo com mecanismos de verificação. O sistema pode ser orientado a indicar os trechos usados, enquanto outra etapa confere se a informação está realmente presente no documento. A revisão humana continua sendo importante quando erros podem trazer consequências financeiras, jurídicas ou operacionais.
Outra medida é dividir documentos muito extensos em partes menores e recuperar apenas os segmentos relacionados à pergunta. Essa abordagem não elimina todos os problemas, mas pode reduzir a dependência de uma única consulta sobre um contexto amplo. A escolha entre processar o documento inteiro ou trabalhar por partes deve considerar tanto o custo quanto a precisão necessária.
O estudo, portanto, não demonstra que os modelos da DeepSeek sejam inadequados para uso geral. Ele aponta uma possível compensação entre eficiência computacional e consistência na busca por informações, que precisa ser examinada em mais cenários. Para os desenvolvedores, o desafio será manter os ganhos de custo sem prejudicar a capacidade de localizar e interpretar dados essenciais; para os usuários, compreender essa limitação é parte de uma adoção responsável da tecnologia.