Notícias de Produtos de IAResumo Empresarial de Recuperação

NeoMME 260M Prioriza a Recuperação: Um Codificador Multimodal de Transformador Único que Dobra a Taxa de Processamento de Páginas

O codificador de 260 milhões de parâmetros do NeoMME processa tokens de texto e patches brutos de imagem 32×32 em um único Transformador bidirecional, retornando embeddings densos e de interação tardia em uma única passagem. O resultado: qualidade competitiva de recuperação ViDoRe e cerca de 2× maior taxa de codificação de páginas em comparação com bases populares — tornando a busca visual de documentos e RAG mais barata, simples e fácil de escalar.

NexusAI Editorial4/09/20262.4K visualizações9 min de leitura

NeoMME 260M Prioriza a Recuperação: Um Codificador Multimodal de Transformador Único que Dobra a Taxa de Processamento de Páginas

Resumo de IA

O NeoMME redefine a recuperação empresarial: em vez de adicionar uma torre visual a um modelo de linguagem, ele processa texto e imagens em um único codificador de contexto longo e produz embeddings densos e de interação tardia simultaneamente. O modelo de 260M está na fronteira de Pareto ViDoRe para qualidade versus tamanho e codifica páginas em alta resolução com cerca do dobro da taxa de bases comuns. A interação tardia normalmente explode o armazenamento, mas o pooling hierárquico de tokens junto com a quantização assimétrica reduzem o espaço para kilobytes por página com perda mínima de qualidade. Para desenvolvedores, isso significa indexação mais rápida, serviço simplificado e RAG visual prático que preserva layout, gráficos e tabelas sem cadeias frágeis de OCR. Use embeddings densos para recall rápido e interação tardia para reranking preciso — sem rodar dois modelos.

A ideia central do NeoMME é a contenção arquitetônica a serviço da recuperação. Um único Transformador bidirecional ingere tokens de texto multilíngue junto com patches brutos de imagem 32×32, eliminando a torre visual separada e o decodificador causal comuns em pilhas do tipo VLM. Treinado do zero com um objetivo de denoising mascarado, a variante de 260M retorna embeddings densos e de interação tardia em uma única passagem. Na prática, isso significa menos componentes em inferência, orçamentos de latência mais apertados e escalabilidade simplificada. Com entradas correspondentes de 2048×2048, o modelo codifica cerca de 51 páginas por segundo em uma L40S — aproximadamente o dobro da taxa de recuperadores visuais de documentos amplamente usados — mantendo a qualidade de recuperação competitiva para buscas reais e pipelines RAG.

Por que isso importa para a busca empresarial? A maioria dos pipelines de documentos ainda depende de OCR para extrair blocos de texto, tentando depois reconstruir a semântica do layout da página. O NeoMME inverte isso: ele recupera diretamente nas imagens das páginas, preservando tabelas, gráficos e pistas tipográficas que o OCR tende a achatar. O design de dupla cabeça oferece flexibilidade no fluxo de trabalho: use vetores densos para recall rápido via ANN e depois aplique interação tardia para capturar correspondências token-região sem carregar um segundo modelo. Com uma janela de contexto de 16k, resolução dinâmica de imagem e recursos modernos de codificação, o NeoMME concentra o orçamento de parâmetros onde a recuperação mais se beneficia: contexto longo, documentos de alta resolução e consultas multilíngues.

A precisão da interação tardia historicamente vinha com um alto custo de armazenamento. Páginas em alta resolução podem gerar milhares de vetores por documento e megabytes de índice por página. O NeoMME mitiga isso combinando pooling hierárquico de tokens (para reduzir o número de vetores) e quantização assimétrica (para comprimir vetores de documentos mais agressivamente que os de consultas). Com configurações medidas, o espaço ocupado cai de megabytes por página para dezenas de kilobytes — chegando a cerca de 6 kB por página em uma configuração mais agressiva — enquanto mantém a maior parte da qualidade de recuperação da base. A conclusão: você pode usar interação tardia onde importa, mesmo em escala, sem estourar o orçamento de armazenamento.

Para desenvolvedores, o cálculo de implantação muda. Velocidades de indexação próximas a 51 páginas por segundo por GPU reduzem radicalmente o tempo até a busca para grandes arquivos e diminuem os custos contínuos de atualização do corpus. Uma única passagem gera embeddings densos e de interação tardia, permitindo padronizar seu pipeline e adiar trade-offs para a camada de índice. Faça fine-tuning com Sentence Transformers para cabeças densas ou de interação tardia específicas de domínio, ou mantenha o checkpoint generalista e confie na compressão para equilibrar custo e relevância. No RAG visual, recupere imagens de páginas primeiro e depois passe as páginas top-k para um VLM apenas para geração de respostas — transferindo a maior parte do trabalho pesado para um codificador enxuto e nativo para recuperação.

Principais conclusões

Uma passagem, dois embeddings

O NeoMME retorna vetores densos e de interação tardia juntos, permitindo recall rápido via ANN e reranking preciso sem precisar servir dois modelos diferentes.

Taxa de processamento se traduz em economia

Codificação de páginas cerca de 2× mais rápida significa janelas de indexação mais curtas, menos horas de GPU e atualizações mais frequentes do corpus para repositórios regulados ou sensíveis ao tempo.

Interação tardia agora é amigável ao armazenamento

Pooling hierárquico mais quantização assimétrica comprimem páginas multi-vetor para kilobytes enquanto preservam a maior parte da qualidade de recuperação que você valoriza.

O Que Mudou: Um Codificador Multimodal de Torre Única

O NeoMME substitui o padrão de torre dupla ou VLM mais projetor por um único Transformador bidirecional para texto e imagens. As entradas são tokens multilíngues BPE e patches não sobrepostos de 32×32. A pilha usa atenção de janela deslizante com camadas globais periódicas, atenção por consulta agrupada, QK-norm, embeddings rotatórios 2D e contexto longo de 16.384 tokens. Como imagens e texto compartilham o mesmo caminho, pré-treinamento, fine-tuning e serviço são mais simples e paralelizáveis. Para equipes que buscam entregar recursos de recuperação em vez de geração, isso concentra a capacidade no que importa — embeddings rápidos e precisos entre modalidades — sem carregar a sobrecarga do decodificador.

Taxa de Processamento e Qualidade: Ganhos Práticos para Indexação

Com entrada de 2048×2048 em uma única L40S, o recuperador 260M codifica cerca de 51 páginas por segundo — aproximadamente o dobro da taxa de bases comuns em condições similares. No ViDoRe v3, o modelo 260M está na fronteira de Pareto qualidade-tamanho, entregando forte nDCG@10 relativo à sua contagem compacta de parâmetros. Em outras palavras: você pode indexar mais, mais rápido, com menos GPUs e ainda competir com modelos maiores em relevância. Espere ganhos maiores em corpora ricos em imagens, onde layout, legendas de figuras e estrutura de tabelas influenciam significativamente a precisão da recuperação.

Interação Tardia Sem o Custo de Armazenamento

Páginas em alta resolução podem gerar milhares de vetores token/patch, transformando índices em consumidores intensos de armazenamento. A cabeça de interação tardia do NeoMME combina bem com duas alavancas de compressão: pooling hierárquico de tokens para reduzir a contagem de vetores por página e quantização assimétrica para armazenar documentos com menor precisão que consultas. Em testes, o espaço ocupado caiu de megabytes para kilobytes por página, mantendo a maior parte do nDCG base. Escolha pooling conservador com int8 para arquivos sensíveis à qualidade, ou pooling agressivo com documentos binários quando o orçamento for prioritário e você ainda quiser reranking forte.

Guia de Implementação: Busca e RAG Visual

Comece convertendo PDFs em imagens de páginas e indexando com NeoMME-Retriever: armazene vetores densos para recall rápido via ANN e vetores de interação tardia para reranking. Use resolução dinâmica de imagem para preservar detalhes em páginas densas em informação. Calibre a compressão ao seu orçamento de armazenamento (por exemplo, pooling 8–10, consultas int8, documentos binários para economia agressiva). Para RAG visual, recupere as páginas top-k e as adicione como imagens ao prompt do seu VLM. Se seu corpus for enorme, faça recall apenas denso no índice completo, depois rerank um conjunto estreito de candidatos com interação tardia. Faça fine-tuning de cabeças específicas de domínio via Sentence Transformers quando suas consultas tiverem estrutura consistente.

Riscos, Custos e Adequação

A taxa de processamento depende de tensores pré-processados, I/O e calibração de lote; planeje margem para pipelines reais. Codificadores de contexto longo podem aumentar a necessidade de memória de ativação em resoluções muito altas. A recuperação baseada em imagens deve respeitar políticas de privacidade e segurança, especialmente para documentos escaneados como IDs ou assinaturas. O NeoMME não é generativo — combine-o com um VLM para elaboração de respostas em RAG. Por fim, escolhas de compressão podem influenciar sutilmente quais regiões da página dominam a similaridade; valide as configurações nas suas tarefas reais antes de definir um formato de índice.

Perguntas frequentes

Quando devo usar embeddings densos versus de interação tardia com NeoMME?

Use vetores densos para recall rápido e de baixo custo em todo o corpus. Recupere um pequeno conjunto de candidatos (por exemplo, top 200–1.000) com ANN, depois aplique interação tardia para o ranking final, capturando correspondências token-região. Para corpora pequenos ou consultas de alta importância, você pode buscar diretamente com interação tardia se o armazenamento permitir.

Qual pegada de hardware devo planejar para indexação em larga escala?

Como referência, o modelo 260M codifica cerca de 51 páginas/seg por L40S a 2048×2048 com batch otimizado. Isso implica ~1 milhão de páginas em ~5–6 horas de tempo puro de modelo por GPU. Pipelines reais enfrentam overhead de I/O e pré-processamento; planeje 2–3× o tempo de relógio. Escale linearmente com mais GPUs ou reduza a resolução da imagem onde aceitável.

Como misturar recuperação de páginas de imagem com conteúdo apenas de texto?

Indexe imagens de páginas com NeoMME e mantenha seus embeddings de texto para conteúdo sem imagens confiáveis. Direcione consultas pelo mesmo recuperador para pontuação multimodal mista. Para PDFs com digitalizações fracas, armazene vetores de página de interação tardia e vetores densos de blocos de texto; faça recall denso e depois rerank com interação tardia quando houver captura de tela da página.

#Ajuste Fino de Embeddings#Compressão de Modelos#quantização de modelo#Técnicas de Quantização#Eficiência de Computação#Modelos de Peso Aberto#Licença Apache 2.0#Frameworks de IA Open Source#modelos de contexto longo#RAG de Contexto Longo#Tokens por Segundo#Inferência Consciente de Custos#Cartões de Modelo e Avaliação#Sistemas de Conteúdo Empresarial#Recuperação Multimodal#Interação Tardia#RAG de Documento#Indexação ANN#Agrupamento Hierárquico de Tokens#Quantização Assimétrica#Pesquisa Visual de Documentos#Benchmark ViDoRe#Transformadores de Frases v6#Reordenação de Armazenamento Vetorial