Noticias de Productos de IAResumen Empresarial de Recuperación

NeoMME 260M Prioriza la Recuperación: Un Codificador Multimodal de Transformador Único que Duplica el Rendimiento por Página

El codificador de 260 millones de parámetros de NeoMME procesa tokens de texto y parches de imagen en bruto de 32×32 en un solo transformador bidireccional, devolviendo incrustaciones densas y de interacción tardía en una sola pasada. El resultado: calidad competitiva de recuperación ViDoRe y aproximadamente el doble de rendimiento en codificación de páginas frente a las bases populares, haciendo que la búsqueda visual de documentos y RAG sean más baratos, simples y fáciles de escalar.

Redacción de NexusAI4 sept 20262.4K vistas9 min de lectura

NeoMME 260M Prioriza la Recuperación: Un Codificador Multimodal de Transformador Único que Duplica el Rendimiento por Página

Resumen de IA

NeoMME replantea la recuperación empresarial: en lugar de añadir una torre visual a un modelo de lenguaje, procesa texto e imágenes a través de un único codificador de contexto largo y produce incrustaciones densas y de interacción tardía simultáneamente. El modelo de 260M se sitúa en la frontera de Pareto ViDoRe para calidad vs. tamaño y codifica páginas de alta resolución a aproximadamente el doble de rendimiento que las bases comunes. La interacción tardía normalmente explota el almacenamiento, pero el agrupamiento jerárquico de tokens junto con la cuantización asimétrica reducen la huella a kilobytes por página con mínima pérdida de calidad. Para desarrolladores, esto significa indexación más rápida, servicio más simple y RAG visual práctico que preserva el diseño, gráficos y tablas sin cadenas frágiles de OCR. Usa incrustaciones densas para recuperación rápida e interacción tardía para reordenamiento preciso, sin ejecutar dos modelos.

La idea central de NeoMME es la contención arquitectónica al servicio de la recuperación. Un único transformador bidireccional ingiere tokens de texto multilingües junto con parches de imagen en bruto de 32×32, eliminando la torre visual separada y el decodificador causal comunes en pilas estilo VLM. Entrenado desde cero con un objetivo de enmascaramiento y denoising, la variante de 260M devuelve incrustaciones densas y de interacción tardía en una sola pasada. En la práctica, esto significa menos componentes en la inferencia, presupuestos de latencia más ajustados y una escalabilidad más sencilla. Con entradas emparejadas de 2048×2048, el modelo codifica alrededor de 51 páginas por segundo en una L40S, aproximadamente el doble del rendimiento de recuperadores visuales de documentos ampliamente usados, manteniendo la calidad de recuperación competitiva para búsquedas y pipelines RAG del mundo real.

¿Por qué es importante esto para la búsqueda empresarial? La mayoría de los pipelines de documentos aún dependen del OCR para extraer fragmentos de texto y luego intentan reconstruir la semántica del diseño de la página aguas abajo. NeoMME invierte eso: recupera directamente sobre imágenes de páginas, preservando tablas, gráficos y señales tipográficas que el OCR tiende a aplanar. El diseño de doble cabeza ofrece flexibilidad en el flujo de trabajo: usa vectores densos para una recuperación rápida vía ANN, luego aplica interacción tardía para capturar coincidencias token-región sin cargar un segundo modelo. Con una ventana de contexto de 16k, resolución de imagen dinámica y características modernas del codificador, NeoMME concentra el presupuesto de parámetros donde la recuperación más lo necesita: documentos de contexto largo, alta resolución y consultas multilingües.

La precisión de la interacción tardía históricamente implicaba un alto costo de almacenamiento. Las páginas de alta resolución pueden generar miles de vectores por documento y megabytes de huella por página en el índice. NeoMME mitiga esto combinando agrupamiento jerárquico de tokens (para reducir la cantidad de vectores) y cuantización asimétrica (para comprimir los vectores de documentos más agresivamente que las consultas). Con configuraciones medidas, la huella cae de megabytes por página a decenas de kilobytes, llegando a unos 6 kB por página en un ajuste más agresivo, mientras conserva la gran mayoría de la calidad base de recuperación. La conclusión: puedes permitirte la interacción tardía donde importa, incluso a escala, sin romper los presupuestos de almacenamiento.

Para los desarrolladores, el cálculo de despliegue cambia. Las velocidades de indexación cercanas a 51 páginas por segundo por GPU acortan radicalmente el tiempo hasta la búsqueda para grandes archivos y reducen los costos continuos de actualización del corpus. Una pasada hacia adelante produce tanto incrustaciones densas como de interacción tardía, por lo que puedes estandarizar tu pipeline y aplazar las compensaciones a la capa de índice. Ajusta con Sentence Transformers para cabezas densas o de interacción tardía específicas de dominio, o mantén el punto de control generalista y confía en la compresión para equilibrar costo y relevancia. En RAG visual, recupera primero imágenes de páginas y luego pasa las páginas top-k a un VLM solo para generación de respuestas, trasladando la mayor parte del trabajo pesado a un codificador nativo de recuperación y ligero.

Conclusiones clave

Una pasada, dos incrustaciones

NeoMME devuelve vectores densos y de interacción tardía juntos, permitiéndote ejecutar recuperación rápida ANN y reordenamiento preciso sin servir dos modelos diferentes.

El rendimiento se traduce en ahorro de costos

Un codificado de páginas aproximadamente 2× más rápido significa ventanas de indexación más cortas, menos horas de GPU y actualizaciones más frecuentes del corpus para repositorios regulados o sensibles al tiempo.

La interacción tardía ahora es amigable con el almacenamiento

El agrupamiento jerárquico más la cuantización asimétrica comprimen páginas multivectoriales a kilobytes mientras preservan la mayor parte de la calidad de recuperación que te importa.

Qué Cambió: Un Codificador Multimodal de Torre Única

NeoMME reemplaza el patrón de doble torre o VLM más proyector con un transformador bidireccional único para texto e imágenes. Las entradas son tokens BPE multilingües y parches no superpuestos de 32×32. La pila usa atención de ventana deslizante con capas globales periódicas, atención por consulta agrupada, normalización QK, incrustaciones rotatorias 2D y un contexto largo de 16,384 tokens. Debido a que imágenes y texto comparten el mismo camino, el preentrenamiento, ajuste fino y servicio son más simples y paralelizables. Para equipos que buscan lanzar funciones de recuperación en lugar de generación, esto concentra la capacidad en lo que importa: incrustaciones rápidas y precisas a través de modalidades, sin la sobrecarga del decodificador.

Rendimiento y Calidad: Ganancias Prácticas para la Indexación

Con un tamaño de entrada emparejado de 2048×2048 en una sola L40S, el recuperador de 260M codifica alrededor de 51 páginas por segundo, aproximadamente el doble del rendimiento de bases comunes bajo condiciones similares. En ViDoRe v3, el modelo 260M se sitúa en la frontera de Pareto calidad-tamaño, entregando un fuerte nDCG@10 relativo a su compacto conteo de parámetros. En otras palabras: puedes indexar más, más rápido, con menos GPUs y aún competir con modelos más grandes en relevancia. Espera mayores ganancias en corpus con muchas imágenes donde el diseño, leyendas de figuras y estructura de tablas influyen materialmente en la precisión de recuperación.

Interacción Tardía Sin el Costo de Almacenamiento

Las páginas de alta resolución pueden producir miles de vectores token/parche, convirtiendo los índices en grandes consumidores de almacenamiento. La cabeza de interacción tardía de NeoMME se combina bien con dos palancas de compresión: agrupamiento jerárquico de tokens para reducir la cantidad de vectores por página, y cuantización asimétrica para almacenar documentos con menor precisión que las consultas. En pruebas, la huella se redujo de megabytes a kilobytes por página mientras se mantenía la mayor parte del nDCG base. Elige agrupamiento conservador con int8 para archivos sensibles a la calidad, o agrupamiento agresivo con documentos binarios cuando el presupuesto domina y aún quieres un fuerte reordenamiento.

Guía de Implementación: Búsqueda y RAG Visual

Comienza convirtiendo PDFs en imágenes de páginas e indexando con NeoMME-Retriever: almacena vectores densos para recuperación rápida ANN y vectores de interacción tardía para reordenamiento. Usa resolución de imagen dinámica para preservar detalles en páginas densas en información. Ajusta la compresión a tu presupuesto de almacenamiento (por ejemplo, agrupamiento 8–10, consultas int8, documentos binarios para ahorros agresivos). Para RAG visual, recupera las páginas top-k y añádelas como imágenes al prompt de tu VLM. Si tu corpus es masivo, ejecuta recuperación solo densa en el índice completo y luego reordena un conjunto estrecho de candidatos con interacción tardía. Ajusta cabezas de dominio vía Sentence Transformers cuando tus consultas tengan estructura consistente.

Riesgos, Costos y Adecuación

El rendimiento depende de tensores preprocesados, I/O y calibración de lotes; planifica margen para pipelines reales. Los codificadores de contexto largo pueden aumentar la memoria de activación a resoluciones muy altas. La recuperación basada en imágenes debe respetar políticas de privacidad y seguridad, especialmente para identificaciones o firmas escaneadas. NeoMME no es generativo: combínalo con un VLM para redactar respuestas en RAG. Finalmente, las elecciones de compresión pueden sesgar sutilmente qué regiones de la página dominan la similitud; valida configuraciones en tus tareas reales antes de comprometerte con un formato de índice.

Preguntas frecuentes

¿Cuándo debo usar incrustaciones densas versus de interacción tardía con NeoMME?

Usa vectores densos para una recuperación rápida y de bajo costo en todo el corpus. Recupera un pequeño conjunto de candidatos (por ejemplo, los mejores 200–1,000) con ANN, luego aplica interacción tardía para el ranking final y capturar coincidencias token-región. Para corpus pequeños o consultas de alto riesgo, puedes buscar directamente con interacción tardía si el almacenamiento lo permite.

¿Qué huella de hardware debo planificar para indexación a gran escala?

Como referencia, el modelo 260M codifica aproximadamente 51 páginas/seg por L40S a 2048×2048 con lotes optimizados. Eso implica ~1 millón de páginas en ~5–6 horas de tiempo puro de modelo por GPU. Los pipelines reales enfrentan sobrecarga de I/O y preprocesamiento; presupuestar 2–3× tiempo real. Escala linealmente con más GPUs o reduce resolución de imagen donde sea aceptable.

¿Cómo combino la recuperación de imágenes de página con contenido solo de texto?

Indexa imágenes de página con NeoMME y conserva tus incrustaciones de texto para contenido sin imágenes confiables. Dirige consultas a través del mismo recuperador para puntuación multimodal. Para PDFs con escaneos débiles, almacena vectores de página de interacción tardía y vectores densos de fragmentos de texto; recupera densamente y luego reordena con interacción tardía cuando exista captura de pantalla de página.

#Ajuste fino de incrustaciones#Compresión de Modelos#cuantización de modelos#Técnicas de Cuantización#Eficiencia de Cómputo#Modelos de Peso Abierto#Licencia Apache 2.0#Frameworks de IA de Código Abierto#modelos de contexto largo#RAG de Contexto Largo#Tokens por Segundo#Inferencia con Control de Costos#Tarjetas de Modelo y Evaluación#Sistemas de Contenido Empresarial#Recuperación Multimodal#Interacción Tardía#RAG de Documentos#Indexación ANN#Agrupación Jerárquica de Tokens#Cuantificación Asimétrica#Búsqueda Visual de Documentos#Benchmark ViDoRe#Transformadores de Oraciones v6#Reordenación de Almacén Vectorial