H Company Releases NeoMME: A Family of 260M and 800M Single-Tower Multimodal Encoders That Drop the Vision Tower and Causal Decoder

📋总体概括

H Company发布NeoMME系列多模态编码器，包含260M和800M两个规格，采用单塔双向架构：去掉传统视觉塔和因果解码器，用单个Transformer直接处理多语言文本token和32×32原始图像patch，预训练目标为掩码离散扩散。模型提供稠密与late-interaction双检索头，在ViDoRe v3基准上260M模型达到0.523 nDCG@10，支持255倍索引压缩，单张L40S上索引吞吐达每秒51.3页，但作者承认文本检索能力仍存在差距。