12月2日消息，昨天，商汤科技正式发布并开源了全新多模态模型架构NEO，该架构由商汤科技和新加坡南洋理工大学AI技术实验室S-Lab合作研发，是行业首个可用的、实现深层次融合的原生多模态架构，基于NEO架构的NEO模型仅用3.9亿训练数据，就达到了模块化架构下顶级VLM（视觉-语言模型）模型的性能，数据量仅需其他同等性能模型的1/10。
从基准测试来看，NEO模型在多模态能力综合评估、跨学科和复杂推理等多项指标中碾压上海AI Lab推出的Mono-InternVL-1.5、清华大学、上海AI Lab联合商汤推出的HoVLE等原生VLM模型，还在多项视觉理解任务中追平通义千问的视觉语言模型Qwen2-VL、上海AI Lab联合商汤推出的InternVL3等基于模块化架构的顶级VLM模型。
当前，业内主流的多模态模型大多遵循“视觉编码器+投影器+语言模型”的模块化范式，本质上仍以语言为中心，图像与语言的融合仅停留在数据层面，视觉编码和语言解码分离，模型学习效率低下，在复杂多模态场景下处理任务受限。
为此，商汤科技抛弃了传统的模块化结构，推出从零设计的NEO原生架构。NEO架构在注意力机制、位置编码和语义映射进行了底层创新，构建一个统一的原生基元，让模型具备统一处理视觉与语言的能力。
NEO架构相关论文已发布在arXiv上，题为《从像素到文字——迈向大规模的原生视觉语言原始基元（From Pixels to Words — Towards Native Vision-Language Primitives at Scale）》，商汤科技联合创始人、执行董事及AI基础设施和大模型首席科学家林达华博士，南洋理工大学S-Lab负责人、副教授刘子纬等均在该论文的作者行列。