今天共享的是：谢春宇：多模态大模子：绽开寰宇会通(1)

陈说磋议：49页

该文档主要围绕360多模态大模子伸开，包括其在图文多模态限制的探索、业务落地推行以及对过去发展的推断。

1. 多模态大模子配景与发展

- ChatGPT发布鼓动AI发展，GPT - 4增多视觉模态输入，视觉智力对AGI至关要紧。视觉 - 言语跨模态学习开启CV多模态斟酌大模子期间，如CLIP等职责。

- 图文多模态大模子LMM旨在惩办纯文本LLM弱势，斟酌阶梯分原生多模态和单模态各人模子缝合阶梯，各有优劣，大批企业和机构摄取缝合阶梯。

- LMM研发资格三代，第一代赋闲模态对王人考证，第二代增多谋略定位智力，第三代需惩办高区别率输入、图文模态竞争和多模态Scaling Law等问题。

2. 360多模态大模子探索与推行

- 360的SEEChat情势基于单模态各人缝合决议，将视觉智力与LLM会通，打造多模态言语模子，具备Dialogue、Captioning、OVD等智力，后升级为360VL。

伸开剩余80%

- 360VL在通用智力方面泄漏出色，如准确描绘画像、会通漫画梗图；在业务落地推行中，运用于360智能硬件（儿童腕表拍照学英文）、图像标签化（安防视频监控等）、绽开寰宇谋略检测、安防视频自动化巡检以及视觉云SaaS平台（连锁巡店等场景）。

3. 过去推断

多模态LMM发展连忙，过去将成为NLP和CV会通明的大模子，360VL以绽开寰宇会通为中枢智力，将对办公自动化、机器东说念主具身智能、自动驾驶等限制产生要紧影响。

以下为陈说节选实质

发布于：广东省