“下面一起聊碰到AI的东西，放心，我来跟他是放心碰撞的，不是怼。”

2024年1月21日，360创始人周鸿祎罕见现身猎户星空的大模型发布会，与猎户星空董事长傅盛，进行了一场隔了16年的同台对谈。

周鸿祎与傅盛同台对谈。图源：直播截图

早年间，傅盛曾是周鸿祎在360的得力干将，其带领团队探索的业务360安全卫士，在2006年的日均安装量已经达到20万。但由于发展理念不合，2008年10月，傅盛辞职离开360，并与雷军合作创办竞品公司金山网络。2011年，360以窃取机密资料为由，与傅盛对簿公堂。

而让双方在公开场合一笑泯恩仇的，则是被周鸿祎视为“这辈子经历PC、互联网、移动互联网之后第四次巨大的机会”的AI大模型。

在圆桌对谈中，傅盛和周鸿祎两人对AI模型层和应用层的创业，有以下观点：

傅盛提到，未来千亿参数规模的模型将半凋零，百亿规模的模型必将绽放。而猎户星空在模型的布局上，走的也是“把大模型做小”的路子。

此次猎户星空发布的是一款140亿参数的中型规模的大模型Orion-14B，在一张消费级的千元显卡上就能部署，针对的是企业的专业场景。

Orion-14B在NVIDIA RTX 3060显卡上推理速度可达31 Token/s (约每秒50汉字)。图源：猎户星空

与众多国内外200亿参数规模的模型相比，Orion-14B在MMLU、C-Eval、BBH等中英主流测试集上拿下SOTA（最佳模型），并且在700亿参数以下基座模型中，在中文数据集的表现上总分位列榜首。

基于第三方机构OpenCompass独立评测结果。图源：猎户星空

基于第三方机构OpenCompass独立评测结果。图源：猎户星空

对于榜单上的好成绩，猎户星空也表示，Orion-14B没有提前刷基准测试里面的真题，成绩绝对真实。

此外，Orion-14B单次可推理320K的上下文，相当于一次性看完约50页的小说（45万字）。而在针对大模型“记忆力”的权威测试“大海捞针（Needle in A Haystack）”中，Orion-14B对200k Token的召回率是100%。

图源：猎户星空

傅盛并不避讳承认Orion-14B的训练，基于的是8个开源的MoE（专家混合模型）。目前，Orion-14B也已经在GitHub、Hugging Face、ModelScope等平台开源。

同时，傅盛指出，ChatGPT只从公开出版物上获取数据，后果是无法深入解决企业问题。

落地到具体的企业应用场景，模型要解决的问题，一是幻觉和错误，二是缺乏自主性。

针对幻觉和错误问题，猎户星空推出了RAG能力微调模型Orion-14B-RAG。所谓的RAG（检索增强生成），能够从数据源中检索信息来复制大模型生成答案。Orion-14B-RAG对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力，进行了专项微调，让其能更好配合企业整合自身知识库，构建定制化的应用。

针对构建自主性，猎户星空推出了辅助企业构建AI Agent的插件能力微调模型Orion-14B-Plugin。该插件能够通过Orion-14B-RAG更好理解用户需求，并调用相关的工具解决问题。

图源：猎户星空

附：

Orion-14B技术报告 https://github.com/OrionStarAI/Orion/blob/master/doc/Orion14B_v3.pdf

欢迎交流