零一万物 - 首款开源中英双语大模型，本地部署包，免训练，免安装，李开复最快AI独角兽开源项目~

支持输入30万汉字，看不懂《百年孤独》的人有救了

一、零一万物是什么？

知名投资人、创新工场董事长兼CEO李开复博士带队创办 AI 2.0大模型公司“零一万物”（01.AI），正式发布首款研发的最强开源人工智能（AI）大模型系列，名为“Yi”。

此次 Yi 系列基础模型的首个公开版本包括两款：Yi-6B（数据参数量为60亿）、Yi-34B（340亿），均是双语（英文/中文）、支持开源。其中，Yi-34B模型在多项评测基准中全球领跑，基于超强Infra下模型训练成本实测下降40%，模拟千亿规模训练成本可下降多达50%，并以更小模型尺寸的基准结果超过LLaMA2-34B/70B、Falcon-180B等大尺寸开源模型，以及百川智能（王小川创立）的Baichuan2-13B。

Yi-34B模型凭借其70.72分的傲人成绩，荣登全球英文和中文权威排行榜的榜首位置。该模型在Hugging Face的英文测试公开榜单中，击败了包括LLaMA2-70B和Falcon-180B在内的多个大型模型，成为全球第一。Yi-34B模型即将发布一款全球最长上下文窗口版本，支持200K超上下文窗口(context window)，能够处理大约40万汉字的超文本输入。

二、零一万物的网站地址：

1、Github开源地址：

https://github.com/01-ai/Yi

2、项目地址：

https://www.lingyiwanwu.com/

3、免费试用：

https://huggingface.co/spaces/01-ai/Yi-34B-Chat

https://www.modelscope.cn/organization/01ai

4、论文地址：

https://arxiv.org/abs/2403.04652

三、零一万物支持的模型：

零一万物 API 开放平台链接：https://platform.lingyiwanwu.com/

• Yi-34B-Chat-0205：支持通用聊天、问答、对话、写作、翻译等功能。
• Yi-34B-Chat-200K：200K 上下文，多文档阅读理解、超长知识库构建小能手。
• Yi-VL-Plus: 多模态模型，支持文本、视觉多模态输入，中文图表体验超过 GPT-4V。

四、零一万物的性能亮点：

1、技术全球领跑

Yi-34B 预训练模型在多项评测中全球领跑，MMLU等评测取得了多项 SOTA 国际最佳性能指标表现。

2、模型尺寸轻巧

以更小模型尺寸评测超越 LLaMA2-70B、Falcon-180B 等大尺寸开源模型，对开发者社群更为友好。

3、满足多元刚需

Yi-6B 适合个人及研究用途，高质量 Yi-34B 已具大模型涌现能力，适合发挥于多元场景，满足开源社区的刚性需求。

4、申请免费商业授权

Yi-6B，Yi-34B 开源模型对学术研究完全开放，同步开放申请免费商业授权。

五、零一万物的评测指标：

六、零一万物的使用体验：

1、首先，200K 上下文确实强。就拿专业书翻译这件事来说吧，前 HuggingFace 员工、Transformer 核心贡献者 Stas Bekman 写过一本名为《机器学习工程》的电子书。调用 Yi-34B-Chat-200K 之后，知乎知名技术作者「苏洋」一天之内就完成了长达 264 页的书籍翻译工作。

2、其次，在 Yi-34B-Chat-0205、Yi-34B-Chat-200K 之外，零一万物开放平台此次同期上新全新的多模态大模型 Yi-VL-Plus。

Yi-VL-Plus 支持文本、视觉多模态输入，面向实际场景大幅增强。多位用户反馈：「中文体验超过 GPT-4V。」

此外，零一万物 Yi 大模型 API 开放平台和 OpenAI API 是兼容的，迁移方案时的体验应该也非常丝滑。

当然，Yi 大模型 API 到底能不能与 GPT-4 Turbo、Gemini 1.5、Claude 3 这些模型的表现一较高下，还需要更多开发者一起考察。

200K 上下文的大模型，有多能打？

在此前的内测中，最令人印象深刻的不外乎具有超长上下文窗口的 Yi-34B-Chat-200K。

对于大模型的落地应用，上下文窗口是一项非常关键的因素。过去一年里，各家大模型的上下文窗口都在飞速扩展：OpenAI 把 GPT-4 的 32K 直接提到 GPT-4 Turbo 的 128K。谷歌的 Gemini 1.0 还是 32K，Gemini 1.5 Pro 马上就升级到了 100 万 Token。

前不久，Claude 3 将大模型 API 的上下文长度纪录一下提到了 200K，还宣称有能力开放 100 万 Token 的上下文输入（尽管目前仅限特定客户）。

要完成更复杂的现实任务，模型需要能够处理长篇的上下文。更广阔的上下文窗口能显著提升模型的理解深度，在生成内容或解答问题时实现更高的准确性和相关性。这是因为模型能够「回忆」并参照较长的文本历史，面对长文章、书籍的章节、复杂对话或其他需长期累积上下文的情境时，这种能力格外关键。

Yi-34B-Chat-200K 能够处理大约 30 万个中英文字符。我们可以拿文学类书籍来类比，32K 就像是一篇 2 万字的短篇小说（比如《潜伏》原著），128K 大概是一部中篇小说的体量（比如《人间失格》），而 200K 则相当于《呼啸山庄》、《百年孤独》、《骆驼祥子》这类长篇著作了。

以下是 Yi-34B-Chat-200K 对经典文学作品《呼啸山庄》的归纳总结，这部作品中文字数约 30 万字，人物关系错综复杂，但 Yi-34B-Chat-200K 仍能精准地梳理和总结出人物之间的关系。

从行业应用的角度看，Yi-34B-Chat-200K 适合用于多篇文档内容理解、海量数据分析挖掘和跨领域知识融合等，为各行各业应用提供了便利。金融分析师可以用它快速阅读报告并预测市场趋势、律师可以用它精准解读法律条文、科研人员可以用它高效提取论文要点等，应用场景非常广泛。

有开发者对比了 Yi-34B-Chat-200K 和某同类模型，从下图我们能看出，对于「请在 18 万字报告中找到地缘政治风险」这一 Prompt，Yi-34B-Chat-200K 给出了正确答案「英国脱欧导致索尼总部搬迁，导致索尼欧洲业务连续性受影响」，而另外一个模型则表示「无地缘政治风险」，未能完成任务。

实验数据进一步印证了开发者内测过程中的直观感受：在零一万物针对其进行的「大海捞针」测试中，Yi-34B-Chat-200K 的性能提高了 10.5%，从 89.3% 提升到 99.8%。

拼中文体验，这次赢的显然是 Yi-VL-Plus

大语言模型的持续进步往往也会为多模态大模型注入新的发展生机，尤其近几个月以来，多模态领域迎来「井喷」，大家的目光再次聚焦到了多模态大模型的发展上来。

谷歌 Gemini 原生多模态、Anthropic Claude 3 首次支持多模态能力，随之而来的是，多模态大模型对图像（包括其上文字）、表格、图表、公式的识别、理解能力已经在整体上了一个新台阶。自然而然，这对其他大模型厂商提出了更高的多模态能力需求。

对于零一万物来说，这既是挑战，也是机遇。自成立以来，零一万物在大模型多模态能力上的探索一直在推进，尤其中文场景表现亮眼。

1 月 22 日，零一万物 Yi-VL 多模态语言大模型正式开源，包括 Yi-VL-34B 和 Yi-VL-6B 两个版本，其中 34B 版本在针对中文打造的 CMMMU 数据集上的准确率紧随 GPT-4V 之后，在开源多模态模型中处于领先位置。

现在，Yi-VL-Plus 多模态模型在原有 Yi-VL 基础上迎来全方位升级，进一步提高了图片分辨率，支持 1024*1024 分辨率输入，不仅对图片中文字、符号的识别、理解和概括能力得到前所未有的加强，在部分中文场景的实际体验更是超越了 GPT-4V。眼见为实，我们来详细对比一下开篇提到的这个图文对话示例。

可以看到，Yi-VL-Plus 的回答言简意赅，准确无误，验证了它对图片中文字超强的识别能力；而 GPT-4V 看似回答了一大堆内容，实则废话连篇，除了「羊肉汤烩面」这个招牌之外，它给出的食物显然是基于一般常识推理出来的，并不是它准确看到的。二者高下立判。

在更准确地搞定一般中文场景的图片识别之外，此次 Yi-VL-Plus 的一大特点是大幅增强了对实际生产力场景的支持，既提高了图表（Charts）、表格（Table）、信息图表（Inforgraphics）、屏幕截图（Screenshot）中文字和数字 OCR 的识别准确性，让模型「看得准」；又支持了复杂的图表理解、信息提取、问答以及推理，让模型「答得透」。

我们同样发现，在这些偏生产力场景的任务中， Yi-VL-Plus 的实际体验依然要比 GPT-4V 更好。

我们来看下面这个中文「财务报表数据提取」任务，Yi-VL-Plus 没有被不同部门的数据所迷惑，精确无误定位并提取到了销售部门各个季度的数据；而 GPT-4V 显然被复杂的表格和柱状图数据难倒了，给出的数据中出现多达三处错误。

在另外一个中文「图表理解场景」中，Yi-VL-Plus（左）在准确性方面同样击败了 GPT-4V（右），后者混淆了电商零售与本地生活服务的概念。

在充分把握图表信息的基础上，Yi-VL-Plus 还能释放其他多模态能力，比如将图表转化为其他格式，诠释了「技多不压身」。

至此，我们大可以得出这样的结论：中文社区终于迎来了一个性能强大的多模态大模型。尤其是对于普通用户而言，在生产力场景下足功夫的 Yi-VL-Plus 能够成为他们分析图表、分类知识、汇总数据的绝佳辅助工具，对工作效率的提升显而易见。

七、如何使用零一万物？

为了让更多用户能够轻松体验这一技术，我们将零一万物打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。

1、下载压缩包，解压到电脑D盘，最好不要有中文路径，解压后的内容应包括以下文件：

• koboldcpp.exe —— 适用于NVIDIA显卡的启动软件
• koboldcpp_nocuda.exe —— 适用于无CUDA支持的CPU的运行软件
• koboldcpp_rocm.exe —— 适用于AMD显卡的启动软件
• yi-34b-chat.Q2 K.gguf —— 模型文件

2、以NVIDIA显卡为例，解压后点击 koboldcpp_rocm.exe 文件即可运行；

3、启动软件后，界面会检测到你的显卡型号；

4、点击Launch按钮并选择yi-34b-chat.Q2 K.gguf模型文件以启动模型。

5、启动模型后，会自动在浏览器中打开：http://localhost:5001/，即可免费使用零一万物。