ChatGPT问世后，国内对人工智能技术研究水平产生了诸多质疑：中国的人工智能团队为什么研究不出来这样的模型？我国与世界先进水平的差距还很遥远……2月20日，国内首个类ChatGPT模型MOSS悄然上线，复旦大学计算机科学技术学院邱锡鹏教授团队发布至公开平台，邀公众参与内测。
当晚，MOSS上微博热搜后，服务器瞬时访问量达到上千万。而MOSS服务器目前最大容纳人数在几万左右。由于瞬时访问火爆，计算资源无法支撑，内测窗口暂时关闭。
“作为一个学术研究型实验室，我们的服务器资源相对有限。”项目主开发者、计算机科学技术学院博士研究生孙天祥无奈地表示：“就像我们做好了菜，在一个屋里等大家来吃，结果因为来的人太多了，大多数人没进屋子在院子里就堵住了。”
谈到MOSS的火爆，邱锡鹏本人也颇感意外，但又很快回归平静。这些天，邱锡鹏与他的MOSS团队——8位年轻的复旦学生——继续紧锣密鼓地开展内测和迭代工作。新模型预计在3月份底优化完成，后期再逐步对社会开放。
MOSS与ChatGPT有何差异？为什么MOSS的中文水平反而不如英文水平？未来MOSS有哪些用武之地？让我们听听MOSS开发团队的回应。
都是聊天机器人，MOSS有何魔力？
在ChatGPT出现之前，Siri、小度、小爱等都是我们熟知的聊天机器人。到底是什么样的魔法，让ChatGPT、MOSS如此与众不同？
邱锡鹏告诉记者，ChatGPT和之前的聊天机器人就像功能手机和智能手机。ChatGPT、MOSS具备的是一种通用能力，可以帮助人类完成自然语言处理领域的绝大部分任务，还可以在学习使用外部工具后，与外部世界进行交互，甚至创作。应该说，这种对话式大型语言模型展示了一条通向“通用人工智能”的崭新路径。
中国要想站在大型语言模型或者通用人工智能等技术的最前沿，就必须要建设自己的语言模型基座。
在MOSS上线之前，国内有很多声音——“我国人工智能和国外的技术水平差距非常大，想追上的话，要花很长时间。”但邱锡鹏团队的努力证明，其实不需要那么久。这也是MOSS一上线就在国内引起轰动的原因之一。
当然MOSS的开发并不是一蹴而就的。
“初衷是想在百亿规模参数上探索和验证ChatGPT的技术路线，证明我们在技术实现上并不落后于国外。”据邱锡鹏回忆，从2021年起，他的团队就开始做中文生成式预训练模型。2022年，团队意识到大型语言模型会成为将来的基座，就开始做大型语言模型方面的训练。之后又花费了半年时间，研究如何使大型语言模型理解人类指令以及具备对话能力。
邱锡鹏指出，从零开始，到信息收集、数据处理、建立模型，到最终形成一个具有和人类对话能力的大模型，整个开发过程关键的是打通两步：第一是基座。大型语言模型的基座不是简单的参数足够大就可以，还需要赋予大型语言模型各种各样的知识能力、学习能力，还有逻辑推理能力。其次是要通过一些指令触发它的对话能力，让它理解人类意图，与人类能够交互对话。
与ChatGPT的差距：事实类知识储备不足
MOSS与ChatGPT的主要差异表现在参数规模和迭代能力，两者进一步导致了MOSS和ChatGPT在事实类知识储备上的差距，表现为MOSS在回答事实类问题时更容易出错。
据了解，ChatGPT语言模型的参数量高达1750亿，而MOSS的参数量比其小一个数量级，大约是前者的1/10。这是因为学术界主要是想在财力物力承受范围之内做一些探索性的技术。在目前的参数级别上，团队认为模型也能涌现出一定的智能能力和对话能力。实验结果证实了MOSS模型可以非常顺利地与人类进行聊天互动。
邱锡鹏对此解释，一般来说，模型所要掌握的能力可以分为两种：事实类知识和逻辑类能力。对于事实类知识，可以通过扩大知识库，扩大模型的学习语料和参数规模，让模型具有更多的知识。
而针对MOSS的中文水平不如英文水平的疑问，孙天祥解释，这是由于高质量中文数据集不足导致的。中文网页上的干扰信息，比如广告较多，语料清洗难度较大。但是好在团队已经开始构造高质量的中文数据。他们的目标是打造一个具有中国特色的中文大型语言模型。
“MOSS模型可以赋予更多专业化能力，这是未来MOSS和ChatGPT最主要的差异。”邱锡鹏表示， MOSS的特点是小规模，比较容易适应个性化模型。MOSS这种百亿级数据参数的规模非常合适企业内部私有部署，经过一些数据微调就可以转化为生产力。
未来MOSS的优化将会围绕高质量的中文数据、人类对话数据以及参数规模三方面展开。“如果MOSS的参数规模能够上升到500亿或者1000亿，它的能力就会大幅提升。”邱锡鹏还希望把研究成果无偿地分享给学术界，在合法合规的前提下，让他们去做定制化或者在特殊领域的应用。“下一步进行顺利的话，MOSS将于3月底左右开源。”他说。
邱锡鹏所在的自然语言处理实验室是上海市智能信息处理重点实验室的一部分，和大型语言模型基座研究相关的学生有30余人，老师和学生加起来近百人。
开发过程中，正逢《流浪地球2》电影热映，影片中的智能量子计算机MOSS给他们留下了深刻的印象，于是他们就把模型命名为MOSS。“长远来看，我们期待让MOSS变成一个像科幻片角色的真实存在。”邱锡鹏很乐观，“也许5-10年，我们会像现在接受搜索引擎一样，接受通用人工智能。”
ChatGPT问世后，国内对人工智能技术研究水平产生了诸多质疑：中国的人工智能团队为什么研究不出来这样的模型？我国与世界先进水平的差距还很遥远……2月20日，国内首个类ChatGPT模型MOSS悄然上线，复旦大学计算机科学技术学院邱锡鹏教授团队发布至公开平台，邀公众参与内测。
当晚，MOSS上微博热搜后，服务器瞬时访问量达到上千万。而MOSS服务器目前最大容纳人数在几万左右。由于瞬时访问火爆，计算资源无法支撑，内测窗口暂时关闭。
“作为一个学术研究型实验室，我们的服务器资源相对有限。”项目主开发者、计算机科学技术学院博士研究生孙天祥无奈地表示：“就像我们做好了菜，在一个屋里等大家来吃，结果因为来的人太多了，大多数人没进屋子在院子里就堵住了。”
谈到MOSS的火爆，邱锡鹏本人也颇感意外，但又很快回归平静。这些天，邱锡鹏与他的MOSS团队——8位年轻的复旦学生——继续紧锣密鼓地开展内测和迭代工作。新模型预计在3月份底优化完成，后期再逐步对社会开放。
MOSS与ChatGPT有何差异？为什么MOSS的中文水平反而不如英文水平？未来MOSS有哪些用武之地？让我们听听MOSS开发团队的回应。
都是聊天机器人，MOSS有何魔力？
在ChatGPT出现之前，Siri、小度、小爱等都是我们熟知的聊天机器人。到底是什么样的魔法，让ChatGPT、MOSS如此与众不同？
邱锡鹏告诉记者，ChatGPT和之前的聊天机器人就像功能手机和智能手机。ChatGPT、MOSS具备的是一种通用能力，可以帮助人类完成自然语言处理领域的绝大部分任务，还可以在学习使用外部工具后，与外部世界进行交互，甚至创作。应该说，这种对话式大型语言模型展示了一条通向“通用人工智能”的崭新路径。
中国要想站在大型语言模型或者通用人工智能等技术的最前沿，就必须要建设自己的语言模型基座。
在MOSS上线之前，国内有很多声音——“我国人工智能和国外的技术水平差距非常大，想追上的话，要花很长时间。”但邱锡鹏团队的努力证明，其实不需要那么久。这也是MOSS一上线就在国内引起轰动的原因之一。
当然MOSS的开发并不是一蹴而就的。
“初衷是想在百亿规模参数上探索和验证ChatGPT的技术路线，证明我们在技术实现上并不落后于国外。”据邱锡鹏回忆，从2021年起，他的团队就开始做中文生成式预训练模型。2022年，团队意识到大型语言模型会成为将来的基座，就开始做大型语言模型方面的训练。之后又花费了半年时间，研究如何使大型语言模型理解人类指令以及具备对话能力。
邱锡鹏指出，从零开始，到信息收集、数据处理、建立模型，到最终形成一个具有和人类对话能力的大模型，整个开发过程关键的是打通两步：第一是基座。大型语言模型的基座不是简单的参数足够大就可以，还需要赋予大型语言模型各种各样的知识能力、学习能力，还有逻辑推理能力。其次是要通过一些指令触发它的对话能力，让它理解人类意图，与人类能够交互对话。
与ChatGPT的差距：事实类知识储备不足
MOSS与ChatGPT的主要差异表现在参数规模和迭代能力，两者进一步导致了MOSS和ChatGPT在事实类知识储备上的差距，表现为MOSS在回答事实类问题时更容易出错。
据了解，ChatGPT语言模型的参数量高达1750亿，而MOSS的参数量比其小一个数量级，大约是前者的1/10。这是因为学术界主要是想在财力物力承受范围之内做一些探索性的技术。在目前的参数级别上，团队认为模型也能涌现出一定的智能能力和对话能力。实验结果证实了MOSS模型可以非常顺利地与人类进行聊天互动。
邱锡鹏对此解释，一般来说，模型所要掌握的能力可以分为两种：事实类知识和逻辑类能力。对于事实类知识，可以通过扩大知识库，扩大模型的学习语料和参数规模，让模型具有更多的知识。
而针对MOSS的中文水平不如英文水平的疑问，孙天祥解释，这是由于高质量中文数据集不足导致的。中文网页上的干扰信息，比如广告较多，语料清洗难度较大。但是好在团队已经开始构造高质量的中文数据。他们的目标是打造一个具有中国特色的中文大型语言模型。
“MOSS模型可以赋予更多专业化能力，这是未来MOSS和ChatGPT最主要的差异。”邱锡鹏表示， MOSS的特点是小规模，比较容易适应个性化模型。MOSS这种百亿级数据参数的规模非常合适企业内部私有部署，经过一些数据微调就可以转化为生产力。
未来MOSS的优化将会围绕高质量的中文数据、人类对话数据以及参数规模三方面展开。“如果MOSS的参数规模能够上升到500亿或者1000亿，它的能力就会大幅提升。”邱锡鹏还希望把研究成果无偿地分享给学术界，在合法合规的前提下，让他们去做定制化或者在特殊领域的应用。“下一步进行顺利的话，MOSS将于3月底左右开源。”他说。
邱锡鹏所在的自然语言处理实验室是上海市智能信息处理重点实验室的一部分，和大型语言模型基座研究相关的学生有30余人，老师和学生加起来近百人。
开发过程中，正逢《流浪地球2》电影热映，影片中的智能量子计算机MOSS给他们留下了深刻的印象，于是他们就把模型命名为MOSS。“长远来看，我们期待让MOSS变成一个像科幻片角色的真实存在。”邱锡鹏很乐观，“也许5-10年，我们会像现在接受搜索引擎一样，接受通用人工智能。”
