清华团队推出对话机器人 ChatGLM,支持在个人电脑上部署和调优

在 ChatGPT 的核心团队中,不乏清华大学毕业进入 OpenAI 的开发者,就在 GPT-4 发布的同一天,清华大学顶尖的 NLP 团队,也公开了自研的类 ChatGPT 的大模型 —— 中英双语对话模型 ChatGLM-6B,初具问答和对话功能

AiPeak 3 月 22 日消息,在 ChatGPT 的核心团队中,不乏清华大学毕业进入 OpenAI 的开发者,就在 GPT-4 发布的同一天,清华大学顶尖的 NLP 团队,也公开了自研的类 ChatGPT 的大模型 —— 中英双语对话模型 ChatGLM-6B,初具问答和对话功能,现已开启邀请制内测(内测申请网址 http://chatglm.cn),后续还会逐步扩大内测范围。

ChatGLM:千亿基座的对话模型启动内测,单卡版模型已全面开源

官方博客中提到,这是一个初具问答和对话功能的千亿中英语言模型,并针对中文进行了优化。该模型基于 General Language Model(GLM)架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。ChatGLM-6B 使用了和 ChatGLM 相同的技术,针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练,辅以监督微调、反馈自助、人类反馈强化学习等技术的加持,62 亿参数的 ChatGLM-6B 虽然规模不及千亿模型,但大大降低了推理成本,提升了效率,并且已经能生成相当符合人类偏好的回答。

具体来说,ChatGLM-6B 具备以下特点:

因此,ChatGLM-6B 具备了一定条件下较好的对话与问答能力。当然,ChatGLM-6B 也有相当多已知的局限和不足:

该团队称,一直在探索、尝试和努力,GLM 系列模型取得了一丝进展,但离国际顶尖大模型研究和产品(比如 OpenAI 的 ChatGPT 及下一代 GPT 模型)都还有明显差距。中国大模型研究在原创算法、AI 芯片和产业上的追赶与突破需要大家的一起努力,更需要我们对下一代 AI 人才的培养与锻炼。

AiPeak附 ChatGLM-6B 的对话效果展示:

清华团队推出对话机器人 ChatGLM,支持在个人电脑上部署和调优

清华团队推出对话机器人 ChatGLM,支持在个人电脑上部署和调优

清华团队推出对话机器人 ChatGLM,支持在个人电脑上部署和调优

清华团队推出对话机器人 ChatGLM,支持在个人电脑上部署和调优