软件使用, 生活

国产大语言模型列表

目前国产模型的效果已经接近于 ChatGPT,这里列出不需要爬墙的国产大语音模型:

以上链接可以在“学术导航”页面访问。另外,也有一些开源的大语言模型可以在本地部署,例如ChatGLM, Qwen等,这对硬件的要求会高一些,可参考博文:对话模型chat.guanjihuan.com的主要实现代码开源

613 次浏览

【说明:本站主要是个人的一些笔记和代码分享,内容可能会不定期修改。为了使全网显示的始终是最新版本,这里的文章未经同意请勿转载。引用请注明出处:https://www.guanjihuan.com

6 thoughts on “国产大语言模型列表”

  1. 关老师您好,我们有两块儿24G的4090,在本地部署了清华的GLM2模型,已经可以正常使用了,但是GLM2模型感觉不太聪明,占用了12G的显存后还留有36G的空余,请问有什么其他的开源可以本地部署的模型推荐吗?

    1. 我目前是成功安装 ChatGLM2-6B-32K 和 InternLM-Chat-7B-8K 模型。此外,7B左右的模型还有:阿里的 Qwen-7B-Chat、智源的 AquilaChat2-7B-16K、百川的
      Baichuan2-7B-Chat 等,这些我还没安装成功。它们的智力水平估计都差不多,所以我暂时不折腾了。

      如果需要更聪明一些的,可以试着安装更多参数的模型,例如14B、20B或70B,可以参考这个排行榜:https://opencompass.org.cn/leaderboard-llm

      如果模型太大,显存不够用,也可以考虑采用8bit或4bit量化的方式,量化后智力减少不是特别明显,这样可以安装更多参数的模型。方法可以参考:https://huggingface.co/docs/transformers/main_classes/quantization,但步骤稍微有点麻烦,也可能会出现错误。

      1. 老师我是直接在git上下载的ChatGLM2-6B也就是这个项目https://github.com/ZhangErling/ChatGLM-6B/blob/main/deployment_windows.md
        后面的32K是下载的参数还是说是另一个项目?

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注

Captcha Code