人工智能, 生活

双语对话语言模型ChatGLM2-6B的下载和安装

在具有硬件条件的前提下,个人是建议安装本地的大语言模型,用于论文润色、数据处理等有一定保密需求的场景,而不是使用联网的模型,例如ChatGPT、文心一言等。

这是之前的一篇:大语言模型Alpaca的下载和安装,但该模型对中文的支持可能不是特别好,而且不支持GPU,运行效率比较低。

本篇记录下安装开源双语对话语言模型ChatGLM2-6B的步骤,具体可以阅读:https://github.com/THUDM/ChatGLM2-6B。该模型由清华大学THUDM发布。运行该模型对系统的硬件配置有一定的要求:如果是GPU运行需要13GB显存;如果是CPU运行需要32GB内存

下载文件:

git clone https://github.com/THUDM/ChatGLM2-6B

使用 pip 安装依赖:

cd ChatGLM2-6B
pip install -r requirements.txt

运行:

python cli_demo.py

第一次运行时可能会自动下载所需要的模型文件到缓存区域,有十个G左右的大小。

也可以手动下载所有的模型文件到“ChatGLM2-6B/THUDM/chatglm2-6b/”文件夹中:https://huggingface.co/THUDM/chatglm2-6b/tree/main

除了在命令行界面上运行该软件,也可以在网页上运行:python web_demo.py 或 streamlit run web_demo2.py。推荐使用第二个命令,即:

streamlit run web_demo2.py

以上命令只在内网的默认页面上访问,如果需要在公网IP下访问,使用命令:

streamlit run web_demo2.py --server.port 8501 --server.address 0.0.0.0

运行效果:

94 次浏览

【说明:本站主要是个人的一些笔记和代码分享,内容可能会不定期修改。为了使全网显示的始终是最新版本,这里的文章未经同意请勿转载。引用请注明出处:https://www.guanjihuan.com

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

Captcha Code