说明：目前已经有ChatGLM3-6B，链接为 https://github.com/THUDM/ChatGLM3。
推荐阅读：对话模型chat.guanjihuan.com的主要实现代码开源。
在具有硬件条件的前提下，个人是建议安装本地的大语言模型，用于论文润色、数据处理等有一定保密需求的场景，而不是使用联网的模型，例如ChatGPT、文心一言等。这是之前的一篇：大语言模型Alpaca的下载和安装，但该模型对中文的支持可能不是特别好，而且不支持GPU，运行效率比较低。
本篇记录下安装开源双语对话语言模型ChatGLM2-6B的步骤，具体可以阅读：https://github.com/THUDM/ChatGLM2-6B。该模型由清华大学THUDM发布。运行该模型对系统的硬件配置有一定的要求：如果是GPU运行需要13GB显存；如果是CPU运行需要25GB内存。如果以INT4量化方式加载模型，配置要求可以降低到6GB的显存。
下载文件：
git clone https://github.com/THUDM/ChatGLM2-6B使用 pip 安装依赖：
cd ChatGLM2-6B
pip install -r requirements.txt运行：
python cli_demo.py第一次运行时可能会自动下载所需要的模型文件到缓存区域，有十个G左右的大小。
也可以手动下载所有的模型文件到“ChatGLM2-6B/THUDM/chatglm2-6b/”文件夹中：https://huggingface.co/THUDM/chatglm2-6b/tree/main。
为了防止一些报错，最好更新一下系统驱动（在ubuntu系统下的命令）：
sudo apt-get update
sudo apt-get install ubuntu-drivers-common
sudo ubuntu-drivers autoinstall以上最后一个命令可以试着运行两次或三次，确保驱动完全更新。更新后，记得重启一下。
除了上面pip安装依赖包外，有时还会出现其他bug，可能可以通过以下方式解决：更新Pytorch，参考：https://pytorch.org/get-started/locally/；更新transformers，使用命令：conda install -c conda-forge transformers。
如果出现报错：“FileNotFoundError: [Errno 2] No such file or directory: 'aplay'”，可以使用这个命令解决：apt-get install alsa-utils。
如果出现报错 “'ChatGLMTokenizer' object has no attribute 'tokenizer'. ”，可能是transformers版本过高，可能可以通过以下解决：
pip uninstall transformers
pip install transformers==4.33.2如果出现报错“Library cudart is not initialized”，可能可以通过以下解决：
conda install cudatoolkit=11.7 -c nvidia除了在命令行界面上运行该软件，也可以在网页上运行：python web_demo.py 或 streamlit run web_demo2.py。推荐使用第二个命令，即：
streamlit run web_demo2.py以上命令只在内网的默认页面上访问，如果需要在公网IP下访问，使用命令：
streamlit run web_demo2.py --server.port 8501 --server.address 0.0.0.0运行效果：
【说明：本站主要是个人的一些笔记和代码分享，内容可能会不定期修改。为了使全网显示的始终是最新版本，这里的文章未经同意请勿转载。引用请注明出处：https://www.guanjihuan.com】
