大语言模型Alpaca的下载和安装

在本地电脑或者服务器安装大语言模型，安全和隐私性可以得到保证，虽然自己运行的模型对话效果没有比商业运作的模型那么好，但这个可以放心地用于论文的润色、保密数据的整理等使用场景。

本篇记录安装Alpaca大语言模型的一些步骤，以及可能遇到的一些问题的解决方法。Alpaca是斯坦福发布的，是一个效果还可以、体积也相对小的大语言模型，大概是GPT3的水平[1-3]，项目链接为：https://github.com/tatsu-lab/stanford_alpaca。缺点是：对中文和翻译的支持不是特别的好、上下文的语境连贯性也比较欠缺、不支持GPU运行。硬件要求：储存空间需要4G以上；运行内存需要8G以上（运行时占用内存）；CPU大概是2核或4核以上（对话时占用CPU）。

另外，推荐这个开源的本地模型：双语对话语言模型ChatGLM的下载和安装。该模型可以更好地支持中文，同时有GPU加速，使用体验会比Alpaca模型好很多。

一、下载安装

下载 https://github.com/antimatter15/alpaca.cpp：

git clone https://github.com/antimatter15/alpaca.cpp

下载语言模型 ggml-alpaca-7b-q4.bin（https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/blob/main/ggml-alpaca-7b-q4.bin）或者其他模型放到alpaca.cpp文件夹中。下载命令：

wget https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin

编译：

cd alpaca.cpp
make chat

运行

./chat

二、可能的报错和解决方法

安装可能会一次性完成，不会报错。但也有可能会遇到一些问题，以下是一些记录：

（1）编译报错：ggml.c:74:23: fatal error: stdatomic.h: No such file or directory。

解决方法：更新到gcc最新版（查看版本命令为gcc -v），CentOS中的命令为：

yum -y install centos-release-scl 
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils 
scl enable devtoolset-9 bash
echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile

（2）编译报错：ggml.c:309:19: error: ‘CLOCK_MONOTONIC’ undeclared (first use in this function)

解决方法[4]：在ggml.c文件前面加以下内容