软件使用, 生活

在本地电脑或服务器安装大语言模型Alpaca

在本地电脑或者服务器安装大语言模型,安全和隐私性可以得到保证,虽然自己运行的模型对话效果没有比商业运作的模型好,但这个可以放心地用于论文的润色、保密数据的整理等使用场景(对生成的结果期望不能太高,本篇底部有使用截图)。Alpaca是一个效果还行、体积也相对小的大语言模型,大概是GPT3的水平[1-3]。硬件要求:储存空间需要4G以上,运行内存需要8G以上(运行Alpaca时占用内存),CPU大概是2核或4核以上(对话时占用CPU。经测试,在对话时2核CPU会满负荷运行,等待时间也稍长)。

本篇是安装Alpaca大语言模型的一些步骤,以及在安装过程中可能遇到的一些问题的解决方法。

下载:

git clone https://github.com/antimatter15/alpaca.cpp

下载语言模型ggml-alpaca-7b-q4.bin(https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/blob/main/ggml-alpaca-7b-q4.bin)放到alpaca.cpp文件夹中。或者使用命令:

wget https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin

编译:

cd alpaca.cpp
make chat

运行

./chat

安装时可能会遇到的问题:

(1)编译报错:ggml.c:74:23: fatal error: stdatomic.h: No such file or directory。

解决方法:更新到gcc最新版(查看版本命令为gcc -v),CentOS中的命令为:

yum -y install centos-release-scl 
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils 
scl enable devtoolset-9 bash
echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile

(2)编译报错:ggml.c:309:19: error: ‘CLOCK_MONOTONIC’ undeclared (first use in this function)

解决方法[4]:在ggml.c文件前面加以下内容

#define _POSIX_C_SOURCE 199309L

(3)./chat 运行时报错:failed to tokenize string!

解决方法[5]:将chat.cpp中的“std::string word;”语句往下移动,移到“word.resize(len);”语句前面。然后重新编译一次。

以下是个人的测试截图。可能对中文和翻译的支持不是特别的好,但勉强能听得懂。另外,上下文的语境连贯性也比较欠缺。

测试1:

测试2:

测试3:

参考资料:

[1] 如何在自己的笔记本上安装一个大语言模型?

[2] termux安装部署LLAMA

[3] 总结当下可用的大模型LLMs

[4] error: ‘CLOCK_MONOTONIC’ undeclared问题解决

[5] "failed to tokenize string!" #159

411 次浏览

【说明:本站主要是个人的一些笔记和代码分享,内容可能会不定期修改。为了使全网显示的始终是最新版本,这里的文章未经同意请勿转载。引用请注明出处:https://www.guanjihuan.com

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注