历史文章/不再维护

大语言模型Alpaca的下载和安装

在本地电脑或者服务器安装大语言模型,安全和隐私性可以得到保证,虽然自己运行的模型对话效果没有比商业运作的模型那么好,但这个可以放心地用于论文的润色、保密数据的整理等使用场景。

本篇记录安装Alpaca大语言模型的一些步骤,以及可能遇到的一些问题的解决方法。Alpaca是斯坦福发布的,是一个效果还可以、体积也相对小的大语言模型,大概是GPT3的水平[1-3],项目链接为:https://github.com/tatsu-lab/stanford_alpaca。缺点是:对中文和翻译的支持不是特别的好、上下文的语境连贯性也比较欠缺、不支持GPU运行。硬件要求:储存空间需要4G以上;运行内存需要8G以上(运行时占用内存);CPU大概是2核或4核以上(对话时占用CPU)。

另外,推荐这个开源的本地模型:双语对话语言模型ChatGLM的下载和安装。该模型可以更好地支持中文,同时有GPU加速,使用体验会比Alpaca模型好很多。

一、下载安装

下载 https://github.com/antimatter15/alpaca.cpp

git clone https://github.com/antimatter15/alpaca.cpp

下载语言模型 ggml-alpaca-7b-q4.bin(https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/blob/main/ggml-alpaca-7b-q4.bin)或者其他模型放到alpaca.cpp文件夹中。下载命令:

wget https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/resolve/main/ggml-alpaca-7b-q4.bin

编译:

cd alpaca.cpp
make chat

运行

./chat

二、可能的报错和解决方法

安装可能会一次性完成,不会报错。但也有可能会遇到一些问题,以下是一些记录:

(1)编译报错:ggml.c:74:23: fatal error: stdatomic.h: No such file or directory。

解决方法:更新到gcc最新版(查看版本命令为gcc -v),CentOS中的命令为:

yum -y install centos-release-scl 
yum -y install devtoolset-9-gcc devtoolset-9-gcc-c++ devtoolset-9-binutils 
scl enable devtoolset-9 bash
echo "source /opt/rh/devtoolset-9/enable" >>/etc/profile

(2)编译报错:ggml.c:309:19: error: ‘CLOCK_MONOTONIC’ undeclared (first use in this function)

解决方法[4]:在ggml.c文件前面加以下内容

#define _POSIX_C_SOURCE 199309L

(3)./chat 运行时报错:failed to tokenize string!

解决方法[5]:将chat.cpp中的“std::string word;”语句往下移动,移到“word.resize(len);”语句前面。然后重新编译一次。

参考资料:

[1] 如何在自己的笔记本上安装一个大语言模型?

[2] termux安装部署LLAMA

[3] 总结当下可用的大模型LLMs

[4] error: ‘CLOCK_MONOTONIC’ undeclared问题解决

[5] "failed to tokenize string!" #159

998 次浏览

【说明:本站主要是个人的一些笔记和代码分享,内容可能会不定期修改。为了使全网显示的始终是最新版本,这里的文章未经同意请勿转载。引用请注明出处:https://www.guanjihuan.com

发表评论

您的电子邮箱地址不会被公开。 必填项已用 * 标注

Captcha Code