2. 搞机
  3. termux安装部署LLAMA

termux安装部署LLAMA termux

zsxwz 23/03.19 16:31 1548 只看Ta

https://github.com/antimatter15/alpaca.cpp

 

类似chatgpt的本地模型，当然还是不如openai。。。。

#拉代码
git clone https://github.com/antimatter15/alpaca.cpp 

cd alpaca.cpp
#编译
make chat
#运行
./chat

 

语言模型下载ggml-alpaca-7b-q4.bin：

把语言模型放在chat同一个文件夹即可

https://huggingface.co/Sosaka/Alpaca-native-4bit-ggml/blob/main/ggml-alpaca-7b-q4.bin

 

如果手机配置不行的话可能不太跑得动。

最后于 23/04.06 07:00 被zsxwz编辑 ，原因：

上一篇：new bing免翻hosts
下一篇：jsdelivr自动切换可用节点油猴脚本
收藏的用户（0） X
正在加载信息~
最新回复 (3)
  • super_admin 0
    引用 4楼
    跑不起来，估计是手机配置不够
    main: seed = 1679304711
    llama_model_load: loading model from 'ggml-alpaca-7b-q4.bin' - please wait ...
    llama_model_load: ggml ctx size = 6065.34 MB
    llama_model_load: memory_size =  2048.00 MB, n_mem = 65536
    llama_model_load: loading model part 1/1 from 'ggml-alpaca-7b-q4.bin'
    llama_model_load: ..............................
    Remote side unexpectedly closed network connection
    23/03.20 17:33 只看Ta 0 回复
  • super_admin 0
    引用 3楼
    3.9G
    23/03.20 17:17 只看Ta 0 回复
  • super_admin 0
    引用 2楼
    下载模型中
    23/03.20 17:12 只看Ta 0 回复
    • 姿势论坛—姿势小王子
      5 楼
返回
发新帖
友情链接
免责声明：本站部分资源来源于网络，如有侵权请发邮件（mail@zsxwz.com）告知我们，我们将会在24小时内处理。