[教程] 一键部署本地的开源的大语言模型

julie

利用Ollama 可以在本地部署大语言模型.

优点: 免费, 开源, 可玩性高, 记录在本地不上传, 模型有Un**ed版 (可以违反伦理道德的), 等等.

缺点: 回答质量不如chatgpt.

步骤:

1. 安装Ollama: curl -fsSL https://ollama.com/install.sh | sh

2. 下载一个语言模型, 比如llama2: ollama pull llama2

测试:

curl -X POST http://localhost:11434/api/generate -d '{
  "model": "llama2",
  "prompt":"Why is the sky blue?"
}'

更多的语言库: ollama.com/library

larry

回答质量比较chatgpt 3.5如何？

keepway

机器配置需要什么条件

julie

larry 发表于 2024-3-1 17:19
回答质量比较chatgpt 3.5如何？

有很多语言库, 要是只看llama2:70b的话, 我觉得一般的用途还可以, 但是仍然比不上tgpt 3.5. 你可以自己部署一下试试.

刘备

在线版本https://huggingface.co/chat/

julie

keepway 发表于 2024-3-1 17:27
机器配置需要什么条件

一般的家用电脑就可以了.

scheme

需要gpu 么？

julie

我又换了一个模型, 用的是MegaDolphin-2.2-120b. 发现回答的质量很高. 感觉比gpt-4还好. 当然这只是我个人的感觉.