龙虾怎么配本地模型跑

youshao · 发表于 7 天前

14600KF 4060Ti16G 48GDDR5够用不

职业菜鸟 · 发表于 7 天前

应该可以吧。那玩意我看了下没装。自己搭了个本地模型。纯CPU 是真不行。 80核 128G 的一个会话 CPU 就50% 了。内存占用倒是不高. 这玩意还是得显卡跑。

这个同事在用。据说成本还是很高的。 token消耗巨大。

youshao · 发表于 7 天前

职业菜鸟发表于 2026-3-10 10:39
应该可以吧。那玩意我看了下没装。自己搭了个本地模型。纯CPU 是真不行。 80核 128G 的一个会话 CP ...

据说一个月要烧1-2K，所以看看本地模型是否靠谱，也不干什么特别重要的东西么。

Musk · 发表于 7 天前

内存，存贮，显卡都有一定的要求

芭啦啦能量 · 发表于 7 天前

烧的很，钱多可以玩。。昨天1000W TOKEN 1小时就给我干完了，。。。一个复杂点的问答直接50Wtoken，如果带点图片啥的，，，那更多了，如果有免费的API还是挺爽的，完全AI去执行处理任务。但数据肯定会泄漏，那么多代码，谁知道呢。。

youshao · 发表于 7 天前

芭啦啦能量发表于 2026-3-10 10:51
烧的很，钱多可以玩。。昨天1000W TOKEN 1小时就给我干完了，。。。一个复杂点的问答直接50Wtoken，如果带 ...

所以看看能不能搞个本地的玩一下，纯API业余选手烧不起啊

HOH · 发表于 7 天前

怪不得要推广，原来token这么好赚钱

fuckjp · 发表于 7 天前

自己搭了 qianwen 3.5b的，可以给龙虾用，具体你直接问AI吧

youshao · 发表于 7 天前

我本地做图片反推提示词的用着一个qianwen3.1 16B的

芭啦啦能量 · 发表于 7 天前

youshao 发表于 2026-3-10 10:53
所以看看能不能搞个本地的玩一下，纯API业余选手烧不起啊

肯定可以，你有卡吗，顶级卡才行，垃圾显卡就算了把。。

		自动登录	找回密码
密码			注册