amd 7502p 可以跑什么ai大模型？

crm · 发表于 2024-3-16 17:28:25

amd 7502p 可以跑什么ai大模型？

单路32核 256g 2t-nvme 无显卡

Nothing1024 · 发表于 2024-3-16 17:29:45

只能跑轻量一点的吧，大模型都比较吃GPU

DUNAI · 发表于 2024-3-16 17:30:27

跑我们星火大模型

crm · 发表于 2024-3-16 17:31:42

Nothing1024 发表于 2024-3-16 17:29
只能跑轻量一点的吧，大模型都比较吃GPU

有推荐的？主要拿来翻译和查询代码

kindlecon · 发表于 2024-3-16 17:44:14

本帖最后由 kindlecon 于 2024-3-16 17:45 编辑

什么只能跑轻量啊，他纯内存都能跑，只是速度比GPU慢很多，256G，4bit应该130B都能跑。
别提那些小模型了。

不过也不算慢到不能用。

crm · 发表于 2024-3-16 18:25:41

kindlecon 发表于 2024-3-16 17:44
什么只能跑轻量啊，他纯内存都能跑，只是速度比GPU慢很多，256G，4bit应该130B都能跑。
别提那些小模型了。 ...

非常感谢

		自动登录	找回密码
密码			注册