好想知道X79的垃圾服务器能不能跑Llama3 70b

lilyhcn1 · 发表于 2024-4-25 15:31:18

自己试了一下llama3 8b的版本，居然7735hs的小主机也能跑起来，而且速度很快。
也试了一下llama3 70b的效果，感觉非常不错。
很想知道要是自己组装个x79的2000块破服务器，能不能跑起来。

huayixin · 发表于 2024-4-25 15:32:02

不是吃显卡么

lilyhcn1 · 发表于 2024-4-25 15:36:01

huayixin 发表于 2024-4-25 15:32
不是吃显卡么

这玩意居然是靠cpu算的，我都惊呆了。

skugov · 发表于 2024-4-25 15:37:14

CPU 和显卡都可以，显卡效果好

comet · 发表于 2024-4-25 15:40:22

cpu卡死人。用甲骨文arm试过

lilyhcn1 · 发表于 2024-4-25 15:42:25

skugov 发表于 2024-4-25 15:37
CPU 和显卡都可以，显卡效果好

显卡不会用，只会cpu

jekyll · 发表于 2024-4-25 16:03:26

内存够就能跑。
双路X79,满8通道DDR3内存，胜在便宜，但远远比不上GDDR的速度。

yaren · 发表于 2024-4-25 16:37:39

x79可以一战

huayixin · 发表于 2024-4-25 16:59:37

lilyhcn1 发表于 2024-4-25 15:36
这玩意居然是靠cpu算的，我都惊呆了。

我看有人3060 12g 70B跑着很吃力，就放弃了本地测试的念头。

听你这么一说又有兴趣了，不知道手上的x99洋垃圾2666V3 64G能不能一试。

拼命二郎 · 发表于 2024-4-25 17:01:36

看过评测，cpu的确可以跑，但是效率很低，那个测试博主用家用游戏显卡跑问题，秒出结果，用CPU跑，一秒蹦2个字

		自动登录	找回密码
密码			注册

[美国VPS] 好想知道X79的垃圾服务器能不能跑Llama3 70b