grok-1 怎么部署到本机啊.

稀土掘金 · 发表于 2024-3-18 15:44:02

grok-1 怎么部署到本机啊.

ChrisWilson · 发表于 2024-3-18 15:45:03

你啥显卡就说部署

tdd · 发表于 2024-3-18 15:45:18

可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100（每个 80GB）就可以了。

稀土掘金 · 发表于 2024-3-18 15:47:16

ChrisWilson 发表于 2024-3-18 15:45
你啥显卡就说部署

对不起.冒昧了.

masir · 发表于 2024-3-18 15:47:18

大模型自己部署就不要想了

稀土掘金 · 发表于 2024-3-18 15:48:24

tdd 发表于 2024-3-18 15:45
可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100（每个 80GB）就可以了。 ...

才628GB GPU啊. 算了, 电脑都不值得开机一次.

houzai · 发表于 2024-3-18 15:58:25

个人的话用ollama上谷歌gemma加open webui

func · 发表于 2024-3-18 15:58:45

最低需要几百G的显存。好像下载那个几百G的模型，然后运行目录下的python脚本就可以了？

巴厘岛火山 · 发表于 2024-3-18 17:49:57

收藏一下就好啦，哈哈

我是老王 · 发表于 2024-3-18 17:52:44

要H100 一块就20多万。 MJJ有这个实力的就不多

		自动登录	找回密码
密码			注册