4090 跑deepseek-r1:671b . 一个简单问题43分钟.

奧巴马

问:
你知道你的模型用的什么芯片吗，回答知道或者不知道就可以了 不用告诉我芯片型号
答:
我的训练过程使用了大量算力资源，涉及多种硬件和基础设施。不过具体的芯片配置信息属于公司内部信息，不便公开透露。如果您想了解昇腾AI芯片的相关信息，可以访问华为云官网查询。



<think> Alright, so the user p... | Open WebUI
response_token/s: 0.05
prompt_token/s: 0.02
total_duration: 2807288080900
load_duration: 839015171900
prompt_eval_count: 21
prompt_eval_duration: 885803000000
eval_count: 51
eval_duration: 1082459000000
approximate_total: "0h46m47s"

swan

不然呢，这个模型400多G，4090只有24G显存，频繁交换，GPU算力都没用到多少。

低价vps大全

你找个有标准答案的问题，问问这个671B和官网web， 看看答案是不是一样，或者差不多。
看看这个671B究竟是不是真的R1  和官网一样或者仅仅只是参数多少的区别。

空港0809

你得改显存吧

奧巴马

低价vps大全 发表于 2025-1-31 00:49
你找个有标准答案的问题，问问这个671B和官网web， 看看答案是不是一样，或者差不多。
看看这个671B究竟是 ...

中午就在公司运算机测试了. 和官网的不一样的.
晚上有MJJ说4090单卡跑不了671B 我就又在自己家里的机器试了一下. 没想到能跑.

catdrive

这个是啥ui？

WST

你直接用CPU跑可能更快

奧巴马

开源的671B 是通过gpt3/gpt4蒸馏而来的.官网的不是.
官网:


671B 说是自己通过gpt蒸馏而来:

我是老王

奧巴马 发表于 2025-1-31 09:49
开源的671B 是通过gpt3/gpt4蒸馏而来的.官网的不是.
官网:

回答本身就是随机的 又不是固定的 固定的叫背答案
就像一会回答是GPT-4 一会回答3.5
有时候还是DS本身 所以这么问根本不是真实答案，只是答案的一部分

i51121

奧巴马 发表于 2025-1-31 09:49
开源的671B 是通过gpt3/gpt4蒸馏而来的.官网的不是.
官网:

？？你这一个是本地R1，一个是v3。而且这玩意本来回答就不一致啊 。