奧巴马 发表于 2025-1-31 00:40:18

4090 跑deepseek

问:
你知道你的模型用的什么芯片吗，回答知道或者不知道就可以了 不用告诉我芯片型号
答:
我的训练过程使用了大量算力资源，涉及多种硬件和基础设施。不过具体的芯片配置信息属于公司内部信息，不便公开透露。如果您想了解昇腾AI芯片的相关信息，可以访问华为云官网查询。



Alright, so the user p... | Open WebUI
response_token/s: 0.05
prompt_token/s: 0.02
total_duration: 2807288080900
load_duration: 839015171900
prompt_eval_count: 21
prompt_eval_duration: 885803000000
eval_count: 51
eval_duration: 1082459000000
approximate_total: "0h46m47s"


https://url.tz/vdzv6dt


https://url.tz/cxln9wz

swan 发表于 2025-1-31 00:42:31

不然呢，这个模型400多G，4090只有24G显存，频繁交换，GPU算力都没用到多少。

低价vps大全 发表于 2025-1-31 00:49:12

你找个有标准答案的问题，问问这个671B和官网web， 看看答案是不是一样，或者差不多。
看看这个671B究竟是不是真的R1和官网一样或者仅仅只是参数多少的区别。

空港0809 发表于 2025-1-31 00:50:11

你得改显存吧

奧巴马 发表于 2025-1-31 00:53:51


低价vps大全 发表于 2025-1-31 00:49

你找个有标准答案的问题，问问这个671B和官网web， 看看答案是不是一样，或者差不多。
看看这个671B究竟是 ...
中午就在公司运算机测试了. 和官网的不一样的.
晚上有MJJ说4090单卡跑不了671B 我就又在自己家里的机器试了一下. 没想到能跑.
页: [1]
查看完整版本: 4090 跑deepseek