最低成本部署清华ChatGLM语言模型开启ChatGPT私有化时代

sharp097

鸡不择食 发表于 2023-3-24 14:46
6啊

一般般哈~

sharp097

yingaoyun 发表于 2023-3-24 14:48
据说纯CPU跑交互巨慢，用8G显存基本对话两三轮就爆了，即便12G显存也对不了几轮，如果用全精度的模型官方指 ...

确实，我上面的demo中的那几首唐诗的推理竟然花了十几分钟，确实有点慢~

bbblucky

sharp097 发表于 2023-3-24 14:56
确实，我上面的demo中的那几首唐诗的推理竟然花了十几分钟，确实有点慢~

斯坦福开源的似乎可以自己喂料训练呢

sharp097

腾讯云返佣 发表于 2023-3-24 14:49
这个写程序怎么样？

这个我还没来得及试，你可以部署试试看哈~

6fyC8r

感谢大佬分享


硬件大佬可以上了

sharp097

bbblucky 发表于 2023-3-24 14:58
斯坦福开源的似乎可以自己喂料训练呢

清华的我看issue里面也有人问了，官方也提到了一些自己训练要用到的工具，暂时还没来得及研究哈~

sharp097

6fyC8r 发表于 2023-3-24 14:58
感谢大佬分享

希望有大佬能赞助我一个英伟达v100玩玩