一夜普及，单显卡已能运行gpt3模型，速度100x

spotlight

项目flexgen：

地址：https://github.com/FMInference/FlexGen 斯坦福 伯克利 meta (FB) 联合发布

标题：Running large language models like OPT-175B/gpt-3 on a single GPU. Up to 100x faster than other offloading systems.

在单个gpu上运行大型语言模型，类似opt-175b/gpt-3，相比其他卸货系统有高达100x速度提升

论文：

地址：https://github.com/FMInference/FlexGen/blob/main/docs/paper.pdf

目测10个联合署名的7个应该是华人

12小时直接2.3k star，什么是国际热度，战术后仰

jackyjack

开源后，我预测国内chatgpt会雨后春笋般出现

ericls

It was on the top of hacker news

spotlight

yy10112001 发表于 2023-2-21 22:45
这是开源给你自己训练吗。。。。
那岂不是玩法很多了。。。。。。。
很多人要失业了啊 ...

难道不是创造了更多可以骗经费的岗位吗？是什么限制了你的想象力？

善良的狼

我还想着等显卡降价呢

gzelvis

一块nVIDIA T4 是什么价格啊。。。。 那不是显卡，那是核弹

yy10112001

这是开源给你自己训练吗。。。。
那岂不是玩法很多了。。。。。。。
很多人要失业了啊

小学生

百度：感谢老铁的开源

riofredinand

真的吗？是不是得买几张50hx屯着？

riofredinand

riofredinand 发表于 2023-2-21 22:56
真的吗？是不是得买几张50hx屯着？

原来要15GB显存 那就是要至少3080TI显卡 不然就要用内存代替 性能会下降 还没搞清楚怎么训练

白小姐

能达到chatgpt网页版智能吗 还是需要自己训练