你们的CHATGPT API一般多久反回数据？2分钟算正常吗？

squalll

API 2分钟反回算正常吗？

都这样吗？网页版倒是秒回

以前1分钟多，现在要等待2分钟

你们是不是秒回？我是一个人？


说秒回的确认是API而不是网页吗？怎么都不可能秒回吧

我忘了，问1+1这种肯定是秒回的，我一般是要求1500字（实际回复1000字）



以下转自知乎，看来不是我的问题不知道为啥那些人回复秒回。

最近在做项目的时候发现调用接口的返回内容速度非常慢，所以做了以下两种情况的测试，在不同模型、相同网络环境、请求内容(Prompt)一致的情况得出以下结果：

GPT-3.5-turbo:

Chat接口，690字符，52.8 ± 1秒，平均每秒≈13.068181818181818 字符；
Stream接口，724字符，82.9 ± 1秒，平均每秒≈8.733413751507841 字符
GPT-3.5-turbo-0613：

Chat接口，772字符，15.6 ± 1秒，平均每秒≈49.487179487179487 字符；
Stream接口，320字符，18.7 ± 1秒，平均每秒≈17.112299465240642 字符
GPT-4：

Chat接口，283字符，19.9 ± 1秒，平均每秒≈14.221105527638191 字符；
Stream接口，158字符，14.4 ± 1秒，平均每秒≈10.972222222222222 字符
GPT-4-0613：

Chat接口，707字符，46.4 ± 1秒，平均每秒≈15.237068965517241 字符；
Stream接口，736字符，48 ± 1秒，平均每秒≈15.333333333333333 字符
说实话，这个速度测试效果让我有点惊讶，我们都知道GPT-4-0613是最新大语言模型，但不知道为什么它的速度和GPT-3.5-Turbo差不多，难道它是GPT-3.5-Turbo拼接的？

不过，得出的结果：

如果不需要特别精准的结果或指令可以暂时使用GPT-3.5-turbo-0613；
如果需要高精度回复，可以使用GPT-4-0613 - Chat接口，它比GPT-4更快一些，但效果不是很大；
在Stream接口请求中，只有GPT-4-0613偶尔会快于Chat接口，大部分情况都是慢于Chat接口
注：该测试有可能受各种条件和环境、高峰时段等各类因素影响，测试结果仅供参考

机长

确实越来越慢了

malaohu

语言聊天更慢了，体验效果一般

superEric

开stream模式，秒回

cesihai

我秒回

squalll

superEric 发表于 2023-10-8 12:39
开stream模式，秒回

啥是STEAM模式，网页版？

神秘北极圈

都是秒回的，两分钟肯定不正常

squalll

神秘北极圈 发表于 2023-10-8 13:10
都是秒回的，两分钟肯定不正常

确认是API而不是网页吧？

你的饲养员

1-2秒吧

龙腾宇内

正常情况下都是1-2秒