Cloudflare推出Workers AI开放公测

rem

Workers AI 提供了一个 AI 推理模型目录，您可以从 Worker 或通过 REST API 访问此目录
Workers AI 目前为开放 Beta 版，不建议用于生产数据和流量，限制 + 访问可能会发生变化

官方提供几个示例模板：
语音转文本应用 图像分类 文本分类 矢量嵌入应用 翻译应用

在公开测试期间，存在以下限制：

每分钟的推理请求数（每个模型）
@cf/meta/llama-2-7b-chat-int8 - 50 请求/分钟
@cf/openai/whisper - 4000 请求/分钟
@cf/meta/m2m100-1.2b - 4000 请求/分钟
@cf/huggingface/distillbert-sst-2-int8 - 6000 请求/分钟
@cf/microsoft/resnet-50 - 6000 请求/分钟
@cf/baai/bge-base-en-v1.5 - 6000 请求/分钟

Other Limits 其他限制
@cf/meta/llama-2-7b-chat-int8（最大令牌）- 768 个输入/256 个输出
@cf/meta/m2m100-1.2b（最大令牌）- 256 个输出

YorkZhao

全是meta的，还不是因为开源买了一堆显卡部署的玩意