大模型
Step 5 Preview 首发支持 vLLM、SGLang 等平台
StepFun 的 Step 5 Preview 支持通过 vLLM 或 SGLang 提供 OpenAI 兼容 API,也可使用 Transformers 进行离线推理。
StepFun 的 Step 5 Preview 首发支持 vLLM、SGLang 和 Transformers,可通过 vLLM 或 SGLang 提供 OpenAI 兼容 API,并使用 Transformers 进行离线推理。该模型还适配多种芯片平台与推理框架,并获得 NVIDIA 及多家推理平台的 Day-0 支持。