范式智能联合睿思智联开源AI部署平台模域

IT时代网10月16日消息,范式智能技术集团有限公司联合北京睿思智联科技有限公司10月16日宣布,一站式生产级AI部署平台模域(ModelSphere)正式上线,该平台已在GitHub开源,面向企业用户免费开源。

该平台把算力管理、模型部署和运行优化整合在统一平台,帮助企业降低部署与运维门槛。平台内置自动弹性扩缩容、PD分离部署、三级KV缓存、高可用负载均衡及服务断流自动续写等企业级能力。

性能方面,平台内置AutoTune智能模型排期策略,以及结合硬件加速能力的自适应负载均衡调度,系统极限吞吐效率较基准大幅提升约285%,性能跃升至原来4倍。

在硬件适配上,该平台融合EngineX推理引擎,可统一和混合调度华为昇腾、天数智芯、摩尔线程、海光DCU等国产算力资源,用户无需为不同芯片重写底层逻辑代码。

模型侧,模域团队已适配优化DeepSeek-V4/V4-Flash、Qwen、Kimi、MiniMax、GLM等主流模型,支持在模型发布后快速部署并完成性能调优。

在技术分工上,模域与vLLM、SGLang等推理引擎互相配合,推理引擎负责提升单台服务器的计算效率,模域负责集群架构级纳管和优化。

该平台采用宽松的Apache 2.0协议全面开源,将大模型部署与优化的工程能力向更多企业和开发者开放。

注:本文配图由AI生成。本文中包含AI辅助创作的内容。

编辑:林一舟

THE END