微软Win11 AI框架实验支持GGUF本地推理

IT时代网10月9日消息，微软正在升级Windows 11的本地AI推理框架Windows ML，与llama.cpp和GGUF开源社区合作，实验性原生支持GGUF与ONNX两类模型格式，并推出Windows ML Runtime API。相关进展在Windows与Surface十月活动上作了介绍。

Windows ML面向Windows 11的设备端AI推理场景，开发者可在本地运行AI模型，构建文本生成、语音识别等应用，减少对特定硬件优化的依赖。通过llama.cpp的实验性集成，开发者现可从开源平台导入GGUF模型并直接在本地运行，微软还携手英伟达向llama.cpp及相关性能优化贡献代码。

新的实验性Windows原生推理路径正式名称为Windows ML Runtime API，官方称其具备更高性能、更深的系统集成与更细粒度的控制能力。GGUF是本地运行大语言模型的常用模型文件格式，ONNX则是跨框架、跨硬件迁移AI模型的开放交换格式，两者此前多依赖第三方工具链加载。

配套接口方面，微软同步推出Text Generation API与Speech Recognition API，开发者可基于这两组接口在Windows应用中集成文本生成与语音识别能力，具体推送节奏以官方后续发布为准。

注：本文综合自IT之家等，文中包含AI辅助创作的内容。

编辑：林一舟