越狱PS5可原生运行本地大模型

IT时代网10月16日消息,一名 Reddit 用户在社区公布了其对 PS5LM 的分支版本,这个 llama.cpp 的 PS5 移植项目由此可以原生运行在主机上,并调用 GPU 资源运行体积更大的模型。

按照发布者的说法,该版本可让 Qwen3.8-27B 这类模型在 PS5 上达到每秒20个 token 的生成速度。这一移植路线此前由另一位 GitHub 用户 cobanov 提出,其版本通过以 CPU 载荷方式运行 llama.cpp 实现,本质上是劫持 CPU,把大模型注入主界面和系统服务同处的指令空间,内存访问因此被限制在约6.25GiB,超过会导致主界面冻结。cobanov 的目标只是尽快让 llama.cpp 跑起来,后续才希望调用 GPU 支持更大模型。

新分支采用原生方式运行,突破了这部分限制,释放出更多可用内存与 GPU 算力,生成速度也随之提升到每秒100个 token 以上。

目前 PS5 主机仍未提供原生的大模型运行能力,相关方案都需要先对主机进行越狱操作。

注:本文配图由AI生成,文中包含AI辅助创作的内容。

编辑:张智超

THE END