Thinking Machines开源Inkling 2 Mini可跑进笔记本
IT时代网11月21日消息,Thinking Machines Lab发布开源权重模型Inkling 2 Mini,总参数26.4B、激活参数3.4B,内存占用约20GB,可在内存32GB以上的Mac上通过Ollama本地运行。
这款模型采用循环Transformer架构:全部24层分为4个block,中间两个block的12层对每个token循环运行3次,用更少的参数换取更强的推理表现。官方实验显示,循环中间12层在28项评估中的27项上优于循环最后12层。
成绩单上,Inkling 2 Mini在DeepSWE v1.1拿到48.2%,SWE-bench Verified拿到79.2%,ARC-AGI v2拿到49.3%,官方称其在总参数不足100B的开放权重模型中全面领先,尤其擅长长程智能体编码任务。模型权重大部分以NVFP4精度训练并原生部署,也适配NVIDIA DGX Spark桌面AI计算机。
权重已上架Hugging Face,同时提供研究用的变循环变体;推理侧兼容llama.cpp、vLLM、SGLang、Unsloth等框架,Tinker平台支持微调。官方在MacBook Pro(M5 Pro、48GB内存)上完成了飞行模式下离线运行的演示。

注:本文配图由AI生成,文中包含AI辅助创作的内容。
编辑:林一舟