当你使用像 ChatGPT 这样的 AI 模型时，它实际上是在云端运行的，而不是在你的手机或笔记本电脑上运行。但高通似乎急于改变这一现状。该公司宣布，OpenAI 的首个开源推理模型——名字不太顺口的“gpt-oss-20b”——现在已经可以直接在搭载骁龙芯片的设备上运行了。
在一份新闻稿中，高通表示，这是 OpenAI 首次将其模型用于设备端运行。此前，该公司的最先进模型只能运行在强大的云端基础设施上，但借助高通的 AI 引擎和 AI 堆栈，这个拥有 200 亿参数的模型已被成功地在本地设备上进行测试。不过，这并不意味着你的手机已经可以胜任运行它了。
我们相信，设备端 AI 的能力将会迅速提升，从而开启隐私保护强、延迟低且个性化的智能体验之门。
——高通
尽管提到了骁龙设备，但这项技术目前还不是面向智能手机的。该模型仍然非常庞大，需要 24GB 的内存，高通的整合工作似乎主要针对的是开发者级平台，而不是你口袋里的芯片。它更多是面向搭载骁龙芯片的个人电脑，而不是为你的安卓设备进行简单的 AI 升级。
尽管如此，高通仍称这是一项具有里程碑意义的突破，未来在隐私保护、运行速度和个性化体验等方面具有巨大潜力。由于一切操作都在本地设备上进行，无需将数据发送到其他地方，诸如推理或助手类交互等任务可以实现更快的处理速度，甚至支持离线运行。
虽然 OpenAI 目前的目标用户是开发者，但如果未来实现规模化应用，这项技术可能会影响你 Snapdragon 手机上 AI 工具的表现。比如，在网络不佳的情况下仍能实现快速响应，不再卡顿。同时，这也可能为未来依赖本地 AI 运算、又不牺牲隐私的应用程序打开大门。
开发者现在可以通过 Hugging Face 和 Ollama 等平台访问该模型，高通表示，更多的部署信息将很快在其 AI Hub 上发布。