著名的本地AI推理引擎LM Studio推出了一个iPhone、iPad应用 Locally AI,可以在手机上使用大模型。
不过和 Google AI Edge Gallery APP 不一样,后者是实实在在的在手机本地运行大模型,Locally AI 的做法不一样。
LM Studio 核心技术是 LM Link,你可以在PC、云端使用LM Studio运行大模型,而LM Link则是安全加密连接,可以连接不同端的 LM Studio。
Locally AI 作为设备端可以通过 LM Link 连接远端的 LM Studio 推理引擎,使用上就像本地设备操作一样,聊天记录都保存在手机上。
LM Studio也强调LM Link连接运行在定制的 Tailscale VPN 通道上,能够确保安全性。
悄悄说一下,Google AI Edge Gallery iOS 版本也推出了,可以去体验一下。
相关文章: