Apple 全新Harbor 本地AI 工具曝光!可串接多台Mac 运行大型AI 模型


这两年Mac 可说是AI 圈的首选之一,很多人买Mac mini、Mac Studio 不是为了剪片,而是看上它的统一记忆体够大,非常适合跑本地大型语言模型,许多AI 工具也有针对Mac 优化。现在,Apple 也开始加强本地端AI 应用的发展了。

根据最新爆料,Apple 正在测试一款叫Harbor 的Mac App,除了能把单台Mac 变成本地AI 伺服器之外,还支援通过Thunderbolt 5 把多台Mac 串在一起,解决单机记忆体塞不下大模型的问题,可说令人相当期待。

Apple 全新Harbor 本地AI 工具曝光!可串接多台Mac 运行大型AI 模型- 安软网

Apple 新工具Harbor 曝光:多台Mac 串接变身私人AI 伺服器,不用命令列也能跑大型模型

爆料者Aaron Perris 在X 上贴出一款名为Harbor 的Mac App 介绍内容,Harbor 目前是使用Claris 品牌进行私人预览,Claris 是Apple 旗下的软体子公司。

Perris 提到,Harbor 会把用户的Mac 变成私人AI 推论伺服器,可在Apple silicon 直接执行开放权重模型,资料不会离开硬体,也不会传到云端。同时还支援丛集功能,通过Thunderbolt 5 即可连接多台Mac、汇集统一记忆体,就能运行单台电脑跑不动的大型模型,也能承接更多同时涌入的请求:
Apple 全新Harbor 本地AI 工具曝光!可串接多台Mac 运行大型AI 模型- 安软网

举个简单例子:假设你有两台各配备64GB 统一记忆体的Mac,单台只有64GB,但两台合计有128GB 的​​实体记忆体资源。通过Harbor 的丛集功能,就有机会把一个需要100GB 左右的大型模型拆成两半,分别放在两台电脑上执行。

不过这里要特别提醒,这不代表两台Mac 的记忆体会直接变成一台128GB 电脑,也不表示效能一定加倍。每台Mac 都还要保留一部分记忆体给系统本身,模型切开后,两台机器之间也得通过Thunderbolt 5 不停交换资料,这些传输过程都会吃掉一部分效能。 Claris 目前没有公布任何Harbor 的效能数据,实际可用容量和速度都还要等实测。

设置上也很简单,几分钟就能搞定。 Harbor 会通过Thunderbolt 5 自动侦测连上的装置并组成丛集,接上线、按下开始就能运作:
Apple 全新Harbor 本地AI 工具曝光!可串接多台Mac 运行大型AI 模型- 安软网

浏览、下载和载入开放权重模型也都在App 里完成,模型管理交给Harbor 处理,使用者可以把心力放在自己的工作上,而不是花时间架环境:
Apple 全新Harbor 本地AI 工具曝光!可串接多台Mac 运行大型AI 模型- 安软网

丛集需要每台都支援Thunderbolt 5,像是M4 Pro、M4 Max、M3 Ultra,以及M5 Pro Mac mini、Mac Studio 都符合,但新推出的M6 Mac mini 用的是Thunderbolt 4,就没办法加入这种丛集。

Harbor 其实不是第一个名字。 Perris 在回覆网友时确认,这款App 原本叫Fabric,后来才改名。

有些人可能会想,如果未来有Harbor 了,那是不是不需要使用LM Studio 或Ollama?以下是几款知名工具的特色表格

工具主要定位特色多台Mac 串接价格
Harbor本地AI 伺服器与多机丛集Thunderbolt 5 自动组丛集、整合统一记忆体、图形化模型管理支援尚未公布
LM Studio图形化本地AI 工具模型下载、管理、对话,也能开本地伺服器以单机为主免费
Ollama本地AI 模型运行平台命令列与API 起家,开发工具整合多,也有桌面App以单机为主免费开源
Exo开源多装置丛集工具自动侦测装置、支援RDMA over Thunderbolt 5支援免费开源

简单说,LM Studio 和Ollama 的强项都在单台电脑。 LM Studio 介面友善,适合想直接下载模型来聊天的人。 Ollama 则受到开发者喜爱,很多程式工具和AI 代理都能直接接它的API。

如果你只有一台Mac,这两款已经很够用,Harbor 不见得能带来明显差别。

跟Harbor 定位最接近的,其实是开源工具Exo。 Exo 早在macOS 26.2 推出时就支援RDMA over Thunderbolt 5,同样能自动侦测装置、把多台Mac 组成丛集,也提供macOS App。

至于Harbor 什么时候会推出?目前还不知道,9to5Mac 认为Harbor 有机会在未来几周到几个月内公开亮相。

有兴趣的读者,可以到Claris Harbor 官方预览资讯与登记页面留下资料等后续消息。

赞 (0)
Jon FoxJon Fox

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注