用了4年本地模型,他说现在终于好用了:在M2老Mac上跑Agent,达到前沿75%
阅阅界编辑部3阅读2分钟
本地模型,4 年前是玩具,今年 6 月,有人说它终于能干活了。作者 Vicki Boykis,博客 HN 1596 分。她的设备你肯定有共鸣:2022 年的 M2 Mac,64G 内存。测完结论:最新的 Google Gemma 4 本地跑 agent 循环,能达到前沿模型 75% 的效果,这在去年想都不敢想。
转折点有两个。第一个是 GPT-OSS:第一个让她明显减少拿 API 模型二次核对的本地模型。第二个就是 Gemma 4,她现在的默认本地模型是 gemma-4-26b-a4b,跑在 LM Studio 里。实测战绩:把一个 Python 笔记本重构成 5、6 个模块的仓库,泛型类型注解自动打好;顺手校对博客、写单测;甚至从零搭了个推荐系统的双塔模型脚手架,扔给 agent 自己发挥。
她还干了件有意思的事:让 Pi 去翻自己过去的 LM Studio 日志,统计自己到底拿本地模型干了啥。等于用 AI 审计自己的 AI 使用习惯,这操作本身就很 agent。
给国内用户的建议:M 系 Mac、大内存 Windows,一律先装 LM Studio 或 Ollama,再下个 Gemma 或 Qwen 的本地版。注意她把 agent 全关在 Docker 里跑,限制执行权限——本地跑代码不做沙箱,等于裸奔。先从校对、单测、重构这种低风险活开始,尝到甜头再上生产。
来源|Vicki Boykis 博客,HN 1596 分,https://vickiboykis.com/2026/06/15/running-local-models-is-good-now/
本文所属专栏
AI 在本地跑大模型装进自己电脑:部署、实测与避坑,连载中。
评论(0)
暂无评论,来抢第一条。