背景與需求我有一臺(tái) MacBook Air M3 / 16GB平時(shí)主力使用云端大模型但斷網(wǎng)就抓瞎。因此設(shè)定了三個(gè)核心目標(biāo)斷網(wǎng)可用模型跑在本機(jī)離線也能對(duì)話、寫代碼。OpenAI 兼容 API本機(jī)和局域網(wǎng)設(shè)備都能調(diào)用如 AtomCode、自寫腳本等只需把 base_url 指向本機(jī)服務(wù)即可。平時(shí)零內(nèi)存占用不用時(shí)服務(wù)空載、內(nèi)存壓力保持綠色調(diào)用時(shí)才加載模型用完自動(dòng)釋放。機(jī)器配置芯片Apple M38 核 CPU內(nèi)存16GB 統(tǒng)一內(nèi)存實(shí)際可分配給模型約 12-13GB系統(tǒng)macOS 26.5arm64工具鏈Homebrew 6.x方案選型為什么選擇 ollama最終選擇ollama 0.32.5理由如下一鍵安裝一條命令裝好省去復(fù)雜配置。自帶 OpenAI 兼容端點(diǎn)提供/v1標(biāo)準(zhǔn)接口兼容現(xiàn)有工具鏈。模型懶加載不用不占內(nèi)存符合“零內(nèi)存占用”目標(biāo)。支持局域網(wǎng)監(jiān)聽方便多設(shè)備調(diào)用。通過 Homebrew 安裝時(shí)直連 ghcr.io 下載 bottle 可能很慢建議掛本機(jī)代理如 127.0.0.1:7890實(shí)現(xiàn)秒下。關(guān)鍵配置兩個(gè)決定成敗的環(huán)境變量變量值作用OLLAMA_HOST0.0.0.0:11434監(jiān)聽所有網(wǎng)卡使局域網(wǎng)設(shè)備可訪問OLLAMA_CONTEXT_LENGTH16384上下文窗口大小默認(rèn) 4096 會(huì)拒絕大請(qǐng)求坑1開機(jī)自啟避免環(huán)境變量丟失不推薦使用brew services而是通過自定義 LaunchAgent~/Library/LaunchAgents/com.user.ollama.plist實(shí)現(xiàn)開機(jī)自啟。關(guān)鍵點(diǎn)環(huán)境變量直接寫死在 plist 文件里——因?yàn)橥ㄟ^launchctl setenv設(shè)置的環(huán)境變量重啟后會(huì)丟失坑2。模型清單qwen3:8b5.2GB主力對(duì)話模型中英文表現(xiàn)均衡。deepseek-r1:8b5.2GB深度推理專用。qwen3-chat:8b自建無思考版日常秒回響應(yīng)迅速。nomic-embed-text274MB文本向量化用于 RAG 場(chǎng)景。AI 與代碼 Agent 速查手冊(cè)# 安裝 ollama brew install ollama Base URL 本機(jī): http://localhost:11434/v1 局域網(wǎng): http://Mac-IP:11434/v1 無需 API Key服務(wù)端不校驗(yàn) curl http://localhost:11434/v1/chat/completions -H Content-Type: application/json -d {model:qwen3:8b,messages:[{role:user,content:hi}]} 自啟 plist 路徑: ~/Library/LaunchAgents/com.user.ollama.plist 手動(dòng)啟停腳本: ollama-start / ollama-stop位于 ~/bin已加入 PATH實(shí)戰(zhàn)體驗(yàn)速度、內(nèi)存與選型速度實(shí)測(cè)同一句問候模型耗時(shí)tokens說明qwen3-chat:8b無思考版1.2s~20日常對(duì)話推薦qwen3:8b默認(rèn)思考27.5s100簡(jiǎn)單問題也要先想qwen3:8bAtomCode 內(nèi)12s14.75Kplan 模式輸入自帶約 14K 上下文deepseek-r1:8b3m51s8.99K推理模型多數(shù) token 是思考過程核心結(jié)論模型的思考模式是最大時(shí)間殺手。Qwen3 系列默認(rèn)開啟思考響應(yīng)帶 reasoning 字段對(duì)“今天天氣”也要沉思半分鐘關(guān)閉后同輸入 1.2s快約 22 倍。deepseek-r1:8b 是純推理模型慢是特性不是故障適合留給數(shù)學(xué)、邏輯、代碼深挖。內(nèi)存行為16GB 關(guān)鍵體驗(yàn)ollama 服務(wù)空閑僅占約 34MB內(nèi)存壓力圖保持綠色模型懶加載不調(diào)用不加載調(diào)用時(shí)才載入 5.2GB壓力變黃閑置 5 分鐘自動(dòng)卸載keep_alive 默認(rèn)內(nèi)存自動(dòng)回落結(jié)論服務(wù)可以開機(jī)常駐平時(shí)零負(fù)擔(dān)完美滿足“平時(shí)綠、用時(shí)黃”的需求16GB 選型原則7-8B 模型 Q4 量化約 5GB甜點(diǎn)速度內(nèi)存都舒服14B約 9GB能跑但偏慢16GB 下內(nèi)存緊張32B別想KV 緩存放不下?lián)Q頁(yè)到磁盤慢到?jīng)]法用血淚案例大編輯器 模型 swap 災(zāi)難用 Zed 打開了整個(gè)家目錄占 7GB再調(diào)模型7.7GB16GB 直接爆掉swap 用掉 5.2GB推理從 30 秒被拖到 4 分鐘。跑本地模型前先關(guān)掉大內(nèi)存應(yīng)用這是 16GB 機(jī)器的物理定律。AI 與代碼 Agent 速查續(xù)內(nèi)存壓力變黃 模型加載中正?，F(xiàn)象調(diào)用前關(guān)掉 Zed/瀏覽器等大戶模型閑置 5 分鐘自動(dòng)卸載無需手動(dòng)清理同一時(shí)刻 ollama 只駐留一個(gè)模型切換會(huì)自動(dòng)換載踩坑清單坑 1num_ctx 默認(rèn) 4096大請(qǐng)求直接 400癥狀請(qǐng)求 8688 tokens 報(bào)exceed_context_size_error (n_ctx4096)。原因ollama 服務(wù)端默認(rèn)上下文 4096客戶端沒傳 num_ctx 就按它算。修復(fù)設(shè)OLLAMA_CONTEXT_LENGTH1638416GB 平衡點(diǎn)重啟服務(wù)生效。驗(yàn)證發(fā)一個(gè) 4096 tokens 的請(qǐng)求不再報(bào)錯(cuò)即生效。坑 2launchctl setenv 重啟即丟癥狀重啟后局域網(wǎng)監(jiān)聽、16384 上下文全部失效悄悄退回默認(rèn)。原因setenv是會(huì)話級(jí)環(huán)境變量重啟不保留。修復(fù)環(huán)境變量寫進(jìn) LaunchAgent plist 的EnvironmentVariables字段永久生效?？?3Qwen3 思考模式默認(rèn)開啟癥狀簡(jiǎn)單問題也要 30 秒響應(yīng)帶 reasoning 字段。原因Qwen3 系列默認(rèn)enable_thinkingtrue。修復(fù)Modelfile 的 PARAMETER 不支持enable_thinking/think實(shí)測(cè)報(bào) unknown parameter需復(fù)制原 TEMPLATE把最后一條 user 消息處的 think 開關(guān)分支替換為固定注入/no_think指令再 create 成無思考模型。?? 注意模板結(jié)尾還有一段 range 閉合邏輯漏掉會(huì)報(bào)template error: unexpected EOF。坑 4AtomCode 的 Context window 只是 UI 假設(shè)界面里填 8192/16384 只是客戶端的估算值真正生效的是服務(wù)端num_ctx。兩邊不一致會(huì)誤報(bào)“接近上限”甚至 107% 超量顯示實(shí)際請(qǐng)求能跑通。改配置時(shí)服務(wù)端為準(zhǔn)?？?5embedding 模型不能 chatnomic-embed-text 走對(duì)話接口報(bào)does not support chat。向量模型只認(rèn)/v1/embeddings返回 768 維向量別在聊天界面里選它。AI 與代碼 Agent 速查續(xù)# 驗(yàn)證上下文生效發(fā) 4096 token 請(qǐng)求不報(bào)錯(cuò)即 OK curl http://localhost:11434/v1/chat/completions \ -d {model:qwen3:8b,messages:[{role:user,content:大段文本}]} 查當(dāng)前已加載模型與駐留情況 curl http://localhost:11434/api/ps 向量化embedding 模型專用 curl http://localhost:11434/v1/embeddings -d {model:nomic-embed-text,input:要向量化的文本}