27屆大模型崗面試準(zhǔn)備十四多模態(tài)大模型 VLM——從視覺編碼器到多模態(tài)推理的完整鏈路寫在前面上一篇十三我們講長上下文時留了個口子當(dāng)上下文里不只有文字還有圖像時問題又升了一個維度。這一篇就填這個坑——多模態(tài)大模型Vision-Language ModelVLM。你正在準(zhǔn)備華為的多模態(tài) LLM崗位這一篇幾乎就是你的主場題。面試官不會只問VLM 是什么而是會追到圖像怎么變成 token、和文本 token 怎么對齊、訓(xùn)練怎么分階段、多模態(tài)推理到底難在哪。本文按架構(gòu) → 對齊 → 訓(xùn)練 → 推理的順序展開最后給一段可運(yùn)行的多模態(tài)推理代碼用開源 VLM 接口。一、VLM 的主流架構(gòu)三件套幾乎所有主流 VLM 都遵循同一個骨架視覺編碼器Vision Encoder 模態(tài)連接器Connector 語言模型LLM。三者職責(zé)清晰也是面試?yán)镒钤撝v明白的一張圖組件作用常見實(shí)現(xiàn)關(guān)鍵設(shè)計點(diǎn)視覺編碼器把圖像從像素變成語義向量序列CLIP-ViT / SigLIP / EVACLIP凍結(jié)還是微調(diào)、用哪個粒度的 patch模態(tài)連接器把視覺向量翻譯成 LLM 能讀的詞嵌入空間MLP 映射LLaVA / Q-FormerBLIP-2 / Resampler投影維度、是否帶可學(xué)習(xí)查詢語言模型接收交錯的圖文 token做推理與生成LLaMA / Qwen / DeepSeek保持原 LLM 能力不重訓(xùn)為什么是 CLIP-ViT 當(dāng)編碼器CLIP 在海量圖文對上對比學(xué)習(xí)過它的圖像特征天然和文本語義在同一個對齊空間里——這正好給后面的連接器省了大事。ViT 把圖像切成 N×N 個 patch每個 patch 是一個 token所以一張 336×336、patch14 的圖會產(chǎn)生 324 個視覺 token。這正是視覺 token 數(shù)量膨脹的根源也是后面上下文預(yù)算討論的入口呼應(yīng)第十三篇。兩種連接器路線的取舍是高頻追問MLP 映射LLaVA 路線視覺特征直接過兩層線性層投影到 LLM 維度簡單、訓(xùn)練快、效果夠用。代價是視覺 token 數(shù)量不壓縮324 個就 324 個。Q-Former / ResamplerBLIP-2 / Flamingo 路線用一組可學(xué)習(xí) query 通過交叉注意力提煉出固定數(shù)量如 32 個視覺 token。大幅壓縮 token 數(shù)但引入額外參數(shù)和訓(xùn)練復(fù)雜度。一句話總結(jié)連接器本質(zhì)是在 token 數(shù)量與信息保真之間做權(quán)衡。二、模態(tài)對齊怎么讓圖和字說同一種語言LLM 只懂詞嵌入空間圖像特征是另一套坐標(biāo)系。對齊alignment就是把視覺坐標(biāo)映射到語言坐標(biāo)。三種范式早期融合Early Fusion直接把視覺 token 拼到文本 token 序列里一起進(jìn) LLM 自注意力。LLaVA、Qwen-VL、GPT-4V 類都走這條——實(shí)現(xiàn)最直接但視覺 token 多會占上下文又回到第十三篇的預(yù)算問題。交叉注意力融合Cross-AttentionLLM 每層通過 cross-attention 去查視覺特征視覺特征不占自注意力序列。Flamingo 路線。優(yōu)點(diǎn)是不膨脹上下文缺點(diǎn)是改動 LLM 結(jié)構(gòu)、訓(xùn)練重?；旌喜糠謱佑?early、部分層用 cross-attention兼顧兩者。面試加分點(diǎn)能點(diǎn)出位置編碼外推在這里也有作用——圖像 patch token 有自己的一套位置和文本位置怎么交錯排布是各自編號還是統(tǒng)一編號、是否加模態(tài)類型 embedding 區(qū)分圖文是工程細(xì)節(jié)也常被問。三、訓(xùn)練范式三階段流水線VLM 很少從零預(yù)訓(xùn)練主流是在已有 LLM 和視覺編碼器上做縫合 分階段訓(xùn)練因為圖文對齊數(shù)據(jù)貴、算力貴。標(biāo)準(zhǔn)三階段階段訓(xùn)練目標(biāo)解凍參數(shù)數(shù)據(jù)目的階段一特征對齊讓視覺特征匹配 LLM 詞嵌入只訓(xùn)連接器圖文對caption海量建立圖→文映射不動 LLM階段二指令微調(diào)多模態(tài)對話/問答連接器 LLM多模態(tài)指令數(shù)據(jù)學(xué)會按指令看圖作答階段三能力強(qiáng)化復(fù)雜推理/特定能力全量或部分高質(zhì)量/RLHF 數(shù)據(jù)提推理、降幻覺、對齊偏好為什么階段一只解凍連接器因為此時 LLM 的語言能力是寶貴的已有資產(chǎn)用海量但粗的圖文對直接訓(xùn) LLM 容易把語言知識沖掉catastrophic forgetting。先讓連接器把視覺特征塞進(jìn)LLM 能理解的區(qū)間再在階段二用指令數(shù)據(jù)帶 LLM 學(xué)會圖文聯(lián)合推理。這個先對齊后微調(diào)的節(jié)奏值得主動講。四、多模態(tài)推理難在哪這是多模態(tài)崗最容易深挖、也最能體現(xiàn)你水平的環(huán)節(jié)。單模態(tài) LLM 的推理是文本進(jìn)文本出多模態(tài)推理多出三道坎視覺幻覺Visual Hallucination模型看見了圖上沒有的東西——憑文本先驗編造比如把圖里沒有的紅色杯子描述出來。根因是視覺編碼器→LLM 的信息有損且 LLM 的文本先驗太強(qiáng)會腦補(bǔ)。緩解靠高質(zhì)量對齊數(shù)據(jù) 區(qū)域級 grounding讓模型輸出物體邊界框強(qiáng)制它真的看到了。細(xì)粒度感知數(shù)清圖里有幾個物體、讀對圖表里的數(shù)字、區(qū)分左邊第三個——這些對 ViT 的平均池化式表征是難點(diǎn)。高分辨率切片把圖切成多張子圖分別編碼再拼接如 LLaVA-NeXT、InternVL是主流解?？缒B(tài)組合推理需要同時用圖空間關(guān)系和文本提問約束才能答對的題比如把圖里藍(lán)色正方形旁邊的物體數(shù)量告訴我。要求模型在統(tǒng)一空間里做聯(lián)合推理而非各看各的。這里可以主動接回你的研究方向——多模態(tài) RAG/多模態(tài)推理——但注意只講通用方法論檢索增強(qiáng)、多跳推理、跨模態(tài)對齊不展開未公開的具體研究點(diǎn)符合你一貫的保密要求。五、代碼實(shí)戰(zhàn)用開源 VLM 做多模態(tài)推理下面演示兩種調(diào)用方式。第一段用 transformers 直接加載一個開源 VLM如 Qwen2-VL / LLaVA 類做圖文推理第二段展示用 OpenAI 兼容接口傳 base64 圖像的多模態(tài)對話。皆可運(yùn)行需安裝對應(yīng)包第二段注釋掉本地依賴符合無 API 也可說明的原則。# -*- coding: utf-8 -*- 多模態(tài)推理兩種范式本地 transformers / OpenAI 兼容接口可運(yùn)行需依賴 # 范式 A本地 transformers 加載開源 VLM以 Qwen2-VL 風(fēng)格為例 def infer_local(image_path: str, question: str) - str: from transformers import Qwen2VLForConditionalGeneration, AutoProcessor from qwen_vl_utils import process_vision_info import torch model Qwen2VLForConditionalGeneration.from_pretrained( Qwen/Qwen2-VL-7B-Instruct, torch_dtypeauto, device_mapauto ) processor AutoProcessor.from_pretrained(Qwen/Qwen2-VL-7B-Instruct) # 構(gòu)造多模態(tài)消息圖像以本地路徑傳入文本為問題 messages [{ role: user, content: [ {type: image, image: image_path}, {type: text, text: question}, ], }] # 模板化 把圖像轉(zhuǎn)成模型輸入像素/特征 text processor.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) image_inputs, video_inputs process_vision_info(messages) inputs processor(text[text], imagesimage_inputs, videosvideo_inputs, paddingTrue, return_tensorspt).to(model.device) generated model.generate(**inputs, max_new_tokens256) # 去掉輸入部分只取新生成 out_ids generated[0][inputs.input_ids.shape[1]:] return processor.decode(out_ids, skip_special_tokensTrue) # 范式 BOpenAI 兼容接口傳 base64 圖像不依賴本地大模型 def infer_api(base64_image: str, question: str, api_key: str, base_url: str) - str: from openai import OpenAI client OpenAI(api_keyapi_key, base_urlbase_url) resp client.chat.completions.create( modelmultimodal-model, messages[{ role: user, content: [ {type: image_url, image_url: {url: fdata:image/png;base64,{base64_image}}}, {type: text, text: question}, ], }], max_tokens256, ) return resp.choices[0].message.content if __name__ __main__: q 圖里有幾個物體分別是什么顏色 print(問題:, q) print(范式 A本地需安裝 transformers qwen-vl-utils 并下載權(quán)重) print(范式 BAPI需 base_url 指向一個支持多模態(tài)的兼容網(wǎng)關(guān)。)這段代碼把圖像怎么進(jìn)模型講清楚了本地范式是路徑/像素 → processor → 視覺 token → 拼接文本 token → 自回歸生成API 范式則是base64 圖像隨消息體上傳、服務(wù)端完成編碼對齊。面試時被問圖像 token 數(shù)量怎么算你可以接回第一篇的 patch 公式尺寸 / patch_size 的平方。六、高頻面試題與答題要點(diǎn)VLM 和純文本 LLM 的核心區(qū)別—— 多了視覺編碼器和模態(tài)連接器推理時多了視覺 token 的編碼、對齊與融合難點(diǎn)在視覺幻覺和細(xì)粒度感知。為什么 VLM 一般不在第一階段訓(xùn) LLM—— 防災(zāi)難性遺忘先只用海量圖文對把連接器對齊再指令微調(diào)帶 LLM 學(xué)多模態(tài)推理。一張 336×336、patch14 的圖產(chǎn)生多少視覺 token—— (336/14)2 324 個。能現(xiàn)場算這個說明你真懂 ViT 切分。高分辨率圖怎么處理不爆上下文—— 切片tile分別編碼再拼接或 Q-Former 壓縮到固定 query 數(shù)同時配合第十三篇講的前綴緩存與 KV 壓縮。怎么緩解視覺幻覺—— 高質(zhì)量對齊數(shù)據(jù)、區(qū)域 grounding輸出 bbox、高分辨率切片、RLHF 偏好對齊。小結(jié)VLM 的骨架是視覺編碼器 連接器 LLM三件套訓(xùn)練走對齊 → 指令微調(diào) → 強(qiáng)化三階段難點(diǎn)集中在視覺幻覺、細(xì)粒度感知和跨模態(tài)推理。把它和前面講的長上下文視覺 token 占預(yù)算、RAG多模態(tài)檢索增強(qiáng)、Agent帶視覺的具身/文檔 Agent串起來你就有了一條完整的多模態(tài)知識鏈。下一組B 系列我們從 B13 開始把 Agent 的記憶做成帶持久化的版本——讓 Agent 跨會話也不忘事。