文本切分不是越小越好Chunk文本塊大小對(duì) RAG 的影響系列從零構(gòu)建企業(yè) RAG 知識(shí)庫(kù)第 6 篇1. Chunk 是檢索與生成之間的接口文檔太長(zhǎng)無(wú)法作為一個(gè)檢索單元切得太碎又會(huì)丟失語(yǔ)義關(guān)系。Chunk 同時(shí)影響召回查詢能否匹配到正確片段精度片段中有多少無(wú)關(guān)信息上下文答案需要的條件是否完整成本Embedding 數(shù)量與生成 Token溯源引用能否定位到有意義的段落。所以不存在適用于所有文檔的“最佳 500 字”。合適大小由文檔結(jié)構(gòu)、問(wèn)題粒度、目標(biāo)模型 Tokenizer 和評(píng)測(cè)集共同決定。2. 字符數(shù)不等于 Token 數(shù)中文、英文、代碼和表格的 Token 比例不同。生產(chǎn)系統(tǒng)應(yīng)使用目標(biāo) Embedding/生成模型對(duì)應(yīng)的 Tokenizer 計(jì)算預(yù)算。本文為保持純 Python 可運(yùn)行使用字符上限演示算法不能把該字符數(shù)稱為真實(shí) Token。3. 優(yōu)先按語(yǔ)義邊界切分fromdataclassesimportdataclassimportredataclass(frozenTrue)classSection:heading:strtext:strsource_position:intdataclass(frozenTrue)classTextChunk:chunk_id:strheading:strtext:strstart_position:intend_position:intdefsplit_sentences(text:str)-list[str]:保留句末標(biāo)點(diǎn)避免切分后原文無(wú)法引用。partsre.split(r(?[。!?;]),text)return[item.strip()foriteminpartsifitem.strip()]標(biāo)題、段落、句子、列表、代碼塊和表格行都是自然邊界。只有單個(gè)語(yǔ)義單元超過(guò)上限時(shí)才考慮硬切。4. 句子打包算法fromhashlibimportsha256defchunk_section(section:Section,max_chars:int300,overlap_sentences:int1,)-list[TextChunk]:ifmax_chars20:raiseValueError(max_chars 不能小于 20)ifnot0overlap_sentences3:raiseValueError(overlap_sentences 必須在 0 到 3 之間)sentencessplit_sentences(section.text)ifnotsentences:return[]groups:list[list[str]][]current:list[str][]forsentenceinsentences:iflen(sentence)max_chars:raiseValueError(單句超過(guò)上限應(yīng)進(jìn)入長(zhǎng)句專項(xiàng)切分)proposed.join(current[sentence])ifcurrentandlen(proposed)max_chars:groups.append(current)overlapcurrent[-overlap_sentences:]ifoverlap_sentenceselse[]currentlist(overlap)current.append(sentence)ifcurrent:groups.append(current)chunks:list[TextChunk][]cursorsection.source_positionforindex,groupinenumerate(groups):text.join(group)chunk_idsha256(f{section.heading}:{index}:{text}.encode(utf-8)).hexdigest()[:16]chunks.append(TextChunk(chunk_idchunk_id,headingsection.heading,texttext,start_positioncursor,end_positioncursorlen(text),))# 有重疊時(shí)位置是近似值精確實(shí)現(xiàn)應(yīng)保留原句 offsetcursorlen(text)returnchunksOverlap重疊幫助保留邊界上下文但會(huì)重復(fù)索引、增加存儲(chǔ)并產(chǎn)生近重復(fù)召回。應(yīng)通過(guò)評(píng)測(cè)選擇而不是默認(rèn)越大越好。5. 表格和代碼不能照搬段落策略表格問(wèn)題常依賴表頭與某一行應(yīng)讓每個(gè) Chunk 攜帶表名、表頭和行定位。代碼應(yīng)以函數(shù)、類或語(yǔ)法樹(shù)節(jié)點(diǎn)切分避免把函數(shù)簽名與函數(shù)體拆開(kāi)。合同與制度則適合保留章節(jié)路徑退款制度 / 第二章 / 第三條 / 適用條件將標(biāo)題路徑附在 Chunk 文本或元數(shù)據(jù)中通常比單純擴(kuò)大 Chunk 更有效。6. 用實(shí)驗(yàn)選擇大小fromdataclassesimportdataclassdataclass(frozenTrue)classChunkExperiment:strategy:strmax_size:intoverlap:intrecall_at_5:floatprecision_at_5:floatavg_context_size:floatdefchoose_experiment(results:list[ChunkExperiment])-ChunkExperiment:ifnotresults:raiseValueError(實(shí)驗(yàn)結(jié)果不能為空)# 示例約束先保證召回再在候選中選擇更少上下文的方案eligible[itemforiteminresultsifitem.recall_at_50.90]ifnoteligible:raiseValueError(沒(méi)有方案達(dá)到召回門(mén)檻)returnmax(eligible,keylambdaitem:(item.precision_at_5,-item.avg_context_size),)閾值僅是教學(xué)示例。真實(shí)實(shí)驗(yàn)應(yīng)固定文檔版本、Embedding、查詢集和檢索參數(shù)。7. 可復(fù)驗(yàn)測(cè)試deftest_chunk_size_and_overlap()-None:sectionSection(退款制度,第一條說(shuō)明適用范圍。第二條說(shuō)明申請(qǐng)材料。第三條說(shuō)明審核流程。,0,)chunkschunk_section(section,max_chars25,overlap_sentences1)assertlen(chunks)2assertall(len(item.text)25foriteminchunks)# 相鄰塊共享一個(gè)句子assertsplit_sentences(chunks[0].text)[-1]inchunks[1].textdeftest_oversized_sentence_fails_explicitly()-None:try:chunk_section(Section(標(biāo)題,很*30。,0),max_chars20)exceptValueError:passelse:raiseAssertionError(超長(zhǎng)句不能被靜默處理)8. 對(duì)抗性審查不跨租戶或跨權(quán)限文檔合并 Chunk重疊 Chunk 去重后再交給模型標(biāo)題和權(quán)限元數(shù)據(jù)不能在重新切分時(shí)丟失文檔更新后用策略版本重建索引檢查極長(zhǎng)句、無(wú)標(biāo)點(diǎn)文本、表格和代碼不只看召回率還看上下文噪聲、Token、延遲和引用體驗(yàn)。9. 總結(jié)Chunk 的目標(biāo)是讓“一個(gè)可回答的問(wèn)題”盡量對(duì)應(yīng)“一個(gè)語(yǔ)義完整、噪聲有限、可定位的證據(jù)單元”。大小只是參數(shù)結(jié)構(gòu)感知和可重復(fù)評(píng)測(cè)才是核心。