文本分割工具（Text Splitting Tools）

pip install langchain-text-splitters>=0.3.0

from langchain_text_splitters import RecursiveCharacterTextSplitter

# 模拟一段 Agent 开发文档
document = """
RAG 是检索增强生成的缩写，核心思路是先检索再生成。
系统收到用户问题后，先从知识库中检索相关片段，再把片段和问题一起交给 LLM 生成回答。

RAG 的优势在于：不需要重新训练模型就能让 LLM 获取最新知识。
企业可以把内部文档灌进向量数据库，员工提问时自动检索相关内容。

文本分割是 RAG 的第一步。把文档切成小块后分别做嵌入，
检索时只取最相关的几块喂给模型，既省 token 又提高准确率。

分块大小的选择很关键。太大的块检索不精准，太小的块缺乏上下文。
一般推荐 300-500 个 token，重叠 10%-20%。
""" * 3  # 重复 3 次模拟更长的文本

# 创建递归字符分割器（通用推荐）
splitter = RecursiveCharacterTextSplitter(
    chunk_size=200,       # 每块最多 200 字符
    chunk_overlap=30,     # 相邻块重叠 30 字符
    separators=["\n\n", "\n", "。", " ", ""]  # 中文优化的分割优先级
)

# 执行分割
chunks = splitter.split_text(document)

# 查看结果
print(f"原始文档长度: {len(document)} 字符")
print(f"分割后块数: {len(chunks)}")
print()
for i, chunk in enumerate(chunks[:3]):
    print(f"--- 块 {i+1}（{len(chunk)} 字符）---")
    print(chunk)
    print()

原始文档长度: 918 字符
分割后块数: 7

--- 块 1（198 字符）---
RAG 是检索增强生成的缩写，核心思路是先检索再生成。
系统收到用户问题后，先从知识库中检索相关片段，再把片段和问题一起交给 LLM 生成回答。

RAG 的优势在于：不需要重新训练模型就能让 LLM 获取最新知识

--- 块 2（186 字符）---
企业可以把内部文档灌进向量数据库，员工提问时自动检索相关内容。

文本分割是 RAG 的第一步。把文档切成小块后分别做嵌入，
检索时只取最相关的几块喂给模型，既省 token 又提高准确率

--- 块 3（183 字符）---
分块大小的选择很关键。太大的块检索不精准，太小的块缺乏上下文。
一般推荐 300-500 个 token，重叠 10%-20%。
...

from langchain_text_splitters import MarkdownHeaderTextSplitter

md_doc = """
# Agent 框架概述

Agent 是能自主执行任务的 AI 系统。

## LangChain

LangChain 是最流行的 Agent 开发框架，生态丰富。

### 核心组件

包括 Chain、Agent、Memory、Retriever 四大组件。

## LangGraph

LangGraph 用有向图编排 Agent 流程，支持循环和分支。
"""

# 按标题层级切割，自动保留层级信息作为元数据
md_splitter = MarkdownHeaderTextSplitter(
    headers_to_split_on=[
        ("#", "h1"),
        ("##", "h2"),
        ("###", "h3"),
    ]
)

md_chunks = md_splitter.split_text(md_doc)
for chunk in md_chunks:
    print(f"内容: {chunk.page_content[:40]}...")
    print(f"元数据: {chunk.metadata}")
    print()

内容: Agent 是能自主执行任务的 AI 系统。...
元数据: {'h1': 'Agent 框架概述'}

内容: LangChain 是最流行的 Agent 开发框架，生态丰富。...
元数据: {'h1': 'Agent 框架概述', 'h2': 'LangChain'}

内容: 包括 Chain、Agent、Memory、Retriever 四大组件。...
元数据: {'h1': 'Agent 框架概述', 'h2': 'LangChain', 'h3': '核心组件'}

内容: LangGraph 用有向图编排 Agent 流程，支持循环和分支。...
元数据: {'h1': 'Agent 框架概述', 'h2': 'LangGraph'}