Prompt Engineering 篇难度 3⏱ 12 分钟概念
01提示词版本管理（Prompt Versioning）
像管理代码一样管理提示词的版本、环境和发布，保证线上可追溯、可回滚
提示词版本管理Prompt Versioning版本控制环境隔离LLMOps
更新于 2026-03-26prompt-versioning
通过组合图像、文本等多种信息形式来引导多模态模型完成视觉理解与推理任务的提示技术
内容摘要
Multimodal Prompting（多模态提示）是一种面向多模态大语言模型（Multimodal LLM，即同时能处理图像、文本等多种输入的大模型）的提示设计技术。它的核心思路是：在提示词中同时使用图像和文本两种信息，通过精心安排图像位置、编写结构化文本指令、在图上添加视觉标记等手段，引导模型更准确地"看懂"图片并完成分析推理。
Multimodal Prompting（多模态提示）是一种面向多模态大语言模型（Multimodal LLM，即同时能处理图像、文本等多种输入的大模型）的提示设计技术。它的核心思路是：在提示词中同时使用图像和文本两种信息，通过精心安排图像位置、编写结构化文本指令、在图上添加视觉标记等手段，引导模型更准确地"看懂"图片并完成分析推理。
在多模态提示出现之前，让 AI 分析图像主要靠两条路：一是专门训练的计算机视觉模型，只能做预设好的任务（比如分类、检测），灵活性差；二是先用 OCR 或图像描述模型把图转成文字，再交给语言模型处理，信息损失严重。2023 年 GPT-4V 发布后，大语言模型第一次具备了直接"看图说话"的能力，但人们很快发现：同样一张图，提示词写法不同，模型的分析质量天差地别。多模态提示正是为解决"怎么和视觉模型高效沟通"这个问题而发展起来的一套方法论。
在 Agent 系统中，多模态提示的应用越来越广：Agent 需要理解用户上传的截图来执行操作（Computer Use，计算机操作）、需要分析文档中的表格和图表来提取数据、需要识别产品图片来做质量检测——这些场景都离不开精心设计的多模态提示。
多模态提示的效果取决于四个核心要素的配合：
| 要素 | 作用 | 关键考量 |
|---|---|---|
| 图像位置（Image Placement） | 决定图像在提示中的摆放顺序 | 图像前置（先图后文）通常效果最好 |
| 文本指令结构（Text Instruction） | 用分层、具体的文字引导模型分析方向 | 具体任务指令远优于"描述这张图" |
| 视觉标记（Visual Marking） | 在图上添加数字、边框等标注来指向关键区域 | 标记要有针对性，过多反而干扰 |
| 上下文补充（Context） | 提供背景知识、输出格式要求等额外信息 | 领域知识能显著提升专业任务准确率 |
图像在提示中的位置会显著影响模型理解效果。根据 Anthropic 和 Microsoft 的官方文档，图像前置（即先放图片，再写文字指令）通常效果最好。原理类似于文本提示中"长文档放在查询前面"的最佳实践——模型先建立对图像内容的理解，再根据后续文字指令聚焦到具体任务上。
处理多张图像时，应为每张图显式编号（如"图 1：""图 2："），并在文字指令中用编号引用，避免模型搞混不同图片。
有效的文本指令通常采用三层结构：
模糊的指令（如"看看这张图"）会导致模型输出宽泛且不可控；具体的指令能让模型的注意力集中在你真正关心的部分。
Visual Prompting（视觉提示）是指在送入模型之前，先在图像上添加可视化标记来引导模型注意力。最有代表性的方法是 Microsoft 提出的 Set-of-Mark（SoM）Prompting：用分割模型（如 SAM）把图像切成多个区域，然后在每个区域上覆盖数字标签或彩色边框，再把标记后的图像和文字指令一起送给模型。
实验表明，SoM 在零样本设置下就能超越经过完整微调的专用模型在视觉定位任务上的表现。
补充领域背景能显著提升模型的推理质量。告诉模型"这是一张工业产品的质检照片，需要检查表面划痕"比单纯说"分析这张图片"更有效。上下文还包括：参考图像（如正常产品和缺陷产品的对比图）、任务中的领域术语解释、以及模型应该做出的假设。
多模态提示的工作机制可以分为三步理解：
第 1 步：多模态编码。 模型内部有两个编码器：视觉编码器（Vision Encoder）把图像转换成一组向量表示（可以理解为"模型眼中的图像特征"），文本编码器把提示文字转换成语义向量。两组向量进入同一个向量空间，模型就能同时"看到"图片和"读到"文字。
第 2 步：跨模态融合。 模型通过注意力机制（Attention）在视觉向量和文本向量之间建立关联。文本指令中提到"左上角的红色区域"，模型就会把注意力集中到图像对应位置的视觉特征上。这就是为什么具体的文字描述比模糊的指令效果好——具体描述能更精确地引导注意力。
第 3 步：推理与输出。 融合后的信息进入解码器，模型按照文本指令中定义的任务和格式要求生成最终输出。如果提示中包含 Chain-of-Thought（链式思维）指令（如"请逐步分析"），模型会先输出推理过程，再给出结论，这能显著减少幻觉。
多模态提示的本质是：通过精心设计的文本指令和视觉标记来操纵模型的注意力分配，让模型把计算资源集中在你关心的图像区域和分析维度上。
图中的关键流转在"跨模态注意力融合"节点：文本指令的具体程度直接决定了视觉特征被关注的精确度。如果文本只说"看看这张图"，注意力会分散到整张图像；如果文本说"检查图像右下角标记 3 处的裂纹"，注意力会精准聚焦到对应区域。视觉标记（左侧输入）通过修改图像本身来进一步强化这种聚焦效果。
以下示例展示多模态提示的核心结构——如何将图像和分层文本指令组合送入 API。
# 基于 anthropic>=0.25.0 验证（截至 2026-03）
import anthropic
client = anthropic.Anthropic() # 需设置 ANTHROPIC_API_KEY 环境变量
# 使用可公开访问的图片 URL，避免示例依赖本地文件
image_url = "https://images.unsplash.com/photo-1518770660439-4636190af475?auto=format&fit=crop&w=1200&q=80"
# 多模态提示的核心结构：图像在前，分层文本指令在后
message = client.messages.create(
model="claude-sonnet-4-20250514",
max_tokens=1024,
messages=[{
"role": "user",
"content": [
# 第一部分：图像（前置）
{
"type": "image",
"source": {
"type": "url",
"url": image_url,
},
},
# 第二部分：分层文本指令
{
"type": "text",
"text": (
"你是一名产品质检专家。这是一张电路板的质检照片。\n\n"
"请按以下步骤分析：\n"
"1. 整体外观：焊点是否均匀，有无明显歪斜\n"
"2. 缺陷检测：逐区域检查是否有虚焊、短路、元器件缺失\n"
"3. 给出结论：合格/不合格，附原因\n\n"
"输出格式：JSON，包含 overall_status、defects（数组）、conclusion 字段"
)
}
],
}],
)
print(message.content[0].text)
上述代码展示了多模态提示的三个核心要素：图像前置、角色上下文（"产品质检专家"）、分层任务指令（三步分析 + 输出格式约束）。content 列表中图像排在文本之前，对应"图像前置"原则。
| 概念 | 与多模态提示的区别 | 更适合关注的重点 |
|---|---|---|
| Visual Prompting（视觉提示） | 专指在图像上添加标记（边框、数字等）的技术，是多模态提示的子集 | 关注如何通过修改图像本身来引导模型注意力 |
| Multimodal RAG（多模态检索增强生成） | 关注如何检索相关图文信息来增强生成，多模态提示关注如何设计单次提示 | 关注检索策略和多模态索引构建 |
| Image Captioning（图像描述） | 是一种具体任务（让模型描述图片内容），多模态提示是完成该任务的方法 | 关注描述的质量评估标准 |
| Prompt Tuning for VLM（视觉语言模型的提示调优） | 通过训练学习可微的提示向量，修改了模型参数；多模态提示不改参数 | 关注参数高效微调方法 |
核心区别：
| 常见误区 | 正确理解 |
|---|---|
| "把图片丢给模型就行，它能自动找到重点" | 模型的注意力由文本指令和视觉标记共同引导。不指定关注点，模型会给出泛泛的描述，遗漏你真正关心的细节。 |
| "图片放在提示的哪个位置都无所谓" | Anthropic 和 Microsoft 的官方文档都建议图像前置（先图后文）。图像放在文本之后时效果通常会下降，尤其是单图场景。 |
| "在图上标记越多越好，模型能看得更仔细" | 过多的标记会导致图像杂乱，反而干扰模型的视觉识别。标记应有针对性，只标注真正需要分析的关键区域。 |
| "多模态提示能替代专业视觉模型" | 多模态提示的优势是灵活性和零样本泛化，但在精度要求极高的专业场景（如医学影像精确测量），仍然需要经过微调的专用模型。 |
参考答案：
图像前置的依据是：模型先处理图像建立视觉理解，再根据后续文字指令聚焦到具体任务，两者的对齐效果更好。这和文本提示中"长文档放在查询前面"是同一个道理。不遵守的情况：当需要多轮交互、在对话中途插入新图像时，图像自然会出现在之前文本的后面，此时模型仍能正常处理。Anthropic 的文档也指出，图像放在文本后面"仍然表现良好"，只是前置效果更优。
参考答案：
SoM 的优势：(1) 通过数字标签建立了明确的"标记-描述"对应关系，消除了空间描述的歧义；(2) 对于模型空间推理能力弱的情况仍然有效；(3) 研究表明零样本效果可超越微调模型。SoM 的劣势：(1) 需要额外的图像处理步骤（分割 + 标注），增加了流程复杂度；(2) 标记本身会遮挡图像内容；(3) 需要预先知道哪些区域值得标注。文本描述的优势是简单直接、不修改原图，但依赖模型的空间理解能力，在复杂场景下容易产生定位偏差。
参考答案：
(1) 采用两阶段策略：第一阶段用一个通用多模态提示让模型识别商品类别；第二阶段根据类别选择对应的专用提示模板（服装关注材质、版型、搭配场景，电子产品关注参数、接口、外观做工，食品关注配料、包装、保质期）。(2) 在系统提示中定义统一的描述模板和风格规范（字数、语气、必填字段），用 Few-Shot 给出 2-3 个标准描述示例。(3) 减少幻觉的三个手段：要求模型只描述图中可见的内容、使用"先观察再总结"的链式推理提示、在输出格式中增加 confidence 字段让模型自评不确定性。
优先展示同分类且标签更接近的内容，方便继续串联学习。
像管理代码一样管理提示词的版本、环境和发布，保证线上可追溯、可回滚
用科学的指标体系和对比实验方法量化提示词质量的完整评估方法论
通过结构化提示词策略引导 LLM 生成高质量、可运行的代码