Embedding 模型（嵌入模型）

pip install sentence-transformers==3.4.1 numpy==1.26.4

pip install openai==1.66.3

# 基于 sentence-transformers==3.4.1 验证（截至 2026-03）

from sentence_transformers import SentenceTransformer
import numpy as np

# 1. 加载模型（首次运行会自动下载，约 80MB）
model = SentenceTransformer("BAAI/bge-small-zh-v1.5")

# 2. 准备文本
documents = [
    "Python 是一种简洁易读的编程语言",
    "深度学习通过神经网络提取特征",
    "今天天气真不错，适合出去散步",
]
query = "什么是深度学习？"

# 3. 向量化
doc_vectors = model.encode(documents)
query_vector = model.encode([query])

print(f"文档向量形状: {doc_vectors.shape}")  # (3, 512)
print(f"查询向量形状: {query_vector.shape}")  # (1, 512)

# 4. 计算余弦相似度
def cosine_similarity(a, b):
    """计算余弦相似度"""
    a_norm = a / np.linalg.norm(a, axis=1, keepdims=True)
    b_norm = b / np.linalg.norm(b, axis=1, keepdims=True)
    return a_norm @ b_norm.T

similarities = cosine_similarity(query_vector, doc_vectors)[0]

# 5. 按相似度排序，输出检索结果
for idx in np.argsort(similarities)[::-1]:
    print(f"相似度: {similarities[idx]:.4f} | {documents[idx]}")

文档向量形状: (3, 512)
查询向量形状: (1, 512)
相似度: 0.8634 | 深度学习通过神经网络提取特征
相似度: 0.5821 | Python 是一种简洁易读的编程语言
相似度: 0.1247 | 今天天气真不错，适合出去散步

# 基于 openai==1.66.3 验证（截至 2026-03）

import os
from openai import OpenAI

client = OpenAI(api_key=os.getenv("OPENAI_API_KEY"))

texts = ["人工智能改变了世界", "AI is transforming the world"]

response = client.embeddings.create(
    input=texts,
    model="text-embedding-3-small"  # 1536 维，$0.02/百万 Token
)

for i, item in enumerate(response.data):
    print(f"文本: {texts[i]}")
    print(f"向量维度: {len(item.embedding)}, 前 5 个值: {item.embedding[:5]}")