混合嵌入
混合嵌入(Hybrid Embedding)：是现代信息检索和推荐系统中一种结合了稀疏嵌入(Sparse Embedding) 和 密集嵌入(Dense Embedding) 的方法，旨在发挥两者的优势，弥补各自的缺陷，提升模型的表达能力、泛化能力和可解释性。它在推荐系统、搜索引擎、自然语言处理（NLP）、计算机视觉（CV）等领域有广泛应用
为什么需要混合嵌入
| 类型 | 优点 | 缺点 |
|---|---|---|
稀疏嵌入(如 BM25, TF-IDF) | 精确匹配强、可解释性高 | 不理解同义词、语义差 |
密集嵌入(如 BERT 向量) | 语义理解强、支持近似匹配 | 忽略拼写/实体差异，泛化可能过强 |
| 混合嵌入 | 精确匹配 | 语义泛化 |
混合嵌入的典型结构
混合嵌入通常由两部分组成：
- 稀疏嵌入层：处理离散特征（如类别型变量）。
- 密集嵌入层：处理连续特征（如文本、图像）。
- 融合策略：将两种嵌入结合（如拼接、加权、注意力机制）。
混合嵌入的实现方案
| 方法 | 最佳场景 | 计算开销 | 特点 |
|---|---|---|---|
| 并行混合Wide & Deep | 推荐系统、广告CTR | 低 | 稀疏部分记忆历史行为，密集部分泛化语义，适合特征明确的场景 |
| 交叉混合DeepFM | 电商特征交叉 | 中 | 结合FM的二阶特征交互和DNN的高阶非线性，适合需要显式特征交叉的任务 |
| 动态门控混合Gating Network | 多模态数据（文本+图像） | 高 | 动态调整稀疏/密集特征权重，适合异构数据融合 |
| 特征拼接混合Concatenation | 结构化数据分类 | 低 | 简单直接拼接特征，适合快速原型开发或特征维度相近的场景 |
| 图混合嵌入Graph Hybrid | 社交网络/知识图谱 | 高 | 用GNN处理关系数据，DNN处理属性数据，适合图结构与非结构化数据混合的场景 |