搜索推荐算法技术交流
113成员📄 WeGR: Unified Generative Retrieval for Industrial Search Systems in WeChat
作者：Jiajun Han, Guoxin Ma, Felix 等 (腾讯微信 Tencent Penguin Island)
arXiv: 2610.16979
## 核心贡献
WeGR 是腾讯微信团队提出的统一生成式检索框架，解决了工业搜索中 SID 分词器缺乏协作信号且码本坍缩、以及 GRPO 精确匹配下奖励稀疏两大核心难题。CoCo-VAE 将 Q2I/I2I 协作信号注入连续表示同时通过码书刷新和保真反坍缩正则化维护码本利用率；DHPO 通过课程学习从前缀级渐进到物品级匹配解决奖励稀疏，无需辅助奖励模型。已部署于微信电商搜索、视频号搜索等多场景，服务数十亿用户。
## 技术方案
### 1. CoCo-VAE（协作无坍缩分词器）
- Q2I 和 I2I 协作正则化：辅助对比损失捕获协作关系，约束施加在连续表示空间（detached projection head），不干扰离散码本优化
- Codebook Refresh：首层码书刷新，按 EMA 跟踪码字使用率，低于阈值时用活跃码字+高斯扰动重初始化
- FAR（保真反坍缩正则化）：样本级 top-k 扩展梯度覆盖 + 码字级碰撞正则化防过度集中
- 解耦设计：协作信号丰富连续表示，码本维护独立优化
### 2. DHPO（动态视野策略优化）
- 核心问题：精确 SID 匹配下 GRPO 严重奖励稀疏
- 课程学习：从前缀级匹配渐进扩展到物品级精确匹配
- 不依赖辅助奖励模型，直接使用点击/下单行为奖励
- MSFT（多正样本监督微调）：从多个正样本学习提供稳定信号
### 3. 统一框架
- 用生成式检索替代传统多通道检索 80% 候选量
- 保留少量传统通道作为补充，WeGR 作为主检索通道
## 关键实验结果
微信电商搜索线上 A/B（V1.2，两个月）：
- 移除传统检索通道 80% 候选量
- 订单 +2.539%，CTR +1.508%，CVR +1.381%
- 进入粗排的候选量减少 38.10%
- CPU 节省 25.5%，GPU 节省 26.1%
- 服务延迟降低 21.7ms（视频号搜索）和 15.4ms（微信搜索）
- 每日数千万 PV，服务数十亿用户
跨场景验证（微信电商直播搜索）：
- DHPO 在所有 Click 和 Order 指标上超越 SFT
- HR@6 +5.95%-7.07%，MRR@6 +6.12%-7.82%
## 实践启示
1. 生成式检索已具备替代大部分传统检索通道的工业能力
2. 协作信号注入和码本稳定性必须解耦优化
3. 奖励稀疏是生成式检索 RL 的核心瓶颈，课程学习比增大采样预算更有效
4. 不依赖辅助奖励模型的方案跨场景迁移性更好
5. CPU/GPU 节省 25-26% 使生成式检索具备成本优势
🔗 论文链接：https://arxiv.org/abs/2610.16979
📄 LIFT: A Lifecycle-aware Interaction Factorization Transformer for Unified Retrieval and Ranking
作者：Keji Miao (北邮), Enhao Cheng (东南大学), Yan Li (小红书), Jie Yuan, Xiaoyong Li (北邮)
arXiv: 2610.10556
## 核心贡献
LIFT 的核心洞察在于：推荐系统中的每一次交互并非单一事件，而是一个跨越四个信息可用阶段的生命周期过程——Request（请求触发）、Item（物品属性）、Context（候选上下文）、Action（用户反馈）。论文将这四个角色按信息可用时序序列化为因果序列，使检索阶段读取 Request 状态、排序阶段读取 Context 状态，从而在共享历史建模的同时保留了阶段特有信息边界。在 ML-20M 和 Taobao 上 Joint Score 分别超越最强基线 4.9% 和 3.6%。
## 技术方案
### 1. 生命周期交互分解
- 每次交互分解为四个有序状态：Request、Item、Context、Action
- Request：用户ID、查询、会话、时间、设备等触发条件（检索时可用）
- Item：物品ID、类目、品牌、内容特征（候选确定后可用）
- Context：候选在当前请求下的上下文特征——时间窗口统计、交互统计、候选来源（排序时可用）
- Action：用户反馈——点击、时长、收藏、购买（交互后可用，训练时作为监督信号）
- 信息可用时序 R ≺ I ≺ C ≺ A 天然对齐因果掩码
### 2. Role-Conditioned Attention
- Query/Key 投影共享：所有角色在统一的匹配空间中计算依赖关系
- Value 投影按源 token 角色选择，Output 投影按接收位置角色选择
- 角色嵌入 r_q 通过 Pre-LN 路径注入 Q/K，提供角色身份信息
- RoPE 位置编码按交互级别共享（同一交互的四个 token 共享相同旋转位置）
### 3. Pre-LN Bias
- FFN 前的 LayerNorm 路径上加入角色特定偏置 b_q
- 轻量级角色条件化，不增加额外子层或门控机制
### 4. 在线服务
- 历史序列 Prefill 一次，KV 缓存跨检索和排序复用
- 检索读取 Request 状态 + 全局候选打分
- 排序读取 Context 状态（包含候选物品和上下文特征）+ 多目标预测
## 关键实验结果
ML-20M + Taobao 双数据集评估（Joint Score = sqrt(NDCG@100 * GAUC)）：
- ML-20M：LIFT 0.2724 vs HSTU 0.2597（+4.9%），vs UniPinRec 0.2582
- Taobao：LIFT 0.2239 vs UniPinRec 0.2162（+3.6%），vs HSTU 0.2123
Pareto 前沿分析：
- LIFT 在 Recall-AUC 和 NDCG-GAUC 空间中均形成全局经验 Pareto 前沿
- 不同 loss-weight 下检索-排序权衡更优
消融实验：
- 完全分解 [R][I][C][A] 0.2724 >> 完全合并 [RICA] 0.2582（+5.5%）
- Role-Conditioned Attention 和 Pre-LN Bias 互补，两者同时移除 Joint Score 降至 0.2663
- Token 边界对齐信息可用阶段是关键
容量缩放：
- LIFT d=64（13.88M 参数）超过 UniPinRec d=256（18.23M 参数）
- 更高的参数效率
## 实践启示
1. 交互不是原子事件：将交互分解为生命周期状态是统一检索排序的自然切入点
2. 信息可用边界是检索和排序的本质区别：检索在 Request 后决策，排序在 Context 后决策
3. 角色条件化注意力用极轻量的方式实现了跨角色共享与角色特化的平衡
4. RoPE 按交互级别共享使同一交互的四个 token 自然形成局部组
5. Prefill 一次 + KV 缓存复用是工业部署的关键效率保障
6. 完全分解 >> 完全合并表明细粒度状态表示对联合建模至关重要
🔗 论文链接：https://arxiv.org/abs/2610.10556
预组装检索上下文让SPARQL翻译夺冠
💡 SPARQL-LLM通过预先组装检索式上下文将自然语言翻译为SPARQL，在TEXT2SPARQL 2026挑战赛八个方案中排名第一，最高领先第二名59%的F1分数，且总调用成本低于3美元。📖 研究背景知识图谱以资源描述框架形式表示后，通过SPARQL查询仍然门槛极高，用户需要同时掌握查询语法、端点规范、模式细节以及跨数据集关系。知识图谱问答系统通过将自然语言自动翻译为SPARQL来降低这一门槛，而大语言模型的最新进展使这种翻译越来越可行。本文介绍了开源知识图谱问答系统SPARQL-LLM在TEXT2SPARQL 2026挑战赛中的表现。该挑战赛包含两个子任务：一个基于公开且文档完善的DBpedia知识图谱，包含50个英语和西班牙语问题；另一个基于未知且无文档的企业私有知识图谱，包含50个英语和德语问题。SPARQL-LLM采用基于检索的上下文构建策略，在查询时预先组装示例问答对与端点模式信息，从而将每个问题与大语言模型的交互次数固定，避免了智能体式方法中反复探索模式、运行时间长、成本高以及可能无法收敛的问题。实验结果表明，SPARQL-LLM在全部数据集和全部语言上均排名第一，在八个参赛方案中取得最优表现，相比第二名最高提升59%的F1分数，其中西班牙语DBpedia任务提升59%，英语企业任务提升33%，德语企业任务提升30%，英语DBpedia任务提升17%。全部大语言模型调用总成本低于3美元，证明其不仅准确率最高，运营成本也极低。该系统已开源发布，并部署在去中心化生物信息学知识图谱上提供生产服务。
工具检索应引入执行可靠性重排
💡 RATED通过冻结语义双编码器加轻量上下文赌博机重排，在几乎不增加延迟的前提下，将严重故障场景下的工具选择错误率从86.2%降至2.9%。📖 研究背景随着AI智能体对外部工具的依赖日益加深，工具检索的准确性成为保障智能体可靠行为的关键。现有方法主要优化语义相关性，却普遍忽视工具在执行过程中的可用性。本文提出RATED（基于执行动态的可靠性感知工具检索）框架，将稳健的语义匹配与动态可靠性自适应相结合：采用冻结的双编码器并通过对比学习微调实现语义匹配，同时引入轻量级上下文赌博机模块，依据实时执行反馈对候选工具重新排序，从而无需昂贵的模型重训练即可快速适应运行时工具故障。作者还构建了EcoAgent基准，包含5172个真实世界工具和超过21万条查询-工具对，用于离线检索与动态可靠性评估。实验表明，在真实查询上RATED相比ToolLLM API检索器取得52.2%的相对MRR提升；在30%失败率的严重API中断场景下，将故障选择率从86.2%降至2.9%，且相比仅编码推理仅增加不足1毫秒的延迟开销。
📄 NativeScope: Relation-Localized Retrieval over Native Topology with a Correct Anchor
作者：Long Wang
arXiv: 2610.12243
## 核心贡献
NativeScope 提出"先定范围、再排序"的检索范式，将查询分解为锚点 A、关系 r、目标词 B 三元组，利用数据原生拓扑（章节归属、会话边界、原生顺序）约束候选范围后再进行语义排序。在锚点正确时，文档检索召回率从 46.53% 提升至 89.28%（+42.75pp）。
## 技术方案
### 查询分解与关系算子
- 查询分解为三元组 q = (A, r, B)：锚点 A、关系 r、目标词 B
- 三类关系算子：归属（同容器单元）、之前（前 8 个单元）、之后（后 8 个单元）
- 直接执行数据源中已存在的原生拓扑关系，无需额外构建层级或图索引
### 两阶段检索
- 阶段 1：关系局部化 — 关系算子选出原生单元范围 S，通过字符区间重叠映射到文本块候选集
- 阶段 2：语义排序 — 仅对候选集内的块按目标词 B 的语义相似度排序
- 将"在哪里搜"与"搜什么"显式解耦
### 条件式分块不变性
- 若原生单元、拓扑与锚点坐标不变，不同分块方式得到相同的原生检索范围
## 关键实验结果
在 QASPER + LongMemEval 衍生的 200 条受控记录上（1024 token 预算）：
- 文档：原生单元召回率 89.28%（vs 稠密检索 46.53%，+42.75pp）
- 记忆：72.50%（vs 50.50%，+22.00pp）
- NS-FullQ（用完整问题排序）87.78%/68.50%，差异不显著 → 主要增益来自关系定范围
- 自动 Top-1 锚点定位时记忆召回率降至 35.50% → 效果高度依赖锚点可靠性
## 实践启示
1. 检索不一定需要端到端语义匹配：利用已有结构信息先缩小候选集再排序更高效
2. 关系局部化的增益远大于排序查询的优化
3. 锚点定位的可靠性是该范式的瓶颈，需要配合高精度的锚点识别方案
4. 该思路可直接应用于长文档 QA、会话记忆检索等场景
🔗 论文链接：https://arxiv.org/abs/2610.12243
📄 Training with Missed Targets in Generative Recommendation: Separating Supervision from Probability Competition
作者：Xuesi Wang, Yangbin Shi, Xiaolin Zheng (独立研究者 + 浙江大学)
arXiv: 2610.10124
## 核心贡献
本文对生成式推荐中广泛使用的候选补全训练策略进行了严格的因果拆解。将生成器遗漏的目标物品追加到重排器训练列表中，实际同时引入三种纠缠效应：改变已检索目标权重、对追加目标增加监督、让追加组与已检索组在同一 softmax 中竞争概率。论文构造了三个匹配损失函数逐一分离这些效应，发现概率竞争可能有害。
## 技术方案
### 三个匹配损失函数
- WN（Weighted-Native）：仅对已检索物品组内排序，按目标召回比例加权
- Cond（Conditional Training）：两组分别归一化，追加组不与检索组竞争概率
- Full（Full Append）：两组放入同一 softmax，追加组与检索组竞争概率
### 因果拆解路径
- WN 到 Cond：测试追加目标监督的效果
- Cond 到 Full：测试概率竞争的效果
- 三个损失使用相同的候选、表示、scorer 架构和优化器
## 关键实验结果
使用公开 OneRec 模型 + 本地训练的 Amazon 生成器：
- Amazon Video Games 四组预设对比中，移除概率竞争使 FT-NDCG 提升 7.8-22.2%
- 95% 置信区间排除零（用户维度和训练运行维度）
- 保守开发集规则在两个类别中正确选择是否使用追加训练，避免了 1.7% 损失
- 追加目标监督本身可以有益，但概率竞争的负面效应可能抵消甚至超过收益
## 实践启示
1. 候选补全不应自动应用：概率竞争可能损害已检索物品的排序质量
2. 条件训练（分组归一化）是更安全的默认选择：保留追加目标的监督信号但避免跨组竞争
3. 每个生成器都应单独评估是否适合候选补全
4. 训练集中的物品分布与推理时不同是普遍问题，需显式管理
5. 简单的追加/不追加对比掩盖了多重交织效应，严谨的消融设计不可或缺
🔗 论文链接：https://arxiv.org/abs/2610.10124
📄 Adapting Generative Recommenders for Multi-Turn Interaction (INTEGER)
作者：Yu-Chen Den 等 (台大 NTU + Johns Hopkins University)
arXiv: 2610.08136
## 核心贡献
INTEGER 首次将生成式推荐器系统性地扩展到多轮对话交互场景，让用户能在对话中主动纠正和修正推荐。通过路由 token、历史重锚定、行为重放与物品精修四个机制，在赋予对话能力的同时保持推荐准确性不退化。
## 技术方案
### 1. 路由 token <hist>
- 模型在每个助手回合开头自主决定聊天还是推荐
- 无需外部路由分类器，推荐决策成为可学习的解码动作
### 2. 历史重锚定 (History Re-anchoring)
- 推荐时将用户行为历史 H 重新插入 ItemID 生成前的解码上下文
- 恢复生成式推荐器原始训练的"历史→物品"局部格式
- 物品生成同时利用行为历史和对话中表达的偏好
### 3. 行为重放 + 指令排练
- 三源混合训练：多轮推荐对话 + 顺序推荐样本（行为重放）+ 通用指令遵循样本
- 防止对话训练覆盖已学习的 history-to-item 映射
### 4. 物品精修 (Item Refinement)
- DPO 学习拒绝/替换偏好对
- 拒绝反馈：错误推荐 vs 正确物品
- 多样性反馈：当前推荐 vs 最近邻物品
## 关键实验结果（Amazon Beauty & Toys）
- Hit@10 在 Beauty 上比最强基线提升 13.3%
- 显著超越起始生成式推荐器 TIGER
- 与端到端 CRS 和模块化管道在推荐准确率和对话质量上均有竞争力
- 分析表明：INTEGER 学会在用户意图明确时才推荐、推荐时保持对行为历史的注意
- 物品精修学到的是意图无关的替换操作（抑制被拒绝物品但指向属性感知反馈）
## 实践启示
1. 对话是生成式推荐的自然延伸：物品和文字共享同一输出空间
2. 历史重锚定是保护推荐能力的关键：将训练时的局部格式在推理时重现
3. 行为重放比简单正则化更有效地防止灾难性遗忘
4. 路由 token 将推荐时机的决策内化为模型自身的能力
5. 对话作为推荐的控制层而非信号源，是更稳健的设计选择
🔗 论文链接：https://arxiv.org/abs/2610.08136
软约束排序避免低资源对话推荐误删相关职位
💡 本文提出软约束感知排序框架W-SCAR，在低资源代码混合的对话式职位推荐中避免硬过滤造成的相关职位误删，并在英语与罗马化孟加拉语—英语两种条件下取得更均衡的检索表现。📖 研究背景对话式职位推荐需要同时建模语义相关性、用户偏好、资格要求以及真实求职讨论中的噪声语言，在低资源、代码混合场景下这些挑战尤为突出，严格的约束匹配会错误地剔除本可胜任的职位。本文提出了JobCCC，一个面向孟加拉国的对话式职位推荐基准，包含22410条结构化职位发布和988段来自区域Reddit社区的多轮职业咨询对话，每段对话标注了不断变化的求职者偏好并关联一个真实职位，同时在语义等价的英语和罗马化孟加拉语—英语两种变体下进行评估。作者对比了稀疏BM25检索、多语言稠密检索及其硬约束过滤版本，并提出加权软约束感知排序框架W-SCAR，该框架结合词汇相关性、语义相关性以及针对经验、地点、教育和薪资的分级效用，通过逼近理想解排序法进行多准则排序。实验表明，严格过滤会持续降低检索效果，因为不完整的抽取和脆弱的属性匹配会不可逆地移除相关职位；W-SCAR避免了破坏性剪枝，在两种语言条件下取得更均衡的表现，在英语和孟加拉语混合条件下分别获得37.37%和38.43%的Hit@10。
少样本上下文示例即可实现无训练稠密检索
💡 RICE 证明仅需少量上下文示例即可让大语言模型无需训练地生成高质量稠密检索表示，显著优于普通提示嵌入。📖 研究背景当前将仅解码器大语言模型转化为强稠密检索器通常需要某种形式的检索器训练，而本文提出一个核心问题：能否仅通过少量上下文示例提示大语言模型，使其直接生成有效的稠密表示。为此，作者提出 RICE（Representations from In-Context Examples），一种无需训练的简单方法，从大语言模型中提取高质量稠密表示。RICE 通过为查询和文档编码提供共享上下文的示例来条件化大语言模型。实验结果表明，RICE 嵌入能够显著提升基于提示的大语言模型嵌入的准确率，为构建无需训练的基于大语言模型的稠密检索器提供了一种简单方案。
📄 KuaFu: Compressing Long User Behavior into Understanding at Billion Scale
作者：Jiahao Hui, Lin Zhu 等 11 人 (腾讯 Tencent Inc.)
arXiv: 2609.31045
## 核心贡献
KuaFu 是腾讯提出的统一行为压缩层，将长用户行为序列压缩为紧凑可缓存表示供 LLM 理解。物品级可缓存双轴压缩使缓存随物品库而非用户数增长；保真四阶段训练含幻觉感知 RL 抑制四种压缩幻觉。已在腾讯广告推荐平台全量部署 10 个月，GMV +1.37%。
## 技术方案
### 1. 物品级可缓存双轴压缩
- 每个行为物品独立编码，缓存跨用户/跨任务/可追加复用
- 双轴投影器：token 轴压缩 10x + width 轴压缩 20x（2560维到128维）
- 每物品缓存 10KB 降至 0.5KB
- 缓存随物品库增长，而非随用户数增长
### 2. 保真四阶段训练
- Stage 1 重建：序列长度课程学习确保收敛
- Stage 2 理解：42 个任务类型分层难度数据
- Stage 3 压缩与生成协同训练
- Stage 4 幻觉感知 RL：每种幻觉类型一个惩罚头（捏造/遗漏/时间错归/逻辑断裂）+ 完整性奖励
### 3. 分层中间评估协议
- 从简单分类到复杂多标签归因到开放域 QA 到多任务迁移
- 直接评估压缩表示质量，将反馈周期从数月缩短到数天
## 关键实验结果
生产部署（腾讯广告推荐平台，10 个月）：
- 4 个画像任务全部 5 个核心指标匹配或超越无压缩单任务模型
- 每 GPU 吞吐提升 37%-350%
- 节省 190 GPU
- 整体 GMV +1.37%
公开基准：
- 域外 MRQA 最高 +17.7 EM
- RecBench 上 4B 模型超越 8B 模型 1.90 分
## 实践启示
1. 物品级编码是行为压缩的关键范式转变：缓存从用户级转向物品级，规模天然可控
2. 压缩幻觉是被忽视的工程问题，四种类型需分类治理而非统一惩罚
3. 中间评估协议是压缩落地的前提：无法直接度量压缩质量就无法定向改进
4. 双轴压缩的 200x 总压缩比证明推理侧压缩与理解可以兼得
5. 10 个月部署验证了方案的工程成熟度和长期稳定性
🔗 论文链接：https://arxiv.org/abs/2609.31045