BlockRank如何实现秒级检索500个文档？利用LLM注意力稀疏性提升效率

Abstract

摘要： 上下文内排序（In-context Ranking, ICR）是信息检索（IR）领域的一种新兴范式，它利用大语言模型（LLM）的上下文理解能力，通过将任务描述、候选文档和查询直接纳入模型输入提示中，并让 LLM 识别相关文档。尽管这种方法有效，但效率是一个重大挑战，尤其是随着候选列表的增长，注意力操作的计算复杂度呈二次方或超线性增长。为此，本文首先识别了为 ICR 微调的 LLM 注意力机制中固有的、可利用的结构：（1）文档间块稀疏性：注意力在每个文档块内密集，但在上下文中的不同文档之间稀疏；（2）查询-文档块相关性：中间层中某些查询令牌到文档块的注意力分数与该文档的实际相关性高度相关。受这些观察的启发，我们引入了 BlockRank（块级上下文内排序），这是一种新颖的方法，它通过以下方式调整 LLM 中的注意力操作：（a）在架构上强制实现观察到的文档间块稀疏性，将注意力复杂度从二次方降低到线性，且性能无损；（b）在微调期间使用辅助对比训练目标优化查询-文档块相关性，以增强检索中的注意力。在 BEIR、MSMarco 和 NQ 上使用 Mistral-7B 进行的实验表明，BlockRank Mistral 在匹配或超越现有最先进列表排序器和受控微调基线的同时，在推理时显著更加高效（对于上下文中的 100 个 MSMarco 文档，速度提升 4.7 倍），并能优雅地扩展到长上下文候选列表，在一秒内处理约 500 个上下文内文档（约 100K 上下文长度），为 ICR 提供了一种可扩展且有效的解决方案。

1. Introduction

1.1 The Rise of In-Context Ranking

1.1 上下文内排序的兴起

In-context Ranking (ICR)上下文排序，一种利用LLM上下文理解能力，将任务描述、候选文档和查询直接输入模型提示，让LLM识别相关文档的检索范式。 represents a paradigm shift in Information Retrieval (IR). Instead of relying on traditional two-stage pipelines (retrieval followed by re-ranking), ICR leverages the inherent reasoning capabilities of Large Language Models (LLMs) by directly feeding the query and a list of candidate documents into the model's context window. The LLM is then tasked with identifying the most relevant documents, effectively performing listwise ranking in a single step.

上下文内排序（ICR）代表了信息检索（IR）领域的一种范式转变。它不再依赖传统的两阶段流程（检索后重排序），而是利用大语言模型（LLM）固有的推理能力，直接将查询和候选文档列表输入到模型的上下文窗口中。然后，LLM 被要求识别最相关的文档，从而在单一步骤中有效地执行列表排序。

1.2 The Efficiency Bottleneck

1.2 效率瓶颈

Despite its effectiveness, ICR faces a critical challenge: efficiency. The core issue lies in the quadratic complexity of the attention mechanism within Transformers. As the number of candidate documents increases, the context length grows proportionally, causing the computational cost of the attention operation to scale super-linearly. This makes ICR impractical for real-world applications that require processing long candidate lists (e.g., 100-500 documents).

尽管 ICR 非常有效，但它面临一个关键挑战：效率。核心问题在于 Transformer 中注意力机制的二次复杂度。随着候选文档数量的增加，上下文长度也成比例增长，导致注意力操作的计算成本呈超线性增长。这使得 ICR 在处理需要长候选列表（例如 100-500 个文档）的实际应用中不切实际。

2. Key Observations: Structure in Attention

The authors of the BlockRank paper identify two key structural properties in the attention mechanism of LLMs fine-tuned for ICR.

BlockRank 论文的作者识别了为 ICR 微调的 LLM 注意力机制中的两个关键结构性属性。

2.1 Inter-Document Block Sparsity文档间块稀疏性，指注意力在文档块内部密集，但在不同文档之间稀疏的结构特性。

2.1 文档间块稀疏性

The first observation is that attention exhibits a block-sparse pattern. Within a single document block, attention is dense, meaning tokens within the same document attend heavily to each other. However, across different documents, attention is sparse. This means that tokens from one document pay very little attention to tokens from another document.

第一个观察是注意力表现出块稀疏模式。在单个文档块内，注意力是密集的，意味着同一文档内的令牌相互高度关注。然而，在不同文档之间，注意力是稀疏的。这意味着来自一个文档的令牌很少关注来自另一个文档的令牌。

2.2 Query-Document Block Relevance查询-文档块相关性，指中间层中某些查询令牌对文档块的注意力分数与文档实际相关性强相关。

2.2 查询-文档块相关性

The second observation is that the attention scores from specific query tokens to a document block in the middle layers of the LLM are strongly correlated with the actual relevance of that document. This provides a direct signal for identifying relevant documents without needing to process the entire context.

第二个观察是，在 LLM 中间层中，特定查询令牌到文档块的注意力分数与该文档的实际相关性高度相关。这为识别相关文档提供了直接信号，而无需处理整个上下文。

3. BlockRank: A Novel Architecture

Motivated by these observations, the authors propose BlockRank, a method that modifies the attention mechanism to exploit these structures.

受这些观察的启发，作者提出了 BlockRank，这是一种修改注意力机制以利用这些结构的方法。

3.1 Architectural Enforcement of Block Sparsity

3.1 块稀疏性的架构强制实现

BlockRank introduces a novel attention operation that enforces the observed inter-document block sparsity文档间块稀疏性，指注意力在文档块内部密集，但在不同文档之间稀疏的结构特性。. Instead of computing a full quadratic attention matrix, it computes attention within each document block independently. This reduces the complexity from O(N²) to O(N * B), where N is the total context length and B is the average block size. Since B is a constant, this effectively achieves linear complexity.

BlockRank 引入了一种新颖的注意力操作，强制实现观察到的文档间块稀疏性。它不是计算完整的二次注意力矩阵，而是独立计算每个文档块内的注意力。这降低了复杂度，从 O(N²) 到 O(N * B)，其中 N 是总上下文长度，B 是平均块大小。由于 B 是一个常数，这有效地实现了线性复杂度。

3.2 Contrastive Fine-Tuning for Relevance

3.2 用于相关性的对比微调

To further improve retrieval performance, BlockRank optimizes the query-document block relevance查询-文档块相关性，指中间层中某些查询令牌对文档块的注意力分数与文档实际相关性强相关。 during fine-tuning. It uses an auxiliary contrastive training objective that encourages the model to assign higher attention scores to relevant documents and lower scores to irrelevant ones. This directly aligns the attention mechanism with the ranking task.

为了进一步提高检索性能，BlockRank 在微调期间优化了查询-文档块相关性。它使用一个辅助的对比训练目标，鼓励模型为相关文档分配更高的注意力分数，为不相关文档分配更低的分数。这直接将注意力机制与排序任务对齐。

4. Performance and Efficiency Evaluation

The paper evaluates BlockRank on standard IR benchmarks: BEIR, MSMarco, and NQ, using the Mistral-7B model.

该论文在标准 IR 基准测试（BEIR、MSMarco 和 NQ）上，使用 Mistral-7B 模型评估了 BlockRank。

4.1 Key Results

4.1 关键结果

The results demonstrate that BlockRank achieves state-of-the-art (SOTA) performance while being significantly more efficient.

结果表明，BlockRank 在实现最先进（SOTA）性能的同时，效率显著更高。

4.2 Efficiency Analysis

4.2 效率分析

The efficiency gains are most pronounced when scaling to long contexts. For 100 documents in context, BlockRank achieves a 4.7x speedup over standard attention. For longer lists (up to 500 documents, approximately 100K tokens), it can process the entire list in under one second, making it practical for real-time applications.

在扩展到长上下文时，效率提升最为显著。对于上下文中的 100 个文档，BlockRank 实现了比标准注意力4.7 倍的加速。对于更长的列表（最多 500 个文档，约 100K 令牌），它可以在不到一秒内处理整个列表，使其适用于实时应用。

5. Conclusion

5. 结论

BlockRank presents a compelling solution to the efficiency bottleneck of In-Context Ranking. By identifying and exploiting inherent structures in the attention mechanism—inter-document block sparsity文档间块稀疏性，指注意力在文档块内部密集，但在不同文档之间稀疏的结构特性。 and query-document block relevance查询-文档块相关性，指中间层中某些查询令牌对文档块的注意力分数与文档实际相关性强相关。—it achieves linear complexity without sacrificing performance. This work paves the way for deploying LLM-based listwise rankers in practical, large-scale IR systems.

BlockRank 为上下文内排序的效率瓶颈提供了一个令人信服的解决方案。通过识别和利用注意力机制中的固有结构——文档间块稀疏性和查询-文档块相关性——它在不牺牲性能的情况下实现了线性复杂度。这项工作为在实际的大规模 IR 系统中部署基于 LLM 的列表排序器铺平了道路。

---

Paper Reference:

论文引用：

• Title: BlockRank: Efficient In-Context Ranking for Long-Context Information Retrieval
• Authors: Nilesh Gupta et al.
• Venue: NeurIPS 2025
• arXiv: 2510.05396

常见问题（FAQ）

BlockRank如何解决长上下文排序的效率问题？

BlockRank通过强制实现文档间块稀疏性，将注意力复杂度从二次方降至线性，从而在秒级内处理约500个文档（约100K上下文长度），显著提升推理效率。

BlockRank利用了LLM注意力机制中的哪些结构特性？

BlockRank利用了两个特性：文档间块稀疏性（文档内注意力密集，文档间稀疏）和查询-文档块相关性（中间层查询令牌到文档块的注意力分数与文档相关性高度相关）。

BlockRank在性能上相比传统方法有何优势？

BlockRank在匹配或超越现有最先进列表排序器的同时，推理速度提升4.7倍（100个文档），并能优雅扩展到长上下文，实现高效可扩展的上下文内排序。