RAG向量嵌入如何压缩存储？float8量化结合PCA实现8倍压缩

摘要

检索增强生成将外部知识检索与大语言模型生成相结合的技术，通过向量数据库存储和检索相关信息来增强模型的准确性和时效性。通过从外部知识库检索相关信息来增强语言模型的能力，其核心依赖于通常以float32精度存储的高维向量嵌入。然而，大规模存储这些嵌入向量带来了显著的内存挑战。为解决此问题，我们在MTEB基准大规模文本嵌入基准，用于评估文本嵌入模型在各种任务上的性能测试上系统性地研究了两种互补的优化策略：量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。（评估了标准格式如float16、int8、binary以及低比特浮点类型float8）和降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求（评估了PCA、Kernel PCA、UMAP、随机投影和自编码器等方法）。我们的研究结果表明，float8量化使用8位浮点数表示向量的量化技术，相比float32可减少4倍存储能以极小的性能损失（<0.3%）实现4倍的存储空间缩减，在相同压缩级别下显著优于int8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。，且实现更简单。PCA被证明是最有效的降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求技术。至关重要的是，将适度的PCA（例如保留50%的维度）与float8量化使用8位浮点数表示向量的量化技术，相比float32可减少4倍存储相结合，能提供一个极佳的权衡方案，实现8倍的总压缩率，其性能影响比单独使用int8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。（仅提供4倍压缩）更小。为促进实际应用，我们提出了一种基于可视化性能-存储权衡空间的方法论，以帮助用户在特定的内存约束下找到最大化性能的最优配置。

Retrieval-Augmented Generation enhances language models by retrieving relevant information from external knowledge bases, relying on high-dimensional vector embeddings typically stored in float32 precision. However, storing these embeddings at scale presents significant memory challenges. To address this issue, we systematically investigate on MTEB benchmark two complementary optimization strategies: quantization, evaluating standard formats (float16, int8, binary) and low-bit floating-point types (float8), and dimensionality reduction, assessing methods like PCA, Kernel PCA, UMAP, Random Projections and Autoencoders. Our results show that float8 quantization achieves a 4x storage reduction with minimal performance degradation (<0.3%), significantly outperforming int8 quantization at the same compression level, being simpler to implement. PCA emerges as the most effective dimensionality reduction technique. Crucially, combining moderate PCA (e.g., retaining 50% dimensions) with float8 quantization offers an excellent trade-off, achieving 8x total compression with less performance impact than using int8 alone (which provides only 4x compression). To facilitate practical application, we propose a methodology based on visualizing the performance-storage trade-off space to identify the optimal configuration that maximizes performance within their specific memory constraints.

引言

随着大型语言模型在检索增强生成将外部知识检索与大语言模型生成相结合的技术，通过向量数据库存储和检索相关信息来增强模型的准确性和时效性。中的应用日益广泛，高效存储和检索海量向量嵌入已成为一个关键瓶颈。传统的float32表示虽然精度高，但在处理数十亿甚至万亿级别的向量时，其存储成本和内存占用变得难以承受。因此，探索在不显著牺牲检索性能的前提下压缩向量表示的方法，对于RAG系统的实际部署和可扩展性至关重要。

With the increasing application of large language models in Retrieval-Augmented Generation, the efficient storage and retrieval of massive vector embeddings has become a critical bottleneck. While the traditional float32 representation offers high precision, its storage cost and memory footprint become prohibitive when dealing with billions or even trillions of vectors. Therefore, exploring methods to compress vector representations without significantly sacrificing retrieval performance is crucial for the practical deployment and scalability of RAG systems.

核心优化策略

本研究聚焦于两种核心的向量压缩策略：量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。和降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求。量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。通过减少表示每个数值所需的比特数来压缩数据，而降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求则通过减少向量本身的维度数量来实现压缩。这两种策略可以独立或结合使用。

This study focuses on two core vector compression strategies: quantization and dimensionality reduction. Quantization compresses data by reducing the number of bits required to represent each numerical value, while dimensionality reduction achieves compression by decreasing the number of dimensions of the vectors themselves. These two strategies can be used independently or in combination.

量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。策略对比分析

量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。旨在降低每个向量分量的数值精度。我们评估了多种格式，从高精度到极端压缩。

Quantization aims to reduce the numerical precision of each vector component. We evaluated multiple formats, ranging from high precision to extreme compression.

Quantization Format	Bits	Theoretical Compression Ratio (vs. float32)	Key Advantage	Main Challenge
float16	16	2x	Minimal precision loss, wide hardware support (e.g., GPU)	Relatively limited compression ratio
int8	8	4x	High compression ratio, good support from inference acceleration libraries	Requires calibration (computing scale/zero-point), may introduce non-linear error
float8 (E5M2 / E4M3)	8	4x	Preserves floating-point dynamic range, simple implementation (type casting), minimal performance loss	Native hardware support is still being adopted
Binary	1	32x	Extremely high compression ratio and retrieval speed	Significant information loss, only suitable for scenarios with very low precision requirements

关键发现：在8比特量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。中，float8格式表现突出。它通过简单的数据类型转换即可实现，无需int8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。中复杂的校准过程，同时在MTEB基准大规模文本嵌入基准，用于评估文本嵌入模型在各种任务上的性能测试中保持了更高的检索性能（性能下降<0.3%），实现了简单性与高效性的平衡。

Key Finding: Among 8-bit quantization formats, float8 stands out. It can be achieved through simple data type casting, avoiding the complex calibration process required for int8 quantization, while maintaining higher retrieval performance (performance degradation <0.3%) on the MTEB benchmark, striking a balance between simplicity and efficiency.

降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求技术评估

降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求通过将原始高维向量（如768维或1536维）投影到低维空间来减少存储开销。我们评估了线性和非线性等多种方法。

Dimensionality reduction decreases storage overhead by projecting the original high-dimensional vectors (e.g., 768 or 1536 dimensions) into a lower-dimensional space. We evaluated various methods, including both linear and non-linear approaches.

降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求方法	类别	关键原理	优点	缺点
PCA	线性，无监督	找到最大方差方向，保留主要信息	计算高效，可解释性强，结果稳定	假设数据线性可分，可能忽略非线性结构
Kernel PCA	非线性，无监督	通过核函数映射到高维空间后进行线性PCA	能捕获非线性关系	计算和存储成本高，核函数选择敏感
UMAP	非线性，无监督	基于流形学习和拓扑数据分析	在极低维可视化中保持局部/全局结构效果好	计算耗时，结果具有随机性，不适合极高维直接压缩
随机投影	线性，无监督	使用随机矩阵进行投影，满足约翰逊-林登斯特劳斯引理	计算极快，适用于超大规模数据	是一种有损压缩，性能通常弱于PCA
自编码器	非线性，有监督/无监督	通过神经网络学习压缩与重建	非常灵活，能学习复杂非线性映射	需要训练，计算成本高，可能过拟合

Dimensionality Reduction Method	Category	Key Principle	Advantages	Disadvantages
PCA	Linear, Unsupervised	Finds directions of maximum variance, preserves principal information	Computationally efficient, strong interpretability, stable results	Assumes linear separability, may ignore non-linear structures
Kernel PCA	Non-linear, Unsupervised	Performs linear PCA after mapping to a higher-dimensional space via a kernel function	Can capture non-linear relationships	High computational and storage cost, sensitive to kernel choice
UMAP	Non-linear, Unsupervised	Based on manifold learning and topological data analysis	Effective at preserving local/global structure for very low-dim visualization	Computationally intensive, results are stochastic, not ideal for direct compression from very high dimensions
Random Projection	Linear, Unsupervised	Uses a random matrix for projection, satisfying the Johnson-Lindenstrauss lemma	Extremely fast computation, suitable for very large-scale data	A form of lossy compression, performance typically weaker than PCA
Autoencoder	Non-linear, Supervised/Unsupervised	Learns compression and reconstruction through a neural network	Very flexible, can learn complex non-linear mappings	Requires training, high computational cost, may overfit

关键发现：PCA在效果、效率和稳定性之间取得了最佳平衡。对于大多数文本嵌入向量，其信息分布相对集中，线性PCA足以捕获大部分方差。将维度减少50%（即压缩2倍）通常只会导致可忽略的性能下降，这使其成为一种非常实用的降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求手段。

Key Finding: PCA achieves the best balance between effectiveness, efficiency, and stability. For most text embedding vectors, their information distribution is relatively concentrated, and linear PCA is sufficient to capture most of the variance. Reducing dimensions by 50% (i.e., 2x compression) typically results in negligible performance degradation, making it a highly practical dimensionality reduction technique.

组合策略：实现最优权衡

单独使用任何一种策略都有其极限。我们的研究表明，将适度的降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求（如PCA保留50%维度）与高效的量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。（如float8）相结合，可以产生协同效应，实现乘数级的压缩收益。

Using any single strategy has its limits. Our research shows that combining moderate dimensionality reduction (e.g., PCA retaining 50% of dimensions) with efficient quantization (e.g., float8) can create a synergistic effect, achieving multiplicative compression benefits.

性能-存储权衡空间

为了指导实践，我们建议将不同配置（PCA保留比例 + 量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。类型）在二维空间中进行可视化：一个轴代表存储压缩比，另一个轴代表检索性能指标（如MTEB平均得分）。用户可以在图中绘制出“效率边界”，并选择最符合其特定内存约束和性能要求的配置点。

To guide practice, we recommend visualizing different configurations (PCA retention ratio + quantization type) in a two-dimensional space: one axis represents the storage compression ratio, and the other represents the retrieval performance metric (e.g., MTEB average score). Users can plot the "efficiency frontier" on this graph and select the configuration point that best meets their specific memory constraints and performance requirements.

示例路径：

1. 基线： float32， 无降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求 (压缩比 1x， 性能 100%)
2. 仅量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。： float8， 无降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求 (压缩比 4x， 性能 99.7%)
3. 仅降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求： float32， PCA保留50% (压缩比 2x， 性能 99.5%)
4. 组合策略： float8， PCA保留50% (压缩比 8x， 性能 ~99.2%)

Example Path:

1. Baseline: float32, No Dimensionality Reduction (Compression 1x, Performance 100%)
2. Quantization Only: float8, No Dimensionality Reduction (Compression 4x, Performance 99.7%)
3. Dimensionality Reduction Only: float32, PCA 50% Retention (Compression 2x, Performance 99.5%)
4. Combined Strategy: float8, PCA 50% Retention (Compression 8x, Performance ~99.2%)

可以看出，组合策略（路径4）在仅引入约0.8%性能损失的情况下，获得了8倍的存储节省，其性价比远高于单独使用int8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。（路径2的变体，4倍压缩，损失可能>0.5%）。

It can be seen that the combined strategy (Path 4) achieves 8x storage savings with only about 0.8% performance loss, offering a much better cost-performance ratio than using int8 quantization alone (a variant of Path 2, 4x compression, with potential loss >0.5%).

结论与建议

基于我们的系统评估，为优化RAG系统中的向量存储，我们提出以下实践建议：

Based on our systematic evaluation, to optimize vector storage in RAG systems, we propose the following practical recommendations:

1. 优先采用float8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。： 作为替代float32的首选量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。方案，它在实现4倍压缩的同时，几乎不损失精度且实现简单。

   Prioritize float8 quantization: As the preferred quantization scheme to replace float32, it achieves 4x compression with almost no precision loss and simple implementation.

2. 使用PCA进行可控降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求： 在需要进一步压缩时，首先考虑使用PCA。通过分析特征值衰减曲线，选择保留90%~99%方差的维度，能在性能和压缩比之间取得良好平衡。

   Use PCA for controllable dimensionality reduction: When further compression is needed, first consider using PCA. By analyzing the eigenvalue decay curve and selecting dimensions that retain 90% to 99% of the variance, a good balance between performance and compression ratio can be achieved.

3. 采用组合策略应对严格约束： 当存储空间限制极为严格时，将float8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。与适度PCA降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求（如保留50%-70%原始维度）相结合，可以实现8倍乃至更高的压缩率，同时将性能损失控制在可接受范围内（通常<2%）。

   Adopt a combined strategy for strict constraints: When storage space is extremely limited, combining float8 quantization with moderate PCA reduction (e.g., retaining 50%-70% of original dimensions) can achieve 8x or higher compression, while keeping performance loss within an acceptable range (typically <2%).

4. 可视化权衡并迭代验证： 在实际应用中，建议针对自身的数据集和性能指标，绘制类似的“性能-存储”权衡图。通过小规模实验确定最优配置，再扩展到全量数据。

   Visualize trade-offs and iterate validation: In practical applications, it is recommended to create a similar "performance-storage" trade-off graph for your own dataset and performance metrics. Determine the optimal configuration through small-scale experiments before scaling to full data.

通过系统性地应用量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。和降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求技术，开发者可以显著降低RAG系统的部署和运营成本，使其能够高效地处理规模不断增长的知识库，从而推动更强大、更可及的AI应用落地。

By systematically applying quantization and dimensionality reduction techniques, developers can significantly reduce the deployment and operational costs of RAG systems, enabling them to efficiently handle ever-growing knowledge bases, thereby promoting the implementation of more powerful and accessible AI applications.

常见问题（FAQ）

RAG向量存储优化中，哪种量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。方法压缩效果最好且性能损失最小？

根据研究，float8量化使用8位浮点数表示向量的量化技术，相比float32可减少4倍存储（如E5M2/E4M3格式）能以极小的性能损失（<0.3%）实现4倍存储压缩，在相同压缩级别下显著优于int8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。，且实现更简单。

如何结合量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。和降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求技术实现更高的RAG向量压缩率？

研究表明，将适度的PCA降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求（例如保留50%维度）与float8量化使用8位浮点数表示向量的量化技术，相比float32可减少4倍存储相结合，能实现8倍的总压缩率，其性能影响比单独使用int8量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。（仅4倍压缩）更小。

在实际部署RAG系统时，如何根据内存约束选择最优的向量压缩配置？

研究提出了一种基于可视化性能-存储权衡空间的方法论，帮助用户在特定内存约束下，通过分析量化将模型参数从高精度（如32位浮点数）转换为低精度（如8位整数）的技术，以减少内存占用和加速计算，同时保持可接受的精度水平。与降维减少数据特征维度的技术，旨在保留关键信息的同时降低存储需求的组合效果，找到最大化性能的最优配置。