一文深度剖析 ColBERT

wx_rCl25Ol

　　近年来，向量搜索领域经历了爆炸性增长，尤其是在大型语言模型（LLMs）问世后。国产向量数据库学术界开始重点关注如何通过扩展训练数据、采用先进的训练方法和新的架构等方法来增强 embedding 向量模型。


　　在之前的文章中，我们已经深入探讨了各种类型的 embedding 向量和专为高效信息检索而设计的模型，包括针对具体用例设计的稠密、稀疏和二进制 embedding 向量，它们各自的优势和劣势。此外，我们还介绍了各种 Embedding 向量模型，如用于稠密向量生成和检索的 BERT，以及用于稀疏向量生成和检索的 SPLADE 和BGE-M3。


　　本文将深度剖析 ColBERT——专为高效相似性搜索而设计的创新型 embedding 和排序（ranking）模型。


　　01.简要回顾 BERT


　　ColBERT，是对 BERT 的延伸。让我们先简要回顾一下 BERT。这将帮助我们理解 ColBERT 所做出的改进。


　　BERT 全称为 Bidirectional Encoder Representations from Transformers，是一种基于 Transformer 架构的语言模型，在稠密向量和检索模型方面表现出色。与传统的顺序自然语言处理方法不同，BERT 从句子的左侧到右侧或相反方向进行移动，通过同时分析整个单词序列结合单词上下文信息，从而生成稠密向量。那么，BERT 是如何生成 embedding 向量的呢？


　　首先，BERT 将句子转换为单词片段（也称为 token）。然后，在生成的 token 序列的开头添加一个特殊的token[CLS]，在末尾添加一个 token[SEP]，以分隔句子并指示结束。


　　接下来是 embedding 和 基于transformer的encoding。BERT 通过 embedding 矩阵将token变为向量，并且通过多层编码器将其进行深层次的编码。这些层根据序列中所有其他token提供的上下文信息，对每个token的表示进行基于注意力机制的细化。


　　最后，使用池化操作将所有 token 向量转化成单一的稠密向量。


　　02.什么是 ColBERT


　　ColBERT全称为Contextualized Late Interaction over BERT，基于传统的BERT模型进行了深度创新。BERT将token向量合并为单一表示（即向量），而ColBERT保留了每个token的表示，提供了更细粒度的相似性计算。ColBERT的独特之处在于引入了一种新颖的后期交互机制，可以通过在检索过程的最终阶段之前分别处理查询和文档，实现高效和精确的排名和检索。我们在下文中将详细介绍这种机制。


　　本质上，虽然BERT或其他传统的embedding模型为每个文档生成一个单一向量，并产生一个单一的数值分数，反映其与查询句的相关性。而ColBERT提供了一个向量列表，进行查询中的每个token与文档中的每个token的相关性计算。这种方法帮助我们更详细和更细致的理解查询和文档之间的语义关系。


　　在处理查询Q和文档D时，ColBERT利用查询编码器将Q转换为一组固定大小的Embedding向量，表示为Eq。同时，文档编码器将D转换为另一组embedding向量Ed。Eq和Ed中的每个向量都拥有Q和D中周围词的上下文信息。


　　有了Eq和Ed，ColBERT通过后期交互方法计算Q和D之间的相关性分数，我们将其定义为最大相似性（MaxSim）的总和。具体来说，该方法识别每个Eq中的向量与Ed中的向量之间的最大内积，然后通过求和将这些结果组合起来。


　　从概念上讲，这种后期交互机制将每个查询中的 token embeddingtq与文档向量列表进行比较，并考虑了在查询中的上下文。这个过程通过识别tq与文档中的词td之间的最高相似度分数来量化"匹配"程度。ColBERT通过聚合所有查询项之间的最大匹配程度来评估文档的相关性。