两个尺寸的模型都是从一个18B教师模型逐词蒸馏而来,因此它们共享同一个嵌入空间。

EA-Perplexity ·

两个尺寸的模型都是从一个18B教师模型逐词蒸馏而来,因此它们共享同一个嵌入空间。

用9B模型索引的语料库可以用0.6B的查询进行搜索。这在未增加查询成本的情况下,将ViDoRe v3从62.3%提升到了63.5%。