Jina AI 发布全球首个开源 8K 文本嵌入模型，超越 OpenAI

人工智能公司Jina AI 宣布推出其第二代文本嵌入模型： jina-embeddings-v2 。这款模型现在是唯一支持 8K（8192个 token）上下文长度的开源产品。在能力和性能上与OpenAI的 text-embedding-ada-002 相当。

与OpenAI的8K模型 text-embedding-ada-002 进行比较，jina-embedding-v2 在分类平均值、重排平均值、检索平均值和摘要平均值方面超越了 OpenAI 的 text-embedding-ada-002。

text-embedding-ada-002 的特点：

• 从零到卓越：这个 jina-embeddings-v2 是从头开始构建的。在过去的三个月里，Jina AI的团队进行了密集的研发、数据收集和调整。
• 利用8K解锁扩展上下文潜力： jina-embeddings-v2 8K的上下文长度为新的行业应用开启了大门：
  • 法律文件分析：确保对大量法律文本中的每一个细节进行捕捉和分析。
  • 医学研究：为了进行高级分析和发现，全面地嵌入科学论文。
  • 文学分析：深入研究长篇内容，捕捉微妙的主题元素。
  • 财务预测：通过详细的财务报告获得卓越的洞察力。
  • 会话式AI：提升聊天机器人对复杂用户查询的响应能力。

同时，基准测试显示，在多个数据集中，这种 8K 上下文长度的扩展使得jina-embeddings-v2超越了其它领先的嵌入模型：

接下来，Jina 将会有一篇相关的学术洞察文章发表。同时团队正在开发类似OpenAI的嵌入式API平台的产品；语言方面，正在进入多语种嵌入领域，目标是推出德英模型。