首页 文章 精选 留言 我的
优秀的个人博客,低调大师

微信关注我们

原文链接:https://my.oschina.net/u/3874284/blog/17996769

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

在 Elasticsearch 中扩展后期交互模型 - 第 2 部分 - 8.18

作者:来自 ElasticPeter Straßer及Benjamin Trent 本文探讨了如何优化后期交互向量,以适应大规模生产工作负载,例如减少磁盘空间占用和提高计算效率。 在之前关于 ColPali 的博客中,我们探讨了如何使用Elasticsearch创建视觉搜索应用。我们主要关注ColPali等模型为应用带来的价值,但与E5等双编码器向量搜索相比,它们在性能上存在一定劣势。 基于第 1 部分的示例,本文将探讨如何利用不同技术和Elasticsearch强大的向量搜索工具,使后期交互向量适应大规模生产工作负载。 完整代码示例可在GitHub上查看。 问题 ColPali在索引中的每个文档页面会生成1000 多个向量,这在使用后期交互向量时带来了两个主要挑战: 磁盘空间:存储所有这些向量会占用大量磁盘空间,在大规模应用时成本高昂。 计算量:在使用maxSimDotProduct()进行文档排序时,需要将每个文档的所有向量与查询的N个向量进行比较,计算成本极高。 接下来,我们将探讨一些优化技术,以解决这些问题。 位向量(Bit Vectors) 为了减少磁盘空间占用,我们可以将...

Apache Flink 2.0.0: 实时数据处理的新纪元

今天,Flink开发团队骄傲地宣布ApacheFlink2.0.0正式发布!这是Flink2.x系列的首个版本,也是自九年前Flink1.0发布以来的首次重大更新。这个版本凝聚了社区两年来精心筹备与协作的成果,标志着Flink发展开启了新篇章。 在这个版本中,165位贡献者齐聚一堂,完成了25项Flink改进提案(FLIP),解决了367个问题。我们衷心感谢所有贡献者为这个里程碑版本付出的宝贵努力! 过去十年间,ApacheFlink经历了蜕变式的发展。在1.0时代,Flink开创了有状态流计算的先河,让端到端精确一致语义的有状态流处理成为现实。如今,亚秒级延迟的实时处理已成为标准能力。然而,实时计算引擎如今却面临新的挑战,阻碍了其更加广泛的应用。实时计算的成本居高不下,无论是昂贵的资源消耗,还是掌握复杂的分布式流处理概念所需的学习曲线,都限制了实时计算在更多样化应用场景中的发挥。与此同时,云原生架构、数据湖和人工智能大语言模型等现代浪潮的涌现,也为实时系统带来了新的要求。在2.0时代,Flink正在直面这些挑战,致力于提供更易用、更可扩展的实时计算解决方案,使各组织能够全面拥抱大数据...

相关文章

发表评论

资源下载

更多资源
优质分享App

优质分享App

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册