从 Snowflake 到 Databend Cloud：全球游戏平台借助 Databend 实现实时数据处理

2025-03-19 179

导读：某全球游戏平台为全球数百万玩家提供实时的技能型游戏体验与无缝的实时互动。对该游戏平台而言，保持数据的实时更新和实时分析，对提升玩家互动和留存率至关重要。他们在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战，且成本居高不下。为了更高效地实现实时数据分析，该平台从 Snowflake 迁移到 Databend Cloud，成本降低了 50%，实现了具有秒级任务支持的实时数据 ELT 过程，提供实时数据洞察。

某游戏公司是一家全球游戏平台，擅长为全球数百万玩家提供实时的技能型游戏体验。同时，该游戏公司还在广告、支付和玩家互动领域走在前沿，开发出先进的解决方案，确保其多款热门游戏能够实现无缝的实时互动。

这家全球游戏公司使用 Amazon Aurora 来存储实时的用户活动、广告事件和财务数据。这些数据再以 JSON 文件的形式导出到 S3 Bucket，并被导入 Snowflake 作为原始数据表。利用 Snowflake 的流和任务功能，将包括玩家操作、游戏内购买和匹配详情在内的数据，转化为多个精细化的数据表。对该游戏平台而言，在 Snowflake 中保持数据的准确和实时更新，对提升玩家互动和留存率至关重要，可以确保游戏体验的流畅和及时响应。

Snowflake 在处理实时数据时面临的挑战：云计算成本急剧上升

该游戏平台在使用 Snowflake 进行实时数据摄取和分析时遇到了重大挑战。平台需要实时处理从 Aurora 二进制日志生成到 S3 上的 JSON 文件中的用户数据。然而，Snowflake 在实现亚秒级的数据摄取和转换方面表现不佳，但这对于更新原始数据表和维护实时用户活动流至关重要。

此外，Snowflake 的定价模型在处理此类任务时显得不够实用，它对任务等云服务收取了过高的费用。由于没有直接支持亚秒级任务的 SQL 功能，该游戏平台被迫使用分钟级的任务和 SQL 脚本，导致成本大幅上升。这种无法实时处理数据的限制，造成了数据分析的空白，影响了他们对客户参与度和广告效果的有效评估。

更为重要的是，即使已经是大容量的企业客户，他们也未能得到 Snowflake 足够的官方支持。有一次在向 Snowflake 提交工单后，技术人员等待了四个小时后才收到回复，虽然很快解决了问题，但业务却影响了四个小时以上。

为了降低成本、更高效地利用资源和得到更好的专业服务支持，该平台决定从 Snowflake 迁移到 Databend Cloud。

这家全球游戏平台公司最初在 GitHub 上发现了 Databend Cloud，对 Databend 提出的 Snowflake 开源替代方案产生了浓厚的兴趣。他们对 Databend Cloud 支持熟悉的 SQL 语法和强大的流处理与任务功能印象深刻。其中，特别吸引他们的是 Databend 在数据摄取、转换和分析方面承诺的 10 倍性能提升以及亚秒级任务支持。Databend Cloud 清晰且更具成本效益的定价模型完美契合了公司的需求和目标。

数据的实时导入

Databend Cloud 在 AWS 上提供 Serverless 数据云服务，支持强大的 SQL 功能，并提供了完整的 TPC-H 基准测试。产品特性还包括事务处理和 Python/JS 编写的用户定义函数（UDF），以及支持多种 DML（数据操作语言）操作，如插入、更新和合并等。

该游戏平台仅用了三周时间就将数千个涉及数据摄取、变更数据捕获（CDC）、转换和仪表板的 SQL 查询迁移到 Databend Cloud。由于 Databend Cloud 与 Snowflake 的 SQL 语法兼容，这一迁移过程非常顺利。

为数据需求提供可靠且可预测的定价方案

Databend Cloud 基于计算与存储分离架构，并提供分钟级的自动挂起和恢复功能，大幅降低了成本。与 Snowflake 不同的是，后者的任务调度服务可能占总成本的 50%，且这部分成本不透明无法预估，而 Databend Cloud 提供了更简单且可预测的定价模式。

使用 Databend Cloud 后，公司的成本降低了 50%，这得益于 Databend Cloud 清晰且一致的定价模式。这种透明性使游戏平台能够高效地管理和预测每月的数据管理费用。他们成功地将大量历史数据迁移到 Databend Cloud，实现了每月处理多达 1000 亿行数据，并且所有成本都是完全透明的。这一转变使他们能够为客户提供全面且实时的业务洞察，而无需担心意外的财务负担。

该游戏平台技术负责人表示："我们对 Databend 提供的快速且可靠的服务深表感谢，产品在数据流处理方面的出色表现显然处于行业领先地位。经过顺利的为期三周的整合，我们的平台将 Databend 引入我们的生产系统。感谢所有参与此项目的人的辛勤付出。我们期待看到 Databend 的不断成长，并取得更大的成就！"

轻松优化实时数据处理流程

Databend Cloud 提供强大的流处理和任务执行能力，为客户带来卓越的性能和易用性。该游戏平台通过 Databend Cloud 高效地将大量数据摄取到一个原始表中，并利用多个流无缝分发和转换这些数据，使用外部 UDF 满足各种业务需求。

借助 Databend Cloud，该平台实现了每秒摄取 10,000 行数据的稳定速率，并能安排亚秒级的任务执行，提供实时洞察。这使他们每月能够处理和分析 1000 亿行数据，大大提升了数据操作效率，推动了更好的业务成果。如今，该平台享受着可靠且高效的实时数据处理，使他们能够专注于提供卓越的游戏体验，并 更精细化 地做出数据驱动的决策。

用户收益

得益于 Databend Cloud 与 Snowflake 高度相似的 SQL 语法，以及任务、流处理和多表数据操作的全面支持，该游戏平台从 Snowflake 迁移到 Databend Cloud 的过程非常简单，团队几乎无需额外学习即可上手。
Databend Cloud 实现了真正意义上的实时 ETL，提供秒级甚至亚秒级的数据处理能力，让游戏平台实现了实时数据分析，推动了游戏业务的快速发展。
使用 Databend Cloud 后，游戏平台运营成本显著下降，性价比大幅提升，达到有效的降本增效目标。
Databend Cloud 提供贴心、快速的专属技术支持服务，让客户安心专注于自身业务的创新和发展。

关于 Databend

Databend 是一款开源、弹性、低成本，基于对象存储也可以做实时分析的新式湖仓。期待您的关注，一起探索云原生数仓解决方案，打造新一代开源 Data Cloud。

👨‍💻‍ Databend Cloud：databend.cn

📖 Databend 文档：docs.databend.com

💻 Wechat：Databend

✨ GitHub：github.com/databendlab...

微信关注我们

原文链接：https://my.oschina.net/u/5489811/blog/17946154

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

超越向量：带 Agents 的智能混合搜索

作者：来自 ElasticHan Xiang Choong 仅靠向量搜索无法考虑时间、空间或意图，限制了其有效性。值得庆幸的是，解决方案在于将 Elastic 的传统搜索功能与智能体驱动的 LLMs 结合使用。今天，我们将论证采用智能体驱动的 LLM 方法来提升搜索相关性并解决复杂的用例问题，并以“了解你的客户”（Know-Your-Customer - KYC）用例来展示这些优势。这是之前在 Searchlabs 发布的 Agentic RAG 文章的后续内容。前文介绍了代理在 RAG 用例中的实现，并提供了必要的背景知识。在此基础上，我们进一步扩展了该实现，并集成了一个 Streamlit UI，界面如下所示：智能混合搜索用户界面。关键兴趣点是左边的代理思想/动作，它强调了代理如何制定更复杂的查询。完整代码位于此 Github repo 中。首先，运行以下命令来安装依赖项： pip install elasticsearch==8.17.1 langchain==0.3.15 streamlit==1.37.1 并运行以下命令来启动应用程序： streamlit...

2025-03-19

339

拓数派数据计算系统：“数据+模型”自主耦合 3 月 14 日，拓数派私域大模型生态论坛在杭州盛大举行。本次大会聚焦「“数据 + 模型”自主耦合」这一核心主题，与众多政府领导、业界专家、合作伙伴齐聚一堂，共同探讨智能化跃迁的有效破局之道。拓数派在会上提出，通过“数据+模型”自主耦合，可有效打通私域数据与公域大模型的协同链路，推动智能体的快速落地。 πDataCS：”数据+模型“自主耦合，全面推动智能体落地场景拓数派数据计算系统 PieDataCS 在此次论坛中备受瞩目。如今，公域模型缺乏企业专有知识，而私域数据又普遍存在孤岛问题，导致企业内部知识更新与同步机制难以顺畅运转，面临数据安全与隐私保护问题。此外，基于大模型的一致性表现也不尽人意，由于跨领域专业知识要求高、大参数模型算力消耗大等问题，企业面临落地开发门槛与投入成本高等难题。拓数派创始人兼 CEO 冯雷（Ray Von）在开场演讲《拓数派数据计算系统：“数据 + 模型” 自主耦合》中指出，拓数派创新性提出了 “数据 + 模型” 的自主耦合，为智能体落地场景带来了革命性变革。通过 PieDataCS，企业能够将自身积累的私域数据...

2025-03-19

181

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。