首页 文章 精选 留言 我的

精选列表

搜索[文件对比],共10000篇文章
优秀的个人博客,低调大师

TPC-H 基准测试:Databend Cloud 与 Snowflake 对比

快速概览 TPC-H TPC-H 基准测试是评估决策支持系统的标准,专注于复杂查询和数据维护。在这项分析中,我们使用 TPC-H SF100(SF1 = 600万行)数据集比较了 Databend Cloud 和 Snowflake,该数据集包含 100GB 数据和大约 6 亿行,跨越 22 个查询。 免责声明 TPC 基准测试™ 和 TPC-H™ 是交易处理性能委员会(TPC)的商标。我们的基准测试虽然受到 TPC-H 的启发,但与官方 TPC-H 结果不直接可比。 Snowflake 和 Databend Cloud Snowflake:Snowflake 因其先进的功能而闻名,例如分离存储和计算、按需可扩展计算、数据共享和克隆能力。 Databend Cloud:Databend Cloud 提供与 Snowflake类似的功能,是一个云原生数据仓库,也将存储与计算分离,并根据需要提供可扩展的计算能力。 它是从开源Databend 项目发展而来,定位为 Snowflake 的现代化、高性价比替代品,特别适合大规模分析。 性能和成本比较 在数据加载方面,Databend 的成本比 Snowflake 低约 67%。 在查询执行方面,Databend 比 Snowflake 约高出 60% 的成本效率。 注意 基准测试中没有进行调优。结果基于 Snowflake 和 Databend Cloud 的默认设置。 记住,不要只是相信我们的话 —— 我们鼓励您自己运行并验证这些结果。 数据加载基准测试 表名 Snowflake(695s, 成本 $0.77) Databend Cloud(446s, 成本 $0.25) 行数 customer 18.137 13.436 15,000,000 lineitem 477.740 305.812 600,037,902 nation 1.347 0.708 25 orders 103.088 64.323 150,000,000 part 19.908 12.192 20,000,000 partsupp 67.410 45.346 80,000,000 region 0.743 0.725 5 supplier 3.000 3.687 10,000,000 总时间 695s 446s 总成本 $0.77 $0.25 存储大小 20.8GB 24.5GB 查询基准测试:冷启动 查询 Snowflake(总计 207s, 成本 $0.23) Databend Cloud(总计 166s, 成本 $0.09) TPC-H 1 11.703 8.036 TPC-H 2 4.524 3.786 TPC-H 3 8.908 6.040 TPC-H 4 8.108 4.462 TPC-H 5 9.202 7.014 TPC-H 6 1.237 3.234 TPC-H 7 9.082 7.345 TPC-H 8 10.886 8.976 TPC-H 9 18.152 13.340 TPC-H 10 13.525 12.891 TPC-H 11 2.582 2.183 TPC-H 12 10.099 8.839 TPC-H 13 13.458 7.206 TPC-H 14 8.001 4.612 TPC-H 15 8.737 4.621 TPC-H 16 4.864 1.645 TPC-H 17 5.363 14.315 TPC-H 18 19.971 12.058 TPC-H 19 9.893 12.579 TPC-H 20 8.538 8.836 TPC-H 21 16.439 12.270 TPC-H 22 3.744 1.926 总时间 207s 166s 总成本 $0.23 $0.09 查询基准测试:热启动 查询 Snowflake (总计 138s, 花费 $0.15) Databend Cloud (总计 124s, 花费 $0.07) TPC-H 1 8.934 7.568 TPC-H 2 3.018 3.125 TPC-H 3 6.089 5.234 TPC-H 4 4.914 3.392 TPC-H 5 5.800 4.857 TPC-H 6 0.891 2.142 TPC-H 7 5.381 4.389 TPC-H 8 5.724 5.887 TPC-H 9 10.283 9.621 TPC-H 10 10.368 8.524 TPC-H 11 1.165 1.364 TPC-H 12 7.052 5.352 TPC-H 13 12.829 6.180 TPC-H 14 3.288 2.725 TPC-H 15 3.475 2.748 TPC-H 16 4.094 1.124 TPC-H 17 4.203 13.757 TPC-H 18 18.583 11.630 TPC-H 19 3.888 7.881 TPC-H 20 6.379 5.797 TPC-H 21 10.287 9.806 TPC-H 22 1.573 1.122 总时间 138s 124s 总花费 $0.15 $0.07 复现基准测试 您可以按照以下步骤复现基准测试。 基准测试环境 Snowflake 和 Databend Cloud 都在类似条件下进行了测试: 参数 Snowflake Databend Cloud 计算集群大小 小型 小型 vCPU 16 16 价格 $4/小时 $2/小时 AWS 区域 us-east-2 us-east-2 存储 AWS S3 AWS S3 TPC-H SF100 数据集,来源于Amazon Redshift,已经加载到 Databend Cloud 和 Snowflake 中,没有进行任何特定的调优。 基准测试方法 我们对查询执行进行了冷热两轮运行: 冷运行:在执行查询之前,数据仓库被挂起并恢复。 热运行:数据仓库没有被挂起,使用本地磁盘缓存。 先决条件 拥有一个Snowflake 账户 创建一个Databend Cloud 账户. 数据加载 Snowflake 数据加载: 登录您的Snowflake 账户. 创建对应 TPC-H 架构的表。SQL 脚本. 使用COPY INTO命令从 AWS S3 加载数据。SQL 脚本. Databend Cloud 数据加载: 登录您的Databend Cloud 账户. 创建必要的表,与 TPC-H 架构相符。SQL 脚本. 使用类似 Snowflake 的方法从 AWS S3 加载数据。SQL 脚本. TPC-H 查询 Snowflake 查询: 登录您的Snowflake 账户. 运行 TPC-H 查询。SQL 脚本. Databend Cloud 查询: 登录您的Databend Cloud 账户. 运行 TPC-H 查询。SQL 脚本.

优秀的个人博客,低调大师

OpenCart 中文更新 | 系统界面更新对比(第 1 期)

前言:光大网络开发的开源独立站建站OpenCart3.8中文/国际专业版,至今已上线了半年多的时间,今天我们就来介绍一下,OpenCart从3.7升级到3.8版本之后,带来了哪些明显改变!有哪些比较明显的功能更新。 这次我们将介绍OpenCart3.8中变化最大的功能:工作台美化、新手引导、目录简化&归类、后台功能搜索、前台页面编辑器 ✦✦ 01、工作台美化 3.7版页面↑ 3.8版页面↑ 3.7版中,我们保留了较多的OpenCart的原生风格,视觉画风也较为硬朗。 在3.8版本中我们视觉效果,整体看上去更加的顺滑、统一、和谐。 继续来看更多细节 ✦✦ 02、新手引导 为了开源独立站OpenCart3.8 新用户能更顺利部署独立站系统,尽快的完成开店。我们增加了友好的“新手引导”。按照引导中的选项卡,依次点击配置商城。就可以快速将商城运营起来,让你不再蒙圈! ✦✦ 03、目录简化&归类 3.7版↓ 3.8版↓ 我们将左侧的菜单栏进行了极大的简化,以更符合用户使用习惯的方式进行了重新排列,极大地降低学习成本。相同大小展示有效信息提升2倍以上! 举个例子:之前的“商品导入/导出”是在左侧二级菜单栏中。优化之后,我们将其并入到商品管理中(如下图)更符合日常运营的使用习惯。 ✦✦ 04、后台功能搜索 非常实用的一个功能——随着后台功能日益丰富完善。想要到对应的模块,所需的点击次数越来越多,有了它之后 可以让你一键直达“目的地”,极大节约了点击翻找功能的时间! ✦✦ 05、前台页面编辑器 如图↗ OpenCart3.8 版本中的新增功能,店铺装修效率直接提升200%。快捷又方便的增删查改 页面中的不同模块。 关注我们,定期分享开源建站系统——opencart中文最新动态!

优秀的个人博客,低调大师

Python与Go请求速度对比

上一篇关于Python和Go的文章是: 什么?Python Celery 也能调度Go worker? 文中我们讨论了Python Celery调度Go写的worker的方法。 而在优劣互补! Python+Go结合开发的探讨 一文中,我们讨论了Go在单线程计算性能上的优势。 现在,考虑这样的一种场景: 我们需要从某些网址中同步数据并进行计算,保存到本地redis缓存中。 现在,我们可以通过编写Go Worker的方式,将计算和保存的过程保存在本地的redis缓存中,然后使用Celery来调度这些任务。 问题在于,从这些网址中获取数据的步骤,写在Go Worker里是否合适?Go进行网络请求是否比Python更稳定、速度更快?今天我们就来简单地比较一下。 1.同步比较 首先,试试Go语言请求百度,获得这个请求和拿到回应之间的时间差: 结果如下: 可以看到,平均耗时在250ms左右。 然后测试Python的requests模块请求网站: 结果如下: 平均约220ms,似乎在单个请求的情况下,Python略胜一筹。 但是单个请求的比较是没有意义的,因为这个差异可以忽略不计。 重点还是在下面并发请求的比较上。 2.并发比较 现在,我们试试用Go语言并发请求10次百度: 效果如下: 平均消耗在300ms左右,和单次请求差不多,速度还是相当快的。 接下来试试Python的并发请求,值得注意的是,这里没有用requests模板,因为requests模块是同步的,这一点一定要注意。 因此在这里需要使用aiohttp进行并发请求: 测试结果如下: 可以看到,平均耗时在500ms左右,在并发的时候,其速度相比于Go略逊一筹。 3.总结 可以看到,Python在单个请求的时候(使用requests模块)速度比Go稍微快一丢丢,但是这样的区别几乎可以忽略不计。 在并发10次请求的情况下,Go平均耗时300ms,而Python平均耗时500ms,Go略胜一筹。 我们的文章到此就结束啦,如果你喜欢今天的Python 实战教程,请持续关注Python实用宝典。 有任何问题,可以在公众号后台回复:加群,回答红字的验证信息,进入互助群询问。 原创不易,希望你能在下面点个赞和在看支持我继续创作,谢谢! 点击下方阅读原文可获得更好的阅读体验 Python实用宝典(pythondict.com)不只是一个宝典欢迎关注公众号:Python实用宝典 本文分享自微信公众号 - Python实用宝典(pythondict)。如有侵权,请联系 support@oschina.cn 删除。本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册