首页 文章 精选 留言 我的

精选列表

搜索[问题报告],共10014篇文章
优秀的个人博客,低调大师

MatrixOne 0.2.0 性能测试报告

一、测试结果 最新发布的MatrixOne 0.2.0版本新增了Benchmarks章节,针对常规测试程序SSB与纽约出租车数据测试,在支持分布式强一致性前提下,基于向量化执行引擎和因子化加速的技术加持,MatrixOne计算引擎在查询速度方面表现突出,可以承载TB级别数据的快速查询,与同类数据库产品相比有较明显的优势。 单机单表的SSB测试:MatrixOne比Clickhouse快50%以上 单机多表的SSB测试:MatrixOne比Clickhouse快100%以上 集群多表的SSB测试:大幅快于Clickhouse。由于Clickhouse集群多表的能力有限,多表测试不详细展开对比。 MatrixOne项目作为一款从零开始自主打造的超融合数据库项目,经过8个月左右的开发,在分布式强一致的能力融合后,计算查询性能依然达到了可以与世界顶尖OLAP数据库性能媲美水平。 未来MatrixOne还将在融合更多引擎能力的同时坚持对极致性能的持续追求,为用户创造极简、快速的数据库产品体验。 二、测试内容 单机与集群上SSB测试单表、多表查询 单机服务器上纽约出租车数据的单表查询 测试硬件配置:本次所有测试所使用的服务器配置均为「AMD EPYC™ Rome CPU 2.6GHz/3.3GHz, 16核, 32 GiB 内存」 更加详细的测试信息可参见 「MatrixOne官方文档网站」 三、SSB测试 SSB测试基于TPC定义的TCP-H规范,是一套用于测试数据库产品在星型模式下性能表现的基准测试规范,目前在学术界和工业界都得到了广泛的使用。它将TPC-H的雪花模式简化为了星型模式,将基准查询由TPC-H的复杂Ad-Hoc查询改为了结构更固定的OLAP查询。 1. 测试概况 为体现MatrixOne的单表查询能力,特将SSB测试中所含有的五张数据表:lineorder, part, supplier, customer, dates合成为一张宽表:lineorder_flat。然后利用单机服务器进行单表查询(宽表共包含6亿行数据,总共约220GB空间)。此外,按照SSB既定的部分查询语句,利用单机与集群分别进行多表查询(共包含6亿行数据,主表占据约67GB空间)。同时由于MatrixOne对过滤的支持不完善,因此在标准SSB测试SQL中去除了需要带过滤的SQL语句。 2. 测试流程 SSB测试数据由dbgen命令产生,对数据预处理后使用load data infile命令将数据导入已建好的MatrixOne数据表中,最后进行相关查询操作。具体测试流程请参见已发布的「SSB Test with MatrixOne」文档。 3. 测试结果 >>>单机单表测试<<< 在单机单表测试中,针对给定的版本,MatrixOne在每个查询上的运行速度均快于Clickhouse,总查询时间仅为Clickhouse的65%,结果如下: 单机单表测试 Q2 Q3.1 Q3.2 Q4.1 Q4.2 Q4.3 SUM MO 0.2.0 2.71 4.23 11.05 2.94 4.27 16.91 42.11 ClickHouse v21.11.4.14 3.82 5.01 21.34 3.1 5.32 26.32 64.91 >>>单机多表测试<<< 在单机多表测试中,针对给定的版本,MatrixOne在每个查询上的运行速度均快于Clickhouse,在总查询时间上表现优异,为Clickhouse的50%,结果如下: 单机多表测试 Q2 Q3.1 Q3.2 Q4.1 Q4.2 Q4.3 SUM MO 0.2.0 13.6 12.94 23.56 13.96 19.72 46.07 129.85 ClickHouse v21.11.4.14 28.05 27.81 54.84 27.2 41.82 85.99 265.71 四、纽约出租车(NYC)数据测试 纽约市出租车数据集收集了纽约市数十亿次出租车出行的详细信息,包括接送日期、时间、接送地点、行程距离、详细票价、费率、支付类型、以及乘客数量(大部分原始数据来自NYC Taxi & Limousine Commission)。 1. 测试概况 使用单机服务器对NYC数据进行单表查询(宽表共包含17亿行数据,总共约450GB空间)。由于目前MatrixOne对数据表分区的支持还不完善,因此去掉了Clickhouse中对Partition命令的使用。 2. 测试流程 NYC测试数据目前需要通过PostgreSQL进行下载,并导入MatrixOne的数据表,整个数据下载及导入的流程可参考「GitHub」以及官方文档「NYC Test with MatrixOne」。 3. 测试结果 >>>单机单表测试<<< 在NYC数据的单机单表测试中,针对给定的版本,除Q1之外,MatrixOne的运行速度均快于Clickhouse,总查询时间略少于Clickhouse。具体结果如下: 单机单表测试 Q1 Q2 Q3 Q4 SUM MO 8.37 2.67 3.48 5.34 19.86 ClickHouse 5.99 4.13 4.56 7.09 21.77 五、欢迎加入MatrixOne社区 官网:matrixorigin.cn 源码:github.com/matrixorigin/matrixone Slack:matrixoneworkspace.slack.com

优秀的个人博客,低调大师

会议 | JavaOne 2017参会报告

​ 序言 2017年国庆节,蚂蚁金服的几位小伙伴们前去参加了Oracle在旧金山举行的JavaOne 2017会议。来自全球多家公司的技术专家和听众们齐聚一堂,分享、见证了世界最前沿的应用开发技术。 本次会议除了必备的Java语言平台最新特性介绍之外,还有几个有特色的话题,包括:云计算、FAAS、微服务、大数据、人工智能、区块链等热点或前沿技术。本文试着从中挑出java语言平台、FAAS给大家做一个介绍。 Java语言平台 1. JDK9的新特性今年9月Oracle发布了JDK9版本,有许多新特性,本次大会也花了大量篇幅做了重点介绍。其中, Azul Systems公司的CTO对其做了一个精彩的总结,末尾展示了该公司自行研发的商业版JDK ---- Zulu Java的一些增强特性,值得大家借鉴。 JDK9最大的变化是模块化 正如其项目代号“拼

优秀的个人博客,低调大师

Apache Tika使用报告

实验对象:Apache Tika 实验目的:通过尝试使用Apache Tika进行文件格式转换,加深对搜索引擎的理解和认识 目录 Apache Tika简介 配置Apache Tika运行环境 用GUI图形界面进行文件格式转换的尝试 用命令行使用Tika 在java工程中使用Tika 1. Apache Tika 简介 Apache Tika是一个用java编写的内容检测和分析框架,是 Apache的 Lucene项目的子项目。它能够检测很多不同文件类型的文件,并提取文件的元数据和结构化文本。它提供了一个命令行界面和一个GUI界面,还提供一个java库。可用于 自然语言处理过程中文本内容的抽取,以及 搜索引擎进行数据抓取后的处理步骤。 Tika诞生历程 Tika 架构 Tika 体系结构的四个模块 语言检测机制 MIME检测机制 Parser接口 Tika Facade类 Tika主要功能 文档类型检测 内容提取 元数据提取 语言检测 2. 配置Apache Tika运行环境 验证java环境 如果没有配置java环境,请 下载并 配置Java JDK 下载Tika的源代码 Mirrors for tika-1.14-src.zip和Tika的jar包 Mirrors for tika-app-1.14.jar Tika官网的下载页面 在cmd里键入命令打开GUI图形界面 命令行打开tika 3. 用GUI图形界面进行文件格式转换的尝试 编写一个二进制文件tika_test.txt放在C:\目录下 tika_test.txt 把tika_test.txt拖进gui里,默认显示提取的元数据 MetaData 解析成Formatted Text Formatted Text 解析成Plain text Plain text 提取Main content 居然是空的 Main content 解析成XML xml 解析成json json 4. 用命令行使用Tika 先来查看Tika命令行的基本参数 基本参数 用命令把doc解析为text doc text 5. 在java工程中使用Tika 在Eclipse中新建Java项目,并导入tika-app-1.14.jar 编写Test.java import org.apache.tika.Tika; import java.io.*; /** * Created by Administrator on 2017/5/15. */ public class Test { public static void main(String[] args) throws Exception{ //二进制文件路径 String fileName="c:/tika_test.txt"; //二进制文件 File file1 = new File(fileName); //通过tika获取文件内容 Tika tika = new Tika(); String filecontent = tika.parseToString(file1); //打印文件内容 System.out.println("Extracted Content: " + filecontent); try{ //要转换到的文件 File file =new File("c:/ddd.doc"); //文件不存在就新建 if(!file.exists()){ file.createNewFile(); } //把二进制文件内容写入doc文件 FileWriter fw = new FileWriter(file.getAbsoluteFile()); BufferedWriter bw = new BufferedWriter(fw); bw.write(filecontent); bw.close(); System.out.println("Done"); }catch(IOException e){ e.printStackTrace(); } } } 运行程序 在Eclipse中运行 生成ddd.doc,如下图 生成的doc文件 参考链接:Apache Tika from EN-WikipediaTika常见格式文件抽取内容并做预处理Apache Tika:通用的内容分析工具cmd中java -jar *.jar 提示Unable to access jarfile *.jar或Windows不能用鼠标双击运行jar文件怎么办解决方案TIKA环境配置 相关链接:Apache Tika 官网Apache Tika WikiApache Tika in GithubBook Tika in ActionNatural Language Processing with Python潜在语义索引

优秀的个人博客,低调大师

HBaseCon2016参会报告

会议概要 2016年5月24日,HBaseCon2016于加州旧金山市内召开,我(绝顶)和大沙作为speaker参加了这次会议并在40分钟的session里介绍了HBase在阿里搜索场景中的应用及改进。本次会议参会的公司阵容包括谷歌、微软、苹果、FaceBook、阿里巴巴等,是有史以来最豪华的,也从一个侧面反应了HBase的发展前景和影响力。会议的主要session列表如下: 重点议题和内容 下面分别从开场、前沿技术细节和结尾展望等几个方面分别介绍本次会议的重要议题,各位同学可以选择感兴趣的部分进行阅读 开场篇 高大上的展示屏 不到8点,会场已经来了不少人 9点钟开始opening session,Sponsor里最吸引眼球的就是高大上的谷歌 世界范围大量的使用者,影响力堪比麦当劳 快速的版本迭代说明了社区的活跃 来自世界各地的新晋committer

优秀的个人博客,低调大师

Topk问题

题目描述: 输入n个整数,找出其中最小的K个数。例如输入4,5,1,6,2,7,3,8这8个数字,则最小的4个数字是1,2,3,4。 解决思路: 方法一:首先不要想着使用排序。因为面试官在考察你的时候经常用大数据来考察,比如100亿之类的。应该使用堆排序,用大根堆。 import java.util.*; public class Solution { public ArrayList<Integer> GetLeastNumbers_Solution(int [] input, int k) { ArrayList<Integer> list = new ArrayList<Integer>(); if(k > input.length || k == 0) return list; PriorityQueue<Integer> maxHeap = new PriorityQueue<Integer>(k, new Comparator<Integer>() { public int compare(Integer o1, Integer o2) { return o2 - o1; } }); for(int i = 0; i < k; i++) maxHeap.add(input[i]); for(int i = k; i < input.length; i++){ if(input[i] < maxHeap.peek()){ maxHeap.poll(); maxHeap.add(input[i]); } } Iterator<Integer> iterator = maxHeap.iterator(); while (iterator.hasNext()){ list.add(iterator.next()); } return list; } } 方法二:等我一个个实现再写出来。 //还没写

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册