带你认识图数据库性能和场景测试利器LDBC SNB-低调大师

带你认识图数据库性能和场景测试利器LDBC SNB

2022-06-27 433

摘要：本文主要介绍基于交互式查询所用的数据生成器（下文简称Datagen），及LDBC SNB数据如何在华为图引擎服务GES中应用。

本文分享自华为云社区《【图数据库性能和场景测试利器LDBC SNB】系列一：数据生成器简介 & 应用于GES服务》，作者：闹闹与球球

本文的主要内容包括：基于交互式查询所用的数据生成器（下文简称Datagen）介绍，及LDBC SNB数据如何在华为图引擎服务GES中应用。LDBC SNB所预设的节点和关系、数据生成器和系统的测试用例，形成了一个逻辑自恰的数据“武林”，以ldbc snb为测试标准的图数据库产品，就像是行走于其中的侠客们，都得遵循同一套“武林规矩”（测试用例），究竟谁能击败各方高手，问鼎盟主呢？

LDBC SNB概述

LDBC SNB，全称The Linked Data Benchmark Council’s Social Network Benchmark，官网地址：http://ldbcouncil.org。LDBC是一个致力于发展图数据管理的产业联盟组织，它开发了一套标准的benchmarks，用于系统地衡量不同图数据库产品的功能和性能。SNB是基于社交网络场景开发的一组benchmarks，由交互式场景(Interactive workload)和商业智能场景(Business Intelligence workload)组成。

LDBC SNB 项目包括3个组件：数据生成器（Datagen）、测试驱动程序（Test Driver，用于执行Benchmark的测试）和测试用例实现（Reference Implementation，目前提供了基于Cypher(Neo4j)和SQL(PostgreSQL)两种查询语言的测试用例实现）

LDBC SNB有两种工作模式：

1、交互式查询(Interactive workload)，适用于事务性的在线查询场景，比如基础的增删改查、shortestpath、多跳等；

2、商业智能 (Business Intelligence workload)，适用于根据企业业务场景制定的复杂查询和大规模离线图分析等场景。

在不同的工作模式下，【Datagen】、【Test Driver】和【测试用例实现】都是不同的。

章节概览

一、Datagen介绍

数据模型
Data Types
Data Schema
Datagen的安装和运行流程
Datagen的参数设置
常规参数设置
规模因子
序列化模式

二、LDBC SNB在GES中的应用

一、Datagen介绍

数据模型

Data Types

Datagen支持的属性datatype如下, 每种属性都支持单值和列表两种模式。

(截图来源于官官方文档http://ldbcouncil.org/ldbc_snb_docs/ldbc-snb-specification.pdf)

Data Schema

(截图来源于官方文档http://ldbcouncil.org/ldbc_snb_docs/ldbc-snb-specification.pdf)

如图所示，Datagen生成的数据有预设的一套图模型，包括：

8种节点：organization & place & tag & tagClass & person & forum & post & comment

15种关系，如下表：

这些预设的节点和关系，形成了一个逻辑自恰的数据“武林”，以ldbc snb为测试标准的图数据库产品，就像是行走于其中的侠客们，都得遵循同一套“武林规矩”（测试用例），究竟谁能击败各方高手，问鼎盟主呢？且拭目以待吧。

安装和运行流程

在Interactive Workload模式下，Datagen的底座为hadoop；在BI Workload模式下，底座为Spark。

本次调研主要使用基于伪分布式hadoop的Datagen。

1）下载基于hadoop的ldbc datagen

https://github.com/ldbc/ldbc_snb_datagen_hadoop

2）使用伪分布式的hadoop

cd ldbc_snb_datagen_hadoop/
cp params-csv-composite.ini params.ini
wget http://archive.apache.org/dist/hadoop/core/hadoop-3.2.1/hadoop-3.2.1.tar.gz
tar xf hadoop-3.2.1.tar.gz
export HADOOP_CLIENT_OPTS="-Xmx2G"
# set this to the Hadoop 3.2.1 directory
export HADOOP_HOME=`pwd`/hadoop-3.2.1
./run.sh

3）编译时出现缺失的jar包问题解决（报错如下）

解决方案：

从windows环境下载https://simulation.tudelft.nl/maven/dsol/dsol-xml/1.6.9/

手动安装缺失的jar包到本地的maven仓库

mvn install:install-file -Dfile=dsol-xml-1.6.9.jar -DgroupId=dsol -DartifactId=dsol-xml -Dversion=1.6.9 -Dpackaging=jar

4）再次运行，完成生成

sh run.sh

生成的数据文件存储在${outputDir}/social_network。

参数设置

（以下参数介绍均省略了前缀“ldbc.snb.datagen.”，即参数的完整格式为“ldbc.snb.datagen.xxx”）

1）常规参数

2）规模因子

LDBC SNB支持生成不同规模的图数据集，generator.scaleFactor参数各取值对应的点边数目如下表：

(截图来源于官方文档http://ldbcouncil.org/ldbc_snb_docs/ldbc-snb-specification.pdf)

3）序列化模式

Datagen主要有4种Csv文件的序列化模式，所生成的数据格式各有不同。

CsvBasic

基础序列化模式，每种节点、节点和节点之间的关系都有独立的csv文件，如图一所示：

图一每种节点、节点和节点之间的关系都有独立的csv文件，其中person_xx.csv均为person节点的属性数据。

若某个属性有多个取值，例如person的email属性有多个值，则将person的email记录单独生成一个csv文件，并将多个email分成多行记录展示，如图二所示：

图二 person的email属性单独存储，并在多个email分成多条记录展示

CsvComposite（此模式生成的数据，与GES支持的Csv格式相似度最高）

在CsvBasic的基础上，将有多个值的属性和其他属性合并为一个记录，如图三；并将多个值进行合并(以list的格式，分号分隔)，如图四；

图三 person节点的属性记录合并为person_0_0.csv

图四 language和email两个list属性合并在一行

CsvMergeForeign

在CsvBasic基础上，如果节点间关系是1对多的，则将关系作为外键合并入节点的属性文件中展示，如图五

图五将comment-hasCreator->person、comment-isLocatedIn->place、comment-replyOf->post、comment-replyOf->comment关系与comment属性文件合并

CsvCompositeMergeForeign

是CsvComposite和 CsvMergeForeign的结合，既合并了list属性，又将一对多关系进行了压缩表示，如图六

图六 place列表示person-isLocatedIn->place关系的外键表示，同时language和email以list形式展示

各序列化模式对应的参数值如下

CsvBasic

ldbc.snb.datagen.serializer.dynamicActivitySerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.activity.CsvBasicDynamicActivitySerializer
ldbc.snb.datagen.serializer.dynamicPersonSerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.person.CsvBasicDynamicPersonSerializer
#ldbc.snb.datagen.serializer.staticSerializer:ldbc.snb.datagen.serializer.snb.csv.staticserializer.CsvBasicStaticSerializer

CsvComposite

ldbc.snb.datagen.serializer.dynamicActivitySerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.activity.CsvCompositeDynamicActivitySerializer
ldbc.snb.datagen.serializer.dynamicPersonSerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.person.CsvCompositeDynamicPersonSerializer
ldbc.snb.datagen.serializer.staticSerializer:ldbc.snb.datagen.serializer.snb.csv.staticserializer.CsvCompositeStaticSerializer

CsvMergeForeign

ldbc.snb.datagen.serializer.dynamicActivitySerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.activity.CsvMergeForeignDynamicActivitySerializer
ldbc.snb.datagen.serializer.dynamicPersonSerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.person.CsvMergeForeignDynamicPersonSerializer
ldbc.snb.datagen.serializer.staticSerializer:ldbc.snb.datagen.serializer.snb.csv.staticserializer.CsvMergeForeignStaticSerializer

CsvCompositeMergeForeign

ldbc.snb.datagen.serializer.dynamicActivitySerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.activity.CsvCompositeMergeForeignDynamicActivitySerializer
ldbc.snb.datagen.serializer.dynamicPersonSerializer:ldbc.snb.datagen.serializer.snb.csv.dynamicserializer.person.CsvCompositeMergeForeignDynamicPersonSerializer
ldbc.snb.datagen.serializer.staticSerializer:ldbc.snb.datagen.serializer.snb.csv.staticserializer.CsvCompositeMergeForeignStaticSerializer

二、LDBC SNB在GES中的应用

Datagen生成的数据集与GES格式有以下3点区别

不同label的点id之间可能存在id重复的现象；
knows关系是双向的；
没有label列。

使用DatagenToGES数据转换脚本(基于CsvComposite序列化模式)可以将LDBC数，需在python3.6环境下运行。

DatagenTOGES脚本有如下功能：

将8种节点类型映射为1-8个数字前缀，将原id转换为以数字前缀为开头、长度为20bytes的新id，解决不同label的点之间id重复的问题；
增加knows边文件的反向边数据；
增加label列。

转换前文件格式(CsvComposite序列化模式)：

转换后文件格式：

DatagenToGES转换规模因子为100的大规模数据集用时约半个小时。

数据转换脚本核心代码片段：

在GES中导入转换后的LDBC SNB(示例数据为SF0.1)，并执行PageRank算法，效果如下图：

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5545717

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源大咖说 - Linus 与 Jim对话中国开源

2022年6月22日，Linux之父Linus Torvalds与Linux基金会执行总裁Jim Zemlin在一个中国区线上活动 - OpenCloudOS社区开放日，展开了一场精彩的开源对话，分享了Linux内核的发展、开源安全、以及就中国开源的情况给出了精辟的分析和建议。这是自2019年Linus和Jim在疫情爆发后第一次在中国社区活动中对话中国开源。让我们跟大家分享一下这个尖峰对话的一些精彩内容吧，希望对你的开源之路有所启发！ Linus直言中国的Linux开发者及贡献应该远比现在的要更多！在这里，Jim和Linus也谈及中国开源发展的挑战。协作是开源的最大关键，中西的语言及文化或许是开发者参与的一大障碍，让中国开发者们与国外的开发者上交流产生了具大的挑战，但更重要的是，中国开源社区需要业界的企业高管了解什么是开源，及给予其技术和开发团队更大的支持，企业需要一些具技术背景的管理人员，作为企业、开发者之间和社区之间的桥梁，让机构明白开发者参与开源的重要性和需要更多时间参与在开源和贡献。在企业的层面上，深度参与和在社区贡献，才可以让企业上发挥最大的价值，不单是在商业上，并在业界及技...

2022-06-28

417

序近期看到阿里云性能测试 PTS 接口测试开启免费公测，本着以和大家交流如何实现高效的接口测试为出发点，本文包含了我在接口测试领域的一些方法和心得，希望大家一起讨论和分享，内容包括但不仅限于：服务端接口测试介绍接口测试自动化介绍接口测试自动化实践关于接口测试自动化的思考和总结服务端接口测试介绍什么是服务端？一般所说的服务端是指为用户在 APP 或 PC 使用的互联网功能提供数据服务的背后的一切。以天猫精灵智能音箱系列的产品链路为例，服务端便是网关（包括网关在内）之后的链路。什么是接口？官方点说，是计算机系统中两个独立的部件进行信息交换的共享边界。通俗点说，就是服务端对外提供数据服务最常用的信息交换方式。提供数据服务的服务端是个可大可小的机构，做的事大多不止一件，它做了这么多事，最终的目标是给 APP 或其它调用方使用，于是服务端就派出了几个代表，比如 API 1 负责提供用户信息，API 2 负责提供设备信息，API 3 负责提供播放的音频信息等等。同事，服务端规定好跟 API 1 通讯的接头暗号是 param1，param2…，跟 API 2 通讯的接头暗号是 p...

2022-06-27

372

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。