BlockETL软件包用于比特币区块链数据分析中的数据抽取/转换/加载（ETL），可以从原始的比特币区块文件中抽取区块与交易数据并加载入通用SQL数据库，以便于后续的数据分析处理，非常适合区块链数据分析相关的毕业设计或课题研究项目。BlockETL官方下载地址：http://sc.hubwiz.com/codebag/blocketl-java/。
1、软件包概述
BlockETL软件包的主要特性如下：
- 直接读取原始区块文件，抽取速度快
- 将原始区块和交易数据加载至SQL数据库，便于后续的区块链数据分析
- 支持多流水线并行处理，可自己控制并发流水线数量
- 结构设计清晰，代码便于扩展
BlockETL软件包采用Java开发，支持Windows、OSX和Linux等多种操作系统，当前版本1.0.0，主要类/接口及关系如下图所示：
![在这里插入图片描述]( "在这里插入图片描述")
BlockETL软件包的目录组织及主要代码文件清单如下：
| 代码文件 |
说明 |
| build.gradle |
Gradle根项目构建文件 |
| settings.gradle |
Gradle根项目配置文件 |
| blocketl/ |
blocketl库代码目录 |
| blocketl/build.gradle |
blocket库gradle构建文件 |
| blocketl/src/main/java/blocketl/IPipe.java |
ETL流水线管道接口定义 |
| blocketl/src/main/java/blocketl/Pipeline.java |
ETL流水线模型类 |
| blocketl/src/main/java/blocketl/Kit.java |
ETL流水线并发管理类 |
| blocketl/src/main/java/blocketl/btc/FileExtractor.java |
Bitcoin区块文件抽取管道实现类 |
| blocketl/src/main/java/blocketl/btc/DummyTransformer.java |
Bitoin区块及交易数据转换实现类 |
| blocketl/src/main/java/blocketl/btc/SqlLoader.java |
SQL数据库加载类 |
| sql/ |
SQL脚本目录 |
| sql/ddl.sql |
数据库及表结构定义SQL脚本 |
| sql/index.sql |
数据表索引构建SQL脚本 |
| sql/stats.sql |
分析统计演示SQL脚本 |
| demo/ |
blocketl库使用演示代码目录 |
| demo/build.gradle |
演示应用gradle构建文件 |
| demo/src/App.java |
演示应用主文件 |
| demo/src/log4j.properties |
log4j日志配置文件 |
2、软件包使用方法
在开始使用软件包之前，请先安装好gradle 6、jdk 8和所选择的SQL数据库。下面以MySQL为例说明使用过程：
2.1 初始化数据库/表结构
进入软件包的sql目录，使用ddl.sql脚本创建数据库和基础表结构：
mysql -u root -p < ddl.sql
上述命令会要求交互输入root用户的密码，也可以使用其他有足够权限的用户名/密码。成功执行后，上述命令将创建数据库bitcoin_analysis和基础数据表：
![在这里插入图片描述]( "在这里插入图片描述")
- blocks：比特币区块头数据表
- transactions：比特币交易头数据表
- tx_inputs：比特币交易输入数据表
- tx_output：比特币交易输出数据表
2.2 抽取流程配置
首先根据自己的基础环境配置，修改demo/src/App.java文件中的区块目录和数据库连接信息并保存：
String dataDir = "…"; //区块数据文件目录
String dbUrl = "jdbc:…. "; //SQL数据库连接URL
String dbUser = "…", //SQL数据库用户名
String dbPassword = "…"; //SQL数据库密码
String network = "mainnet"; //主网：mainnet，测试网：testnet
2.3 数据抽取与加载
进入软件包的demo目录，使用gradle run或gradle.bat run命令启动演示应用，可以看到屏幕输出的数据加载进度：
![在这里插入图片描述]( "在这里插入图片描述")
软件包的demo应用除了在屏幕输出日志，也会记录到当前目录下的app.log文件中，可以利用此文件排查故障。
要长时间无人值守运行，可以使用gradle distZip打包后再执行编译好的程序。
2.4 数据分析
一旦完成区块链数据的抽取并加载到SQL数据库中，就可以进行数据分析了。
为了提高数据加载速度，在之前的ddl.sql中没有定义数据表的索引，因此在进行数据分析之前，首先要使用index.sql来建立数据表索引以加速统计查询的执行。进入sql目录执行如下命令完成索引构建，根据要求输入密码：
mysql -u root -p < index.sql
索引建立之后，就可以利用SQL进行数据分析了。预置的stats.sql提供了几个基本的分析，可以作为参考。
官方下载地址：BlockETL - 汇智网
