首页 文章 精选 留言 我的

精选列表

搜索[加密工具],共10000篇文章
优秀的个人博客,低调大师

区块链数据分析必备工具BlockETL

BlockETL软件包用于比特币区块链数据分析中的数据抽取/转换/加载(ETL),可以从原始的比特币区块文件中抽取区块与交易数据并加载入通用SQL数据库,以便于后续的数据分析处理,非常适合区块链数据分析相关的毕业设计或课题研究项目。BlockETL官方下载地址:http://sc.hubwiz.com/codebag/blocketl-java/。 1、软件包概述 BlockETL软件包的主要特性如下: 直接读取原始区块文件,抽取速度快 将原始区块和交易数据加载至SQL数据库,便于后续的区块链数据分析 支持多流水线并行处理,可自己控制并发流水线数量 结构设计清晰,代码便于扩展 BlockETL软件包采用Java开发,支持Windows、OSX和Linux等多种操作系统,当前版本1.0.0,主要类/接口及关系如下图所示: BlockETL软件包的目录组织及主要代码文件清单如下: 代码文件 说明 build.gradle Gradle根项目构建文件 settings.gradle Gradle根项目配置文件 blocketl/ blocketl库代码目录 blocketl/build.gradle blocket库gradle构建文件 blocketl/src/main/java/blocketl/IPipe.java ETL流水线管道接口定义 blocketl/src/main/java/blocketl/Pipeline.java ETL流水线模型类 blocketl/src/main/java/blocketl/Kit.java ETL流水线并发管理类 blocketl/src/main/java/blocketl/btc/FileExtractor.java Bitcoin区块文件抽取管道实现类 blocketl/src/main/java/blocketl/btc/DummyTransformer.java Bitoin区块及交易数据转换实现类 blocketl/src/main/java/blocketl/btc/SqlLoader.java SQL数据库加载类 sql/ SQL脚本目录 sql/ddl.sql 数据库及表结构定义SQL脚本 sql/index.sql 数据表索引构建SQL脚本 sql/stats.sql 分析统计演示SQL脚本 demo/ blocketl库使用演示代码目录 demo/build.gradle 演示应用gradle构建文件 demo/src/App.java 演示应用主文件 demo/src/log4j.properties log4j日志配置文件 2、软件包使用方法 在开始使用软件包之前,请先安装好gradle 6、jdk 8和所选择的SQL数据库。下面以MySQL为例说明使用过程: 安装mysql服务器,参考文档:Install and Upgrading MySQL。 安装jdk 8,参考文档:JDK 8 Installation 安装gradle 6,参考文档:Gradle Installation。 2.1 初始化数据库/表结构 进入软件包的sql目录,使用ddl.sql脚本创建数据库和基础表结构: mysql -u root -p < ddl.sql 上述命令会要求交互输入root用户的密码,也可以使用其他有足够权限的用户名/密码。成功执行后,上述命令将创建数据库bitcoin_analysis和基础数据表: blocks:比特币区块头数据表 transactions:比特币交易头数据表 tx_inputs:比特币交易输入数据表 tx_output:比特币交易输出数据表 2.2 抽取流程配置 首先根据自己的基础环境配置,修改demo/src/App.java文件中的区块目录和数据库连接信息并保存: String dataDir = "…"; //区块数据文件目录 String dbUrl = "jdbc:…. "; //SQL数据库连接URL String dbUser = "…", //SQL数据库用户名 String dbPassword = "…"; //SQL数据库密码 String network = "mainnet"; //主网:mainnet,测试网:testnet 2.3 数据抽取与加载 进入软件包的demo目录,使用gradle run或gradle.bat run命令启动演示应用,可以看到屏幕输出的数据加载进度: 软件包的demo应用除了在屏幕输出日志,也会记录到当前目录下的app.log文件中,可以利用此文件排查故障。 要长时间无人值守运行,可以使用gradle distZip打包后再执行编译好的程序。 2.4 数据分析 一旦完成区块链数据的抽取并加载到SQL数据库中,就可以进行数据分析了。 为了提高数据加载速度,在之前的ddl.sql中没有定义数据表的索引,因此在进行数据分析之前,首先要使用index.sql来建立数据表索引以加速统计查询的执行。进入sql目录执行如下命令完成索引构建,根据要求输入密码: mysql -u root -p < index.sql 索引建立之后,就可以利用SQL进行数据分析了。预置的stats.sql提供了几个基本的分析,可以作为参考。 官方下载地址:BlockETL - 汇智网

优秀的个人博客,低调大师

Mypy 0.740 发布,Python 静态类型检查工具

Mypy 0.740已经发布了,此版本包括许多特性、错误修复和 library stub更新。Mypy 是处于实验性阶段的Python 静态类型检查器,旨在结合动态类型和静态类型的优点,将 Python 的表现力和便利性与强大的类型系统和编译时(compile-time)类型检查相结合,提供编译时的类型检查和高效地编译为原生代码,无需使用重量级和耗费 runtime 开销的 Python 虚拟机。更新内容如下: str.format调用的类型检查 在此版本中,对字符串文本的 format 方法的调用将根据格式字符串语法的规则(format string syntax)和格式规范 mini 语言进行类型检查。同时修复了 % 格式的部分错误问题,并允许字节和字符串之间的错误交互。下面是 Mypy 现在可以捕捉到的一些错误: 无效的格式字符串语法 无效的转换类型或说明符 不正确的参数或字段名 数字格式的类型不匹配 索引或属性表达式中的类型错误 改进 check_untyped_defs 此版本中,在使用 check_untyped_defs 时,能够正确地给出对象的类型,对非类型化方法进行更好的检查。此外,禁止在非类型化函数中分配空集合(即data=[ ] )造成的大多数“needs type annotation”错误。 严格处理上下文管理器对象 Mypy 0.730 增加了对使用从 __exit__ 返回类型中使用文字类型的支持,以确定 with 语句是否有可能隐藏异常,这可能影响 Mypy 在 with 语句之后是否认为代码是可访问的。为了更好地定位由此引起的问题的来源,当声明的__exit__ 方法返回布尔但始终返回 false 时,Mypy 会报出错误。 其他的改进和 bug 修复 为 pathlib.Path.open提供更好的类型 将 __class_getitem__ 作为一个隐式类方法,类似于 __init_subclass__ att.s 支持eq 和 order 参数 修复Mypy 守护进程中的崩溃 修复与__getattr__和 __call__ 相关的崩溃 修复增量模式崩溃 除了上述的更新内容,还其他内容,详情请查看发布主页。

优秀的个人博客,低调大师

Zotero 5.0.75 发布,文献管理工具

Zotero 是一个免费易用的 Firefox 扩展与客户端软件,可以协助我们收集、管理及引用研究资源,包括期刊、书籍等各类文献和网页、图片等。5.0.75版本内容有: 添加或更改功能 添加视图菜单:包括以前首选项中的用户界面选项、各种窗口的切换以及一个新的“Display Items from Subcollections””选项 添加“Convert Linked Files to Stored Files”菜单选项 [Mac]MacOS Catalina 中非 Retina 显示上小文本可读性的改进 修复bug 修复了当彩色标签包含前导/尾端空格时标签选择器损坏的问题 修复只读库中的标签选择 修复冲突解决过程中可能出现的“getNote() can only be called on notes and attachments”错误 修复潜在的“attachmentSyncedModificationTime must be a number”同步错误 发布说明: https://www.zotero.org/support/changelog

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册