想知道Python的 数据驱动编程框架 Da0tabot 是怎么运行?
前言
Da0tabot是用于 Web 爬虫、ETL、数据管道任务开发的高性能 Python 数据驱动编程框架。
**
特性:**
- 数据驱动编程框架
- 基于协程的并行
- 基于类型和内容的函数路由
安装:
pip install -U databot
Databot is...
简单
每2秒加载一次CoinDesk比特币价格. 高级价格聚合案例参见 here.
from databot.flow import Pipe, Timer from databot.botframe import BotFrame from databot.http.http import HttpLoader def main(): Pipe( Timer(delay=2), # send timer data to pipe every 2 sen "http://api.coindesk.com/v1/bpi/currentprice.json", # send url to pipe when timer trigger HttpLoader(), # read url and load http response lambda r: r.json['bpi']['USD']['rate_float'], # read http response and parese as json print, # print out ) BotFrame.render('simple_bitcoin_price') BotFrame.run() main()``` 流程图形化 databot 生成的流程图: ![](https://yqfile.alicdn.com/bf817f05db212da5438a3d02eb60c10b304a0862.png) >小编推荐一个学python的学习qun 740322234 无论你是大牛还是小白,是想转行还是想入行都可以来了解一起进步一起学习!裙内有开发工具,很多干货和技术资料分享! **快速** 节点并行运行可以很好的处理流数据 **可视化** 执行函数: BotFrame.render('bitcoin_arbitrage') Databot 将会把数据处理流程生成为 graphviz 图片: https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png **可重放** 配置可重放模式: config.replay_mode=True 异常发生在第N步的时候,不用从第一步执行到第N步,Databot可以从完成的最近点(通常是第N-1步)重新开始执行,在开发阶段可以节约很多时间。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
PHP扩展部署之最佳实践
1. 什么是php扩展?php扩展是默认不开启的功能,需要通过额外安装的方式进行扩展的功能,常见的PHP扩展例如:MySQL、Redis、MongoDB等。 2. 如何查看目前php已启用了哪些扩展?2.1 通过phpinfo()函数进行输出查看。2.2 通过php -m命令进行输出查看。 3. 如何进行PHP扩展的部署?3.1 Window DLL安装,例如MongoDB下载地址:https://pecl.php.net/package/mongodb/1.5.3/windows选择最新版本的扩展选择对应的PHP版本,下载对应的扩展包解压压缩包,复制DLL文件到PHP Extension目录添加扩展配置记录到php.ini校验PHP扩展安装3.2 源码编译方式安装,例如Redishttps://pecl.php.net/package/redis选择最新版本的Redis扩展,下载Redis扩展源码包wget https://pecl.php.net/get/redis-4.2.0.tgz解压源码包,并进行生成Configure文件/usr/local/php/bin/phpize配置...
- 下一篇
编程语言娘化:c语言是女神?java是萌妹?python是大小姐?
试想一下,当Java、C++、Python、Ruby、PHP、C#、JS等编程语言变成了动漫人物会是怎样的一幅场景呢?下面就一起看看在日本作家渡辺将人的笔下,各种编程语言都是哪类可爱的女孩子的吧! 究竟心里有多喜欢,才能画出如此可爱的画作呢?心里充满美好,才能描绘美好。只有向往美好,才能创造美好。在这一点上我很佩服这个日本画家。 Java 犹如宫泽贤治的《不畏风雨》中出现的、性格木讷的女孩子。从小就由于迟钝和大食量等特征被别人当作笨蛋,从小学入学开始进入田径部、坚持跑步,在中长跑中经常取得好成绩,给人以活泼的印象。是十分努力的女孩子。 她的家境并不算好。父亲Sun是有才能的艺术家,但不擅长理财,在她14岁的时候因为苦于借债积劳成疾而去世。她被Oracle叔叔收养,那时还与Google叔叔之间因为对她的扶养权问题而引起争端并闹上法庭。 在周围的人都担心,正值青春期时她在这样的处境下会不会一蹶不振的时候,她却处变不惊、继续着每天练习跑步的生活。 朴素的、认真的、难说是聪明的她,进入高中后不知是不是稍稍开始对异情在意,被人看到她偷偷地学着别的女孩子的时尚穿着在街上行走。虽然会受到“虽然很努力...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS关闭SELinux安全模块
- Hadoop3单机部署,实现最简伪集群
- CentOS8编译安装MySQL8.0.19
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装Docker,最新的服务器搭配容器使用
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程