想知道Python的 数据驱动编程框架 Da0tabot 是怎么运行?
前言
Da0tabot是用于 Web 爬虫、ETL、数据管道任务开发的高性能 Python 数据驱动编程框架。
**
特性:**
- 数据驱动编程框架
- 基于协程的并行
- 基于类型和内容的函数路由
安装:
pip install -U databot
Databot is...
简单
每2秒加载一次CoinDesk比特币价格. 高级价格聚合案例参见 here.
from databot.flow import Pipe, Timer
from databot.botframe import BotFrame
from databot.http.http import HttpLoader
def main():
Pipe(
Timer(delay=2), # send timer data to pipe every 2 sen
"http://api.coindesk.com/v1/bpi/currentprice.json", # send url to pipe when timer trigger
HttpLoader(), # read url and load http response
lambda r: r.json['bpi']['USD']['rate_float'], # read http response and parese as json
print, # print out
)
BotFrame.render('simple_bitcoin_price')
BotFrame.run()
main()```
流程图形化
databot 生成的流程图:

>小编推荐一个学python的学习qun 740322234
无论你是大牛还是小白,是想转行还是想入行都可以来了解一起进步一起学习!裙内有开发工具,很多干货和技术资料分享!
**快速**
节点并行运行可以很好的处理流数据
**可视化**
执行函数: BotFrame.render('bitcoin_arbitrage') Databot 将会把数据处理流程生成为 graphviz 图片:
https://github.com/kkyon/databot/blob/master/examples/bitcoin_arbitrage.png
**可重放**
配置可重放模式: config.replay_mode=True 异常发生在第N步的时候,不用从第一步执行到第N步,Databot可以从完成的最近点(通常是第N-1步)重新开始执行,在开发阶段可以节约很多时间。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
PHP扩展部署之最佳实践
1. 什么是php扩展?php扩展是默认不开启的功能,需要通过额外安装的方式进行扩展的功能,常见的PHP扩展例如:MySQL、Redis、MongoDB等。 2. 如何查看目前php已启用了哪些扩展?2.1 通过phpinfo()函数进行输出查看。2.2 通过php -m命令进行输出查看。 3. 如何进行PHP扩展的部署?3.1 Window DLL安装,例如MongoDB下载地址:https://pecl.php.net/package/mongodb/1.5.3/windows选择最新版本的扩展选择对应的PHP版本,下载对应的扩展包解压压缩包,复制DLL文件到PHP Extension目录添加扩展配置记录到php.ini校验PHP扩展安装3.2 源码编译方式安装,例如Redishttps://pecl.php.net/package/redis选择最新版本的Redis扩展,下载Redis扩展源码包wget https://pecl.php.net/get/redis-4.2.0.tgz解压源码包,并进行生成Configure文件/usr/local/php/bin/phpize配置...
-
下一篇
编程语言娘化:c语言是女神?java是萌妹?python是大小姐?
试想一下,当Java、C++、Python、Ruby、PHP、C#、JS等编程语言变成了动漫人物会是怎样的一幅场景呢?下面就一起看看在日本作家渡辺将人的笔下,各种编程语言都是哪类可爱的女孩子的吧! 究竟心里有多喜欢,才能画出如此可爱的画作呢?心里充满美好,才能描绘美好。只有向往美好,才能创造美好。在这一点上我很佩服这个日本画家。 Java 犹如宫泽贤治的《不畏风雨》中出现的、性格木讷的女孩子。从小就由于迟钝和大食量等特征被别人当作笨蛋,从小学入学开始进入田径部、坚持跑步,在中长跑中经常取得好成绩,给人以活泼的印象。是十分努力的女孩子。 她的家境并不算好。父亲Sun是有才能的艺术家,但不擅长理财,在她14岁的时候因为苦于借债积劳成疾而去世。她被Oracle叔叔收养,那时还与Google叔叔之间因为对她的扶养权问题而引起争端并闹上法庭。 在周围的人都担心,正值青春期时她在这样的处境下会不会一蹶不振的时候,她却处变不惊、继续着每天练习跑步的生活。 朴素的、认真的、难说是聪明的她,进入高中后不知是不是稍稍开始对异情在意,被人看到她偷偷地学着别的女孩子的时尚穿着在街上行走。虽然会受到“虽然很努力...
相关文章
文章评论
共有0条评论来说两句吧...