腾讯开源分布式数据科学组件:Fast-Causal-Inference

腾讯宣布开源分布式数据科学组件项目 Fast-Causal-Inference。这是由腾讯微信研发,采用SQL交互的,基于分布式向量化的统计分析、因果推断计算库;目前已在微信视频号、微信搜一搜等微信内部多个业务进行了应用。

根据介绍,该项目旨在解决已有统计模型库(R/Python)在大数据下的性能瓶颈,提供百亿级数据秒级执行的Causal inference能力。同时通过SQL语言降低统计模型使用门槛,易用于生产环境中。

项目主要优势

1、提供海量数据秒级执行的Causal inference能力

基于向量化OLAP执行引擎ClickHouse/StarRocks,速度上更益于极致化用户体验

2、极简的SQL使用方式

SQLGateway WebServer通过SQL语言降低统计模型使用门槛,并在上层提供极简的SQL使用方式,透明做引擎相关的SQL展开和优化

3、提供基础算子、高阶算子的因果推断能力, 及上层的应用封装

支持 ttest, OLS, Lasso, Tree-based model, matching, bootstrap, DML等

首个版本已经支持如下 Feature

基础因果推断工具

  1. 基于deltamethod的ttest,支持CUPED
  2. OLS,亿行数据,亚秒级

进阶因果推断工具

  1. 以OLS为基础的 IV,WLS,以及其他GLS,DID,合成控制,CUPED,mediation正在孵化
  2. uplift:千万数据分钟级别运算
  3. bootstrap/permutation等数据模拟框架,解决没有显示解的方差估计问题
优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/258226/fast-causal-inference-open-source

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。