您现在的位置是:首页 > 文章详情

钉钉群直播【基于Spark实现的MLSQL如何帮助企业构建数据中台】

日期:2019-05-20点击:389

直播回看点我

本周我们邀请了圈内大神 祝威廉 给群内的同学做直播分享

祝威廉,资深数据架构,11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台,降低AI落地成本相关工作上。

本次分享中,分享者会阐述他心目中的数据中台的样子,并且介绍如何基于MLSQL完成数据中台的构建。
此外,分享者会也会介绍MLSQL是如何基于Spark来完成这些扩展的,重要的技术点有:

  1. 如何扩展Spark SQL使其成为一个数据专用的语言MLSQL.
  2. 如何实现对各种数据源譬如HDFS/ES/MySQL/MongoDB等细化到列的权限控制。
  3. 如何构建二层RPC通讯强化对Executor的控制,实现对机器学习更好的支持。
  4. 如何支持兼容多版本Spark
  5. 如何避免机器学习中预测阶段无法复用训练时的代码和数据
原文链接:https://yq.aliyun.com/articles/703119
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章