Spark + AI summit 2019北美技术峰会华丽落幕

2019-05-20 583

| 导语

Apache Spark社区最大的技术峰会，SPARK + AI 峰会（SAIC），于4月23-25日，在美国旧金山落下帷幕。

数据与人工智能需要结合：最佳的人工智能应用，需要有大量大规模持续更新的训练数据，方能构建其最佳的数据模型，时至今日，Apache Spark已成为独特的一体化数据分析引擎，它集成了大规模数据处理和领先的机器学习与人工智能算法。

本次SAIC含盖了数据工程与数据科学的内容，包括AI产品化的最佳实践案例分享：超大数据规模下，利用流数据处理确保训练数据更新的时效性，完成数据质量监控，测试以及数据模型服务。也有对流行的软件框架如TensorFlow，SciKit-Learn，Keras，PyTorch，DeepLearning4J，BigDL以及Deep Learning Pipelines等，分别进行深入的

微信关注我们

原文链接：https://yq.aliyun.com/articles/703127

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

钉钉群直播【基于Spark实现的MLSQL如何帮助企业构建数据中台】

直播回看点我本周我们邀请了圈内大神祝威廉给群内的同学做直播分享祝威廉，资深数据架构，11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台，降低AI落地成本相关工作上。本次分享中，分享者会阐述他心目中的数据中台的样子，并且介绍如何基于MLSQL完成数据中台的构建。此外，分享者会也会介绍MLSQL是如何基于Spark来完成这些扩展的，重要的技术点有：如何扩展Spark SQL使其成为一个数据专用的语言MLSQL. 如何实现对各种数据源譬如HDFS/ES/MySQL/MongoDB等细化到列的权限控制。如何构建二层RPC通讯强化对Executor的控制，实现对机器学习更好的支持。如何支持兼容多版本Spark 如何避免机器学习中预测阶段无法复用训练时的代码和数据

2019-05-21

616

BigData NoSQL —— ApsaraDB HBase数据存储与分析平台概览

一、引言时间到了2019年，数据库也发展到了一个新的拐点，有三个明显的趋势：越来越多的数据库会做云原生(CloudNative)，会不断利用新的硬件及云本身的优势打造CloudNative数据库，国内以阿里云的Cloud HBase、POLARDB为代表，此块文章会有一定的引述，但不是本文的重点。 NoSQL正在解决BigData领域的问题。根据Forrester NoSQL的报告，BigData NoSQL是提供存储、计算处理、支持水平扩展、Schemaless以及灵活的数据模型，特别提到需要支持复杂计算，一般通过集成Spark或者实现单独的计算引擎实现。Cassandra商业化公司Datastax提供的产品是直接在Cassandra之上集成了Spark，另外ScyllaDB公司首页的宣传语就是The Real-Time Big

2019-05-21

613

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Apache Tomcat

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。