Spark 10年，作者 Matei 在 Spark + AI Summit 2020 上深情回顾
作者：郑锴，花名铁杰，阿里巴巴高级技术专家，Apache Hadoop PMC，Apache Kerby 创立者。深耕分布式系统开发和开源大数据多年，目前专注于在阿里云上提供更好用更有弹性的 Hadoop/Spark 大数据平台。
端午节宅家，Spark + AI Summit 2020 在网上如火如荼。刚看了 Matei 先生的keynote，他对 Spark 10 年做了非常精彩的演讲和深情的回顾，不禁很多感想，却千头万绪。我想这次简单点，不啰嗦，直接挑个重点说吧，看下图。
这是我在 Youtube 上看的视频做的一个截图。这张 slide 无需解读，我相信大家都能看出以下几点。
第一． SQL 万物归宗，成为Spark 诸多语言 API 的核心，SparkSQL 和 Spark Core 以后就是一回事。大家可以收收心吧，做
关注公众号 低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有，本站原创内容转载请注明来源。
- 上一篇
基于ASM的GRPC服务部署实践
继MicroServices之后，ServiceMesh是又一个推动软件工业的革命性技术。其服务治理的方法论，不仅改变了技术实现的方式和社会分工。 运行于数据平面的用户服务与治理服务的各种规则彻底解耦。运行于控制平面的规则定义组件，将流量控制的具体规则推送给运行于数据平面的proxy，proxy通过对用户服务的ingress和egress的实际控制，最终实现服务治理。 原本需要服务开发者编程实现的服务发现、容错、灰度、流量复制等能力，被ServiceMesh非侵入的方式实现。此外，ServiceMesh还提供了访问控制、认证授权等功能，进一步减轻了用户服务的开发成本。 阿里云提供的服务网格(ASM）是基于容器服务(ACK)之上的托管版ServiceMesh，在提供完整的ServiceMesh能力的同时（ASM还在底层横向拉通了阿里云云原
- 下一篇
【最佳实践】如何使用 Elasticsearch ingest 节点来丰富日志和指标
从历史上看，数据丰富功能仅在 Logstash 中可用，但由于 Elasticsearch 7.5.0 中引入了 enrich 处理器，因此可以直接在 Elasticsearch 中进行丰富，而无需配置单独的服务/系统。如果你想知道在 Logstash 中是如何实现，那么请参阅我之前的文章 “Logstash：运用 jdbc_streaming 来丰富我们的数据”。 由于通常用于丰富的主数据通常是在 CSV 文件中创建的，因此在此博客中，我们将逐步说明如何使用 CSV 文件中的数据将在摄取节点上运行的 enrich 处理器用于丰富数据。 样本 CSV 数据 我们可以使用阿里云Elasticsearch中的 Kibana ，或通过 ECS 自建 ELK，导入以下 CSV 格式的示例主数据，然后在将文档吸收到 Elasticsearch
相关文章
文章评论
共有0条评论来说两句吧...
微信收款码
支付宝收款码