玩转阿里云EMR三部曲-中级篇集成自有服务

2019-08-25 654

玩转阿里云EMR三部曲-中级篇集成自有服务

作者：邓力，entobit技术总监，八年大数据从业经历，由一代hadoop入坑，深耕云计算应用领域，由从事亚马逊EMR和阿里云EMR应用开发逐步转入大数据架构领域，对大数据生态及框架应用有深刻理解。

引言

笔者近几年工作以架构为主，本系列文章旨在从系统架构层面提供一定参考和帮助。
本文默认阅读文章的小伙伴们有MR/SPARK等基础，文中不再重复介绍相关知识。
本文为玩转阿里云EMR系列第二篇，第一篇文章为基础介绍和样例实战，可以查看玩转阿里云EMR三部曲-入门篇

集成自有服务与EMR

从2016公测到最新的EMR版本，成本控制与集成服务一直是我们需要解决的难题。成本可以通过按量集群控制，按照需求启动合理规模的集群并按小时付费。于是自有服务集成是关键问题

自有服务

各公司或者组织内部提供API接口/调度响

微信关注我们

原文链接：https://yq.aliyun.com/articles/715903

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

双中台和房地产会碰撞出怎样的火花？

双中台和房地产会碰撞出怎样的火花？今年7月，阿里云发布云上中台能力：“数据中台和业务中台让阿里巴巴经济体多元业务互联互通，业务创新层出不穷，人机协同大量运用，数据智能开创全新的商业形态。在海外再造一个淘宝天猫，只需要两三个月时间。盒马更是仅用4周就开发上线。”中台的架构在阿里巴巴集团四横三纵的多元化经营中，发挥着重要价值。那么，对于房地产企业来说，中台战略是否能带来价值跃迁？中台架构最好的切入点是什么？双中台架构在房地产行业是否有落地的成功实践？房地产多元化经营与架构升级实践 8月15日，CIO发展中心在北京举办房地产行业多元化数字化转型论坛，绿城理想生活集团CTO陈霄、隆基泰和信息管理部总经理盛丰平、我爱我家副总裁&CIO刘东颖、大悦城CIO张灿、碧桂园数字化管理中心科创部总经理张磊、碧桂园数字化管理中心副总经理周欣宇、中

2019-08-26

596

作者：张乘辉前言在微服务架构体系下，我们可以按照业务模块分层设计，单独部署，减轻了服务部署压力，也解耦了业务的耦合，避免了应用逐渐变成一个庞然怪物，从而可以轻松扩展，在某些服务出现故障时也不会影响其它服务的正常运行。总之，微服务在业务的高速发展中带给我们越来越多的优势，但是微服务并不是十全十美，因此不能盲目过度滥用，它有很多不足，而且会给系统带来一定的复杂度，其中伴随而来的分布式事务问题，是微服务架构体系下必然需要处理的一个痛点，也是业界一直关注的一个领域，因此也出现了诸如 CAP 和 BASE 等理论。在今年年初，阿里开源了一个分布式事务中间件，起初起名为 Fescar，后改名为 Seata，在它开源之初，我就知道它肯定要火，因为这是一个解决痛点的开源项目，Seata 一开始就是冲着对业务无侵入与高性能方向走，这正是我们对解决分布式事务问题迫切的需求。分布式事务解决的方案有哪些？目前分布式事务解决的方案主要有对业务无入侵和有入侵的方案，无入侵方案主要有基于数据库 XA 协议的两段式提交（2PC）方案，它的优点是对业务代码无入侵，但是它的缺点也是很明显：必须要求数据库对 XA ...

2019-08-26

576

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。