Spark in action on Kubernetes - 存储篇(一)
前言
在上篇文章中,我们分析了Spark Operator内部的机制,今天我们会讨论一个在大数据领域中最重要的话题 - 存储。大数据已经无声无息的融入了每个人的生活中。大到旅游买房,小到外卖打车,都可以看到通过大数据提供数据分析、数据推荐、数据决策的使用场景。大数据要想能够更准确地协助决策,需要在数据多维度、数据完备性等方面有较高要求。可预知的在未来,数据的量级会越来越大,特别是随着5G时代的到来,数据的吞吐量级成指数的增长,数据的维度与来源会越来越多,数据的种类也会变得越来越异质化,对大数据平台也带来新的挑战。成本低、存得多、读写快成为大数据存储的三大问题,而今天我们就会针对这三大问题进行探讨。
容器化大数据的计算与存储
计算和存储分离是大数据领域被大家讨论过很多次的问题了,通常我们会通过如下几个角度来看这个问题:
- 硬件限制:机器的带宽
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
阿里云智能技术战略架构师陈绪:透视2019云计算酣战
本文作者是阿里云智能技术战略架构师陈绪。 陈绪博士,阿里云智能技术战略架构师 2019年3月21日阿里云北京峰会落下帷幕,阿里云智能总裁张建锋阐释了阿里云战略加速的“四级火箭”:达摩院加持的云、数据智能的云、最佳实践的云和被集成的云,在业界引起巨大反响。作为“企业级基础设施专场 - CIO核心能力:云上构建亿级规模的IT基础设施”的出品人,我有幸主持了该专场,也做了一个10分钟的开场演讲,很高兴结合大会的组织过程,把我对2019年云计算发展的思考和大家做一个分享。 企业级基础设施专场 - CIO核心能力:云上构建亿级规模的IT基础设施 感谢许呙兢同学的信任和重托,我和专场架构师张强及另一位出品人孟蓁一起,操持了议题的甄选和确定。国内公共云的营收,目前很大一部分还来自IaaS基础设施,首先这说明中国的云计算发展阶段还处于早期,对于弹性、效率
- 下一篇
【云周刊】第213期:对话行癫:解密阿里云顶层设计和底层逻辑
欢迎订阅云周刊 本期头条 对话行癫:解密阿里云顶层设计和底层逻辑 几十个问题,万字长文,阿里云新任总裁行癫履新后首次出面与钛媒体独家深入讨论了一下阿里云对云计算未来的判断,深度解读未来阿里云生态战略,揭秘阿里技术委员会和阿里中台思想的原生思考。转载自钛媒体,作者:刘湘明 。标题为《钛媒体独家对话行癫:最详解密阿里云顶层设计和底层逻辑》 。分享给大家。点击查看 PHP技术沙龙火热来袭!特邀多位业内大咖,与大家面对面畅聊PHP!云栖社区Ruby技术社群建立啦!大家都想听什么?分类解读:寻找 K8s 1.14 Release 里的“蚌中之珠”阿里开发者技术社群键盘图【全网首发,10万开发者的大社群】4月1日云栖精选夜读 | 代号“凤凰”,阿里新零售秘密武器,今年要打入100个城市在MaxCompute中配置Policy策略遇到结果不一致的问题从
相关文章
文章评论
共有0条评论来说两句吧...