2016 软件开发的七大趋势：容器技术将统治世界-低调大师

2016 软件开发的七大趋势：容器技术将统治世界

2017-07-31 453

岁月如割，2016距离我们只有几个“双xx”购物节之遥，对于“开发狗”来说，如死亡丛林飞跃般的练级之旅注定颠沛流离，命运多舛。是时候抬头看路了，下面我们为大家大胆假设一下2016的七大开发趋势。

一、容器技术(Container)将统治世界

毫无疑问当红炸子鸡Docker将度过叛逆青春期，变得更加成熟稳重，给人以安全感，更容易管理。

二、Java将加速衰落

虽然还有很多招聘说明中要求Java技能，Java也依然是目前主流的“吃饭”语言，但实际上这些企业热心的是Spark、Node.js或MongoDB，他们招你进去是为了让你能上手Spark，这意味着你真正要掌握的是Python和Scala。

三、留神戴尔EMC的灾难性组合

从IT历史规律来看，戴尔并购EMC是徒劳和不得人心的，恐龙和恐龙合体的场面通常很壮观，但最终的产物注定依然只能是一只反射弧超长的恐龙，开发者们，离恐龙远点。

四、NoSQL数据库将站稳脚跟

NoSQL这个名字起得很失败，被各路砖家拍得也很惨。但是这挡不住2016年越来越多的大型传统企业开始使用NoSQL数据库。

五、一切都实时化

不仅仅是数据分析的实时化(快数据)，事实上随着企业自动化程度的不断提升，整个供应链都在朝着实时化发展。

六、ETL继续扮演沉默杀手

ETL就像厨房里的洗菜切菜工序，但却消耗了80%的数据分析预算，大厨只拿20%不到，这显然是很要命的一件事，如果门槛和成本不能大幅下降，ETL将继续扮演数据分析项目的绊脚石和沉默杀手。

七、Spark将扛起大数据的旗

是否很久没有听到Hadoop的消息了?是的，Spark将扛起大数据的旗帜，成为下一代大数据技术的中流砥柱。

作者：何妍

来源：51CTO

微信关注我们

原文链接：https://yq.aliyun.com/articles/196065

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark源码分析之分区器的作用

最近因为手抖，在Spark中给自己挖了一个数据倾斜的坑。为了解决这个问题，顺便研究了下Spark分区器的原理，趁着周末加班总结一下~ 先说说数据倾斜数据倾斜是指Spark中的RDD在计算的时候，每个RDD内部的分区包含的数据不平均。比如一共有5个分区，其中一个占有了90%的数据，这就导致本来5个分区可以5个人一起并行干活，结果四个人不怎么干活，工作全都压到一个人身上了。遇到这种问题，网上有很多的解决办法。但是如果是底层数据的问题，无论怎么优化，还是无法解决数据倾斜的。比如你想要对某个rdd做groupby，然后做join操作，如果分组的key就是分布不均匀的，那么真样都是无法优化的。因为一旦这个key被切分，就无法完整的做join了，如果不对这个key切分，必然会造成对应的分区数据倾斜。不过，了解数据为什么会倾斜还是很重要的，继续往下看吧! 分区的作用在PairRDD即(key,value)这种格式的rdd中，很多操作都是基于key的，因此为了独立分割任务，会按照key对数据进行重组。比如groupbykey 重组肯定是需要一个规则的，最常见的就是基于Hash，Spark还提...

2017-08-01

509

互联网时代的到来，使得名人的形象变得更加鲜活，也拉近了明星和粉丝之间的距离。歌星、影星、体育明星、作家等名人通过互联网能够轻易实现和粉丝的互动，赚钱也变得前所未有的简单。同时，互联网的飞速发展本身也造就了一批互联网明星，这些人借助新的手段，最大程度发挥了粉丝经济的能量和作用，在互联网时代赚得盆满钵满。正是基于这样一个大背景，今天我们做一个分析明星微博数据的小项目。 1、项目需求自定义输入格式，将明星微博数据排序后按粉丝数关注数微博数分别输出到不同文件中。 2、数据集明星明星微博名称粉丝数关注数微博数俞灏明俞灏明 10591367 206 558 李敏镐李敏镐 22898071 11 268 林心如林心如 57488649 214 5940 黄晓明黄晓明 22616497 506 2011 张靓颖张靓颖 27878708 238 3846 李娜李娜 23309493 81 631 徐小平徐小平 11659926 1929 13795 唐嫣唐嫣 24301532 200 2391 有斐君有斐君 8779383 577 4251 3、分析自定义Input...

2017-08-01

500

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。