一季度大数据热门工具相关事件整理-低调大师

一季度大数据热门工具相关事件整理

2017-08-31 472

文章讲的是 一季度大数据热门工具相关事件整理，今年一季度，大数据开源圈内最热闹的一件事大概就是 Hadoop迎来了它的十岁生日，收到了来自世界各地的各种祝福。 Hadoop正式诞生于2006年1月28日，作为一个开源项目的生态系统，它从根本上改变了企业存储、处理和分析数据的方式：Hadoop可以在相同的数据上同时运行不同类型的分析工作。

　　那一周，有媒体整理了Hadoop这十年来的数据变化：核心Hadoop中目前的代码行数为170万+、自2006年来对Hadoop的提交数量超过12000、自2006年来对核心Hadoop的代码贡献者有800+、Hadoop生态系统中的项目数量从2006年的2个到了25个。

　　一个月后，雅虎在二月底发布了CaffeOnSpark人工智能的源代码，正式开源这一新的人工智能项目。Yahoo在科技方面的实力大概鲜有人知，其实，开源Hadoop就是Yahoo孵化的，Facebook、Twitter 以及其他不少公司都在用这个数据处理平台。

　　CafffeOnSpark的根基是深度学习，之前在基于Hadoop集群的大规模分布式深度学习一文中，雅虎就曾介绍，其集Caffe和Spark之长开发CaffeOnSpark用于大规模分布式深度学习。雅虎认为，深度学习应该与现有的，支持特征工程和传统(非深度)机器学习的数据处理管道在同一个集群中，创建CaffeOnSpark意在使得深度学习训练和测试能被嵌入到Spark应用程序中。

　　说到近期大数据领域的红人就不得不提到Spark，近年人气急剧攀升的Spark在今年更是动作频频，一月初刚刚发布了大版本1.6，三月又爆出2.0版本即将上线。

　　此外，在二月底举行的Spark东部峰会上，硅谷最火的大数据初创公司Databricks也就内存内数据处理工具Spark的未来发展方向做了探讨，以及发布了一系列相关提示。Databricks公司由来自Berkeley和MIT的Spark原班团队创立，作为Spark项目背后的核心商业支持方，它在该项技术成果的演进道路上扮演着重要角色。

　　Databricks公司CTO兼Spark创始人MateiZaharia谈到即将出炉的Spark2.0时提到，该版本将会有三大核心转变：利用Tungsten项目的下一发展阶段解决Java内存处理局限，从而加快Spark运行速度;将Spark改进为一套实时数据流系统;将Spark当前使用的结构化数据API(包括Dataset与DataFrame)统一为单一API。

　　而在演讲中未被提及，但却广受Spark支持者关注的一项细节在于，Spark要如何进一步与ApacheArrow加以结合——这一全新项目旨在为列式数据提供内存内版本，从而实现快速访问成效。

　　三月初，思科宣布计划未来三年在德国投资5亿美元，以及设立1.5亿美元的创新基金来帮助强化旗下的Spark服务，挑战企业通讯服务商Slack Technologies。思科一直在试图使得自有的协作工具Spark胜过广受欢迎的Slack服务。

　　同样在三月初，Hortonworks,Inc.(NASDAQ: HDP)和Hewlett Packard Enterprise(NYSE: HPE)的核心研究组织Hewlett Packard Labs宣布了一项新合作，携手增强最活跃的Apache大数据项目之一的Apache Spark。此次合作将侧重于一个全新类别的分析工作，这种分析工作将受益于大量的共享内存。并且公布了合作的早期成果：更强传送引擎技术，能够更快排序和内存计算;更好的内存使用，能够用更佳性能和使用来实现更广泛的可升级性。

　　另外，Hortonworks和Hewlett Packard Enterprise计划为Apache Spark社区带来新技术。

　　最后还有一些开源信息，Google在去年底开放了深度学习网络TensorFlow的源代码；去年十二月，Facebook分享了人工智能硬件设计；一月，百度开源关键人工智能(AI)软件Warp-CTC，公开了关键代码；同期，Microsoft也开放了类似的网络CNTK，中国搜索引擎巨头百度也公开了深度学习训练软件。

作者:崔月

来源：IT168

原文链接:一季度大数据热门工具相关事件整理

微信关注我们

原文链接：https://yq.aliyun.com/articles/216612

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

何刚：Hadoop成为打开大数据之门金钥匙

文章讲的是何刚：Hadoop成为打开大数据之门金钥匙， 2013年11月22-23日，作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会，2013 Hadoop中国技术峰会（China Hadoop Summit 2013）于北京福朋喜来登集团酒店隆重举行。来自国内外各行业领域的近千名CIO、CTO、架构师、IT经理、咨询顾问、工程师、Hadoop技术爱好者，以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举。 ▲IT168专题报道：http://www.it168.com/redian/Hadoop2013/ Hadoop中国技术峰会由China Hadoop Summit专家委员会主办，由IT168、ITPUB、ChinaUnix协办，渠达传媒负责承办。本届大会将秉承“效能、应用、创新”为主题，旨在通过开放、广泛的分享和交流，着力于促进中国企业用户提高应用Hadoop的能力和水平，降低Hadoop技术应用门槛和投资预算门槛，推广大数据的应用价值。以下为京东技术副总裁兼首席科学家何刚先生的演讲实录。 ▲京东技术副总裁兼首席科学家何刚 2010年以来，随着网络社...

2017-09-01

462

文章讲的是大数据“小时代”中国技术峰会强势来袭，今年全国普通高校毕业生规模高达699万，2013年的夏天被称为“史上最难就业季”。事实果真如此吗?笔者认为，大学生找一份温饱的工作显然不难,难的是找一份适合自己的好工作。什么样的工作是好工作?这个问题仁者见仁智者见智，不过，薪水待遇绝对是衡量工作好坏与否的一个重要指标。权威调查机构Dice Tech的2013 薪资Top 100调查显示，以Hadoop为首的大数据傲视群雄，成为了最赚钱的行业。换而言之，Hadoop无疑成为了硅谷最有价值的产业之一,它的价值高于任何其他技术技能，包括C/C++.那么，Hadoop究竟蕴含多少商业价值呢?建议您参加2013年11月22日-23日在北京喜来登酒店举行的2013 Hadoop中国技术峰会,聆听大师们的最前瞻的经验分享,便可知晓详情.(官网：http://www.chinahadoop.com)。《小时代》迎合主流：大数据时代Hadoop的商业价值持续升温 80后作家郭敬明自编自导的《小时代》是一部口水与票房齐飞的片子。网友炮轰《小时代》的奢靡风格，有误导甚至扭曲价值取向之嫌.可是，这个并...

2017-09-01

499

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。