开源大数据周刊-第17期-低调大师

开源大数据周刊-第17期

2016-08-08 713

阿里云E-Mapreduce动态

E-Mapreduce团队

1.4版本（已经发布）

作业运行失败报警
作业并行提交
添加sqoop、shell类型的作业

1.4.1版本（已经发布）

完善失败报警
完善定时任务，增加小时、分钟定时任务

1.5.0版本（正在研发）

集群整体运行情况的仪表盘
集群状态监控报警

1.6.0版本

交互式查询（支持hive、spark）

资讯

大数据投资人必读：中国大数据发展与投资分析报告
随着大数据蕴涵价值的逐步释放，使其成为IT信息产业中最具潜力的蓝海。大数据正以一种革命风暴的姿态闯入人们视野，其技术和市场在快速发展，而驾驭大数据的呼声则一浪高过一浪。于是有人说中国大数据产业有炒作“过热”之嫌，也有人认为大数据投资正当时，那么企业家面对当下国内大数据产业到底该不该投资呢?本文或许可以给你点思路。

大数据技术催生高管新职位——首席数据官

微信关注我们

原文链接：https://yq.aliyun.com/articles/59029

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IDEA构建Spark编程环境和用Scala实现PageRank算法

写在前边的话以前在学习编写mapreduce时，由于没有shell，就是首先在eclipse里配置环境，利用eclipse的强大功能进行编写，调试，编译，最终打包到集群上运行，同样面对Spark的时候，虽然spark提供了强大的shell 脚本能力，但对于定期或者处理时间很长的程序来说并不适合使用shell，所以这里我选用了强大IDEA 作为spark的开发环境环境说明(点击下载)：Java1.8.1_101 / Scala 2.11.8 / Intellij DEA 2.16.2 / Spark 1.6.2 10分钟帮你打开Scala的编程大门：点击阅读注意事项（我掉过的坑）：本地Scala编程时，注意环境与集群的一致性，由于我的集群是spark1.6.2，scala2.10.x，java1.7.x，而本地环境java和scala都比集群高了一个版本，所以本地打包在集群上运行时就会出现版本不匹配的错误（如果用到java时，也是一样的），这一点大家要十分注意一：IDEA构建Spark编程环境部署参考文章：使用IntelliJ IDEA编写...

2016-08-09

721

My flume app is attempting to write to HDFS on a path thats not been created/granted for it. The path is /tmp, create it manually and grant flume write access for it. For example, if I want a /tmp path on HDFS, for user flume to write to: sudo -u hdfs hadoop fs -mkdir /tmp sudo -u hdfs hadoop fs -chown flume:flume /tmp And retry my flume app, and it should work.

2016-08-10

628

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。