开源大数据周刊-第17期-低调大师

开源大数据周刊-第17期

2016-08-08 660 89

阿里云E-Mapreduce动态

E-Mapreduce团队

1.4版本（已经发布）

作业运行失败报警
作业并行提交
添加sqoop、shell类型的作业

1.4.1版本（已经发布）

完善失败报警
完善定时任务，增加小时、分钟定时任务

1.5.0版本（正在研发）

集群整体运行情况的仪表盘
集群状态监控报警

1.6.0版本

交互式查询（支持hive、spark）

资讯

大数据投资人必读：中国大数据发展与投资分析报告
随着大数据蕴涵价值的逐步释放，使其成为IT信息产业中最具潜力的蓝海。大数据正以一种革命风暴的姿态闯入人们视野，其技术和市场在快速发展，而驾驭大数据的呼声则一浪高过一浪。于是有人说中国大数据产业有炒作“过热”之嫌，也有人认为大数据投资正当时，那么企业家面对当下国内大数据产业到底该不该投资呢?本文或许可以给你点思路。

大数据技术催生高管新职位——首席数据官

微信关注我们

原文链接：https://yq.aliyun.com/articles/59029

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-08-09 00:00:00

IDEA构建Spark编程环境和用Scala实现PageRank算法

写在前边的话以前在学习编写mapreduce时，由于没有shell，就是首先在eclipse里配置环境，利用eclipse的强大功能进行编写，调试，编译，最终打包到集群上运行，同样面对Spark的时候，虽然spark提供了强大的shell 脚本能力，但对于定期或者处理时间很长的程序来说并不适合使用shell，所以这里我选用了强大IDEA 作为spark的开发环境环境说明(点击下载)：Java1.8.1_101 / Scala 2.11.8 / Intellij DEA 2.16.2 / Spark 1.6.2 10分钟帮你打开Scala的编程大门：点击阅读注意事项（我掉过的坑）：本地Scala编程时，注意环境与集群的一致性，由于我的集群是spark1.6.2，scala2.10.x，java1.7.x，而本地环境java和scala都比集群高了一个版本，所以本地打包在集群上运行时就会出现版本不匹配的错误（如果用到java时，也是一样的），这一点大家要十分注意一：IDEA构建Spark编程环境部署参考文章：使用IntelliJ IDEA编写...

676

2016-08-10 00:00:00

flume Permission denied: user=flume, access=WRITE, inode

My flume app is attempting to write to HDFS on a path thats not been created/granted for it. The path is /tmp, create it manually and grant flume write access for it. For example, if I want a /tmp path on HDFS, for user flume to write to: sudo -u hdfs hadoop fs -mkdir /tmp sudo -u hdfs hadoop fs -chown flume:flume /tmp And retry my flume app, and it should work.

594

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。