开源大数据周刊-第17期-低调大师

开源大数据周刊-第17期

2016-08-08 814

阿里云E-Mapreduce动态

E-Mapreduce团队

1.4版本（已经发布）

作业运行失败报警
作业并行提交
添加sqoop、shell类型的作业

1.4.1版本（已经发布）

完善失败报警
完善定时任务，增加小时、分钟定时任务

1.5.0版本（正在研发）

集群整体运行情况的仪表盘
集群状态监控报警

1.6.0版本

交互式查询（支持hive、spark）

资讯

大数据投资人必读：中国大数据发展与投资分析报告
随着大数据蕴涵价值的逐步释放，使其成为IT信息产业中最具潜力的蓝海。大数据正以一种革命风暴的姿态闯入人们视野，其技术和市场在快速发展，而驾驭大数据的呼声则一浪高过一浪。于是有人说中国大数据产业有炒作“过热”之嫌，也有人认为大数据投资正当时，那么企业家面对当下国内大数据产业到底该不该投资呢?本文或许可以给你点思路。

大数据技术催生高管新职位——首席数据官

微信关注我们

原文链接：https://yq.aliyun.com/articles/59029

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

IDEA构建Spark编程环境和用Scala实现PageRank算法

写在前边的话以前在学习编写mapreduce时，由于没有shell，就是首先在eclipse里配置环境，利用eclipse的强大功能进行编写，调试，编译，最终打包到集群上运行，同样面对Spark的时候，虽然spark提供了强大的shell 脚本能力，但对于定期或者处理时间很长的程序来说并不适合使用shell，所以这里我选用了强大IDEA 作为spark的开发环境环境说明(点击下载)：Java1.8.1_101 / Scala 2.11.8 / Intellij DEA 2.16.2 / Spark 1.6.2 10分钟帮你打开Scala的编程大门：点击阅读注意事项（我掉过的坑）：本地Scala编程时，注意环境与集群的一致性，由于我的集群是spark1.6.2，scala2.10.x，java1.7.x，而本地环境java和scala都比集群高了一个版本，所以本地打包在集群上运行时就会出现版本不匹配的错误（如果用到java时，也是一样的），这一点大家要十分注意一：IDEA构建Spark编程环境部署参考文章：使用IntelliJ IDEA编写...

2016-08-08

795

My flume app is attempting to write to HDFS on a path thats not been created/granted for it. The path is /tmp, create it manually and grant flume write access for it. For example, if I want a /tmp path on HDFS, for user flume to write to: sudo -u hdfs hadoop fs -mkdir /tmp sudo -u hdfs hadoop fs -chown flume:flume /tmp And retry my flume app, and it should work.

2016-08-09

684

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。