开源大数据周刊-第9期-低调大师

开源大数据周刊-第9期

2016-06-12 715

阿里云E-Mapreduce动态

E-Mapreduce团队
1.3.2版本（已经发布）：

Master HA功能

1.3.3版本（即将发布）

商业化

1.4版本（正在研发）:

用户执行计划及集群运行状态自定义报警
集群整体运行情况的仪表盘
集群的一些专家建议，例如：扩容提醒
集群一键重启

资讯

菜鸟“闹”江湖：物流+大数据，能把广东、江苏GDP都节省出来？
中国物流去向何方？菜鸟网络认为，通过推动物流业向智慧转型，未来目标是要把中国社会物流总成本占GDP的比重降低到5%，这将是物流新模式对社会的重大贡献，相当于每年可以节省出广东省和江苏省的GDP总和

大数据，未来已来
前日，在成都的一次大数据会上，各位顶级专家都不约而同地提到了大数据还远未成熟的观点。我也很赞同这个观点，大数据在今天，依然属于前沿科学，它在很多行业和细分领域，都还很不成熟。然而，这并不代表

微信关注我们

原文链接：https://yq.aliyun.com/articles/54496

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Flume 使用学习小结

概述在做埋点数据离线存储到odps中，用到了Flume。一边使用，一边学习了下Flume。其中感受到Flume确实易伸缩、易扩展。其中的组件都可以根据自己的业务特点方便的自定义使用。 Flume可进行大量日志数据采集、聚合和并转移到存储中，并提供数据在流转中的事务机制；可适用场景：日志--->Flume--->实时计算（如MQ+Storm）、日志--->Flume--->离线计算（如ODPS、HDFS、HBase）、日志--->Flume--->ElasticSearch等。 Flume架构 Flume主要分为 Source、Channel、Sink三个组件，他们包含在一个Agent中，一个Agent相当于一个独立的application。数据从源头经过Agent的这几个组件最后到达目的地。

2016-06-13

710

E-MapReduce的emr-2.0.0以下的HBase集群中并不包含Phoenix，也没有启动yarn，下面介绍一种通过创建集群时设置的引导操作来完成集群上Phoenix的部署。 HBase+Phoenix部署 HBase+Yarn+Phoenix部署 HBase+Phoenix部署 1.引导操作shell脚本(phoenix_bootstrap.sh) 入参: 参数名取值备注 regionId cn-hangzhou/cn-beijing 创建集群所在的regionId isVpc 0/1 创建的是否是vpc集群 #!/bin/bash regionId="$1" isVpc=$2 echo $regionId echo $isVpc if [ ! $regionId ]; then regionId="cn-hangzho

2016-06-13

724

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。