《Storm实时数据处理》一2.2　创建日志代理-低调大师

《Storm实时数据处理》一2.2　创建日志代理

2017-07-02 632

本节书摘来华章计算机《Storm实时数据处理》一书中的第2章，第2.2节，（澳）Quinton Anderson　著卢誉声　译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　创建日志代理

现代企业架构由大量的解决方案组成，而每个方案都包含许多节点。有些MapReduce集群可以包含几百个节点。在操作系统和应用层上，每个节点又包含一组应用和服务。这些服务和应用又会产生大量不同类型的日志数据。如今人们已经越来越认识到日志数据在企业团体中的重要性，原因如下：

对于IT运营团队维护系统运行来说，它是一种关键的信息来源。
它对于在生产和系统测试阶段中发现问题和解决问题至关重要。
它越来越成为一种商业价值来源，有价值的业务数据都包含在这种半结构化数据中，包括：
风险和合规性数据
业务运营数据
网站分析数据
安全信息
财务预测数据

为了利用这些具

微信关注我们

原文链接：https://yq.aliyun.com/articles/118964

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

创建企业级品质数据湖 Spark没那么简单

随着Spark受到越来越多的关注，许多企业正在尽力跟上这一开源平台快节奏的变化和发布频率。数据仓库研究院（TDWI）数据管理研究负责人Philip Russom博士表示：“许多企业正在尝试部署Apache Spark，通常会结合数据湖使用，希望能发挥其在流数据、查询和分析上的优势。但用户很快意识到，Spark并不容易使用，而且数据湖所需规划与设计超出用户想象。在这种情况下，用户需要求助于外部顾问和管理服务提供商，他们需要具备为各种不同类型的客户顺利部署Apache Spark和数据湖的可靠经验。” 大数据分析服务供应商Teradata天睿公司最近宣布旗下Think Big公司已经成功将Spark融入创建企业级品质数据湖和分析应用的开发框架。目前，客户可在搭载“通用硬件”的一般Hadoop环境中部署云端Apache Spark使用数据湖。客户还可在Teradata Hadoop专用平台上使用。该就绪式企业级平台功能强大，专为运行企业级大数据工作负载进行预置和优化。 Think Big公司正在为部署Spark开发可复制的服务包，包括在提供数据湖和管理服务时，将Spark增加为执行引擎。T...

2017-07-03

530

最近新采购的一批机器，由于intel cpu体系架构的改变，新机器的系统需要升级，选择了CentOS 6.2系统。 1 在新机器上将MR业务开启后，导致整个集群都反应很慢，运行的job几乎都被卡住；通过ganglia监控发现，机器的system cpu超过30%，机器几乎是满负载的情况。原因分析： RHEL 6.2和6.3系统中包含了一个新特性，被称为“transparent hugepage compaction”，它和Hadoop负载不能很好的交互。相比于其他的操作系统，这导致了严重的性能损失。Red Hat会在未来的更新中解决此问题。解决方法：把如下命令增加到开机启动中。 echo always > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 　　2 解决上述问题，把MR业务开启一段时间后，经常出现某个task卡死的情况，job会一直hang住，查看TT日志 2013-08-...

2017-07-03

546

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。