《Storm实时数据处理》一2.2　创建日志代理-低调大师

《Storm实时数据处理》一2.2　创建日志代理

2017-07-02 613

本节书摘来华章计算机《Storm实时数据处理》一书中的第2章，第2.2节，（澳）Quinton Anderson　著卢誉声　译更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.2　创建日志代理

现代企业架构由大量的解决方案组成，而每个方案都包含许多节点。有些MapReduce集群可以包含几百个节点。在操作系统和应用层上，每个节点又包含一组应用和服务。这些服务和应用又会产生大量不同类型的日志数据。如今人们已经越来越认识到日志数据在企业团体中的重要性，原因如下：

对于IT运营团队维护系统运行来说，它是一种关键的信息来源。
它对于在生产和系统测试阶段中发现问题和解决问题至关重要。
它越来越成为一种商业价值来源，有价值的业务数据都包含在这种半结构化数据中，包括：
风险和合规性数据
业务运营数据
网站分析数据
安全信息
财务预测数据

为了利用这些具

微信关注我们

原文链接：https://yq.aliyun.com/articles/118964

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

创建企业级品质数据湖 Spark没那么简单

随着Spark受到越来越多的关注，许多企业正在尽力跟上这一开源平台快节奏的变化和发布频率。数据仓库研究院（TDWI）数据管理研究负责人Philip Russom博士表示：“许多企业正在尝试部署Apache Spark，通常会结合数据湖使用，希望能发挥其在流数据、查询和分析上的优势。但用户很快意识到，Spark并不容易使用，而且数据湖所需规划与设计超出用户想象。在这种情况下，用户需要求助于外部顾问和管理服务提供商，他们需要具备为各种不同类型的客户顺利部署Apache Spark和数据湖的可靠经验。” 大数据分析服务供应商Teradata天睿公司最近宣布旗下Think Big公司已经成功将Spark融入创建企业级品质数据湖和分析应用的开发框架。目前，客户可在搭载“通用硬件”的一般Hadoop环境中部署云端Apache Spark使用数据湖。客户还可在Teradata Hadoop专用平台上使用。该就绪式企业级平台功能强大，专为运行企业级大数据工作负载进行预置和优化。 Think Big公司正在为部署Spark开发可复制的服务包，包括在提供数据湖和管理服务时，将Spark增加为执行引擎。T...

2017-07-03

512

最近新采购的一批机器，由于intel cpu体系架构的改变，新机器的系统需要升级，选择了CentOS 6.2系统。 1 在新机器上将MR业务开启后，导致整个集群都反应很慢，运行的job几乎都被卡住；通过ganglia监控发现，机器的system cpu超过30%，机器几乎是满负载的情况。原因分析： RHEL 6.2和6.3系统中包含了一个新特性，被称为“transparent hugepage compaction”，它和Hadoop负载不能很好的交互。相比于其他的操作系统，这导致了严重的性能损失。Red Hat会在未来的更新中解决此问题。解决方法：把如下命令增加到开机启动中。 echo always > /sys/kernel/mm/redhat_transparent_hugepage/enabled echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag 　　2 解决上述问题，把MR业务开启一段时间后，经常出现某个task卡死的情况，job会一直hang住，查看TT日志 2013-08-...

2017-07-03

521

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。