storm集群的监控-低调大师

storm集群的监控

2017-05-01 681

所谓兵马未动，粮草先行，准备将storm用在某个项目中做实时数据分析。无论任何系统，一定要有监控系统并存，当故障发生的时候你能第一个知道，而不是让别人告诉你，那处理故障就很被动了。

    因此我写了这么个项目，取名叫storm-monitor，放在了github上

     https://github.com/killme2008/storm-monitor

    主要功能如下：
1.监控supervisor数目是否正确，当supervisor挂掉的时候会发送警告。
2.监控nimbus是否正常运行，monitor会尝试连接nimbus，如果连接失败就认为nimbus挂掉。
3.监控topology是否正常运行，包括它是否正常部署，是否有运行中的任务。

    当故障发生的时候通过alarm方法警告用户，开放出去的只是简单地打日志。因为每个公司的告警接口不一样，所以你需要自己扩展，修改alarm.clj即可。我们这儿就支持旺旺告警和手机短信告警。

    基本的原理很简单，对supervisor和topology的监控是通过zookeeper来间接地监控，通过定期查看path是否存在。对nimbus的监控是每次起一个短连接连上去，连不上去即认为挂掉。

整个项目也是用clojure写。你的机器需要安装lein和exec插件，然后将你的storm.yaml拷贝到conf目录下，编辑monitor.yaml设定监控参数如检查间隔等，最后启动start.sh脚本即可。默认日志输出在logs/monitor.log。

本文来源于"阿里中间件团队播客",原文发表时间" 2011-12-02"

微信关注我们

原文链接：https://yq.aliyun.com/articles/85328

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》一第一部分批处理层

本节书摘来自华章出版社《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》一书中的第一部分，南森·马茨（Nathan Marz） [美]　詹姆斯·沃伦（JamesWarren）　著马延辉　向　磊　魏东琦　译，更多章节内容可以访问云栖社区“华章计算机”公众号查看。第一部分批处理层第一部分主要介绍Lambda架构的批处理层。这部分的章节结合示例讲述相关理论。第2章探讨了如何对主数据集中的数据进行建模和视图化。第3章使用Apache Thrift工具来阐述第2章涉及的概念。第4章探讨了主数据集的存储要求。你会发现数据库解决方案提供的许多典型特性不适用于主数据集，而且实际上阻碍了主数据存储的优化。一个更简单、更精致的全能型存储解决方案可以更好地满足需求。第5章使用Hadoop的分布式文件系统来阐述主数据集的物理存储。第6章

2017-05-01

652

有这样一个传说，将人工智能和机器学习算法用于服务器农场后，你就可以搬家到夏威夷，在让机器交易的同时你终日躺在沙滩上享受生活。但是，问题在于交易市场是不断变化的：经济力量，新产品，竞争，世界事件，法规，甚至推特都是因素。虽然没有免费的午餐，在开放源码机器学习算法和数据分析平台的帮助下，公司仍然可以得到一个“更好，更健康，更便宜的午餐”。在股票市场中，查看历史股票价格并尝试用不同的模型来预测未来是一种常见的做法。虽然这篇文章不能提供股票分析的细节，但它提出了一种用于解决大规模实时数据分析问题的方法，在一个可高度扩展和延伸性的参考架构下使用开放源代码工具。下面的架构专注于金融交易，但也适用于几乎任何一个行业的实时使用需求。关于这篇文章所讨论的构架的更多信息也可在网上通过Linux基金会，SlideShare，YouTube，和Pivot

2017-05-01

706

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。