首页 文章 精选 留言 我的

精选列表

搜索[Agent体系],共10000篇文章
优秀的个人博客,低调大师

Hadoop体系结构中的服务解决介绍

翻了一下最近一段时间写的分享,DKHadoop发行版本下载、安装、运行环境部署等相关内容几乎都已经写了一遍了。虽然有的地方可能写的不是很详细,个人理解水平有限还请见谅吧!我记得在写DKHadoop运行环境部署的时候,遗漏了hadoop服务角色的内容,本篇特地补上这部分内容吧,不然总觉得不舒服。 要在集群中运行DKHadoop服务,需要指定集群中的一个或多个节点执行该服务的特定功能,角色分配是必须的,没有角色集群将无法正常工作,在分配角色前,需要了解这些角色的含义。 Hadoop服务角色: 1.zookeeper角色:ZooKeeper服务是指包含一个或多个节点的集群提供服务框架用于集群管理。对于集群,Zookeeper服务提供的功能包括维护配置信息、命名、提供HyperBase的分布式同步,推荐在 ZooKeeper集群中至少有3个节点。 2.JDK角色:JDK是 Java 语言的软件开发工具包, JDK是整个Java开发的核心,它包含了Java的运行环境,Java工具和Java基础的类库。 3.Apache-Flume角色:Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接收方(可定制)的能力。 4.Apache-Hive角色:Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的SQL查询功能,可以将SQL语句转换为MapReduce任务进行运行。 5.Apache-Storm角色:Storm是内存级计算,数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。当计算模型比较适合流式时,Storm的流式处理,省去了批处理的收集数据的时间. 6.Elasticsearch角色:Elasticsearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索、稳定、可靠、快速,安装使用方便。 7.NameNode角色:HDFS系统中的节点用于维护文件系统中所有文件的目录结构并跟踪文件数据存储于哪些数据节点。当客户端需要从HDFS 文件系统中获得文件时,它通过和NameNode通讯来知道客户端哪个数据节点上有客户端需要的文件。 一个Hadoop集群中只能有一个NameNode。NameNode不能被赋予其他角色。 8.DataNode角色:在HDFS中,DataNode是用来存储数据块的节点。 9.Secondary NameNode角色:为NameNode上的数据创建周期性检查点的节点。节点将周期性地下载当前NameNode镜像和日志文件,将日志和镜像文件合并为一个新的镜像文件然后上传到NameNode。 被分配了NameNode角色的机器不应再被分配Secondary NameNode 角色。 10.Standby Namenode角色:Standby模式的NameNode元数据(Namespcae information 和 Block 都是和Active NameNode中的元数据是同步的,一但切换成Active模式,马上就可以提供NameNode服务。 11.JournalNode角色:Standby NameName和Active NameNode通过JournalNode通信,保持信息同步。 12.HBase角色:HBase是一个分布式的、面向列的开源数据库。HBase在Hadoop之上提供了类似于BigTable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。 13.Kafka角色:Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消费。 14.Redis角色:Redis是一个开源的使用C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库,并提供多种语言的API。 15.Scala角色:Scala是一门多范式的编程语言,一种类似Java的编程语言,设计初衷是实现可伸缩的语言、并集成面向对象编程和函数式编程的各种特性。 16.Sqoop角色:Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如:MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导入到关系型数据库中。 17.Impala角色:Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。已有的Hive系统虽然也提供了SQL语义,但由于Hive底层执行使用的是MapReduce引擎,仍然是一个批处理过程,难以满足查询的交互性。相比之下,Impala的最大特点也是最大卖点就是它的快速。 18.Crawler角色:Crawler是大快DKHadoop专有组件,爬虫系统,爬取动态静态数据。 19.Spark角色:Spark是一种与Hadoop相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使Spark 在某些工作负载方面表现得更加优越,换句话说,Spark 启用了内存分布数据集,除了能够提供交互式查询外,它还可以优化迭代工作负载。Spark 是在Scala语言中实现的,它将Scala用作其应用程序框架。与Hadoop不同,Spark和Scala能够紧密集成,其中的Scala可以像操作本地集合对象一样轻松地操作分布式数据集。 20.HUE角色:HUE是一组可与您的Hadoopjiqun 交互的网络应用程序。HUE应用能让您浏览HDFS和工作,管理Hive metastore,运行Hive,浏览HBase Sqoop出口数据,提交MapReduce程序,构建自定义的搜索引擎与Solr一起调度重复性的工作流。

优秀的个人博客,低调大师

构筑高效运维体系 以奇兵奇效制胜

随着企业信息化程度越来越高,IT资产越来越多,网络管理员和IT主管们也会越来越忙,真实情况往往比理想情况复杂得多。在日益复杂的网络环管理环境中, 新的设备、用户、应用的加入,使得网络中IT资源比以前更加分散、复杂。这就要求IT运维管理系统能够针对系统运行环境随需应变,将以往针对各种基础资源 监测的各个管理子系统有机地联系在一起,通过提供开放接口,汇总各个子系统的故障和事件,对形成的事件自动触发工单,人员处理完工单关闭流程形成知识,实现基础平台与运维管理平台高效协同。网络设备监控 对网络设备的7*24小时不间断监控,全面监控网络设备的性能。通过SNMP主动采集网络设备的基本信息、CPU、Memory、板卡信息,以及端口的流量信息、丢包率、错包率等信息。 主机监控 提供AgentLess方式的数据采集机制,告别繁琐的插件安装方式,监控指标覆盖面广泛,涉及到CPU、内存、硬盘、分区、网络、进程等各个方面。 应用监控 支持几乎所有主流应用系统的监控,包括:数据库、J2EE应用服务器、中间件、邮件服务器、Web服务器、目录服务、基础服务。存储监控 监控各种不同存储设备可用性和使用率、以及接口流量状态等信息,支持设备包括EMC、IBM、HP、、HDS、NetApp、清华同方、同友等产品系列。基础业务监控 在后台各项监控的同时注重业务表现的直观监控,比如业务应用的访问页面URL、业务应用端口、业务应用连通性(Ping时延)、标准FTP、DNS、标准Mail等内容,给管理员最直观的业务影响判断。业务服务管理 我们投入了大量的人力物力在基础设施和IT应用上,却无法将IT投入和业务的支持建立量化的关系,如何才能更好的管理基础设施和应用?能够监控基础设施和应用,也能够将复杂的IT设施转化为简单的业务视图,使我们从IT服务的角度,保障IT部门提供稳定可靠的服务。 本文转自赖永锋51CTO博客,原文链接:http://blog.51cto.com/mochasoft/398381,如需转载请自行联系原作者

优秀的个人博客,低调大师

Exchange 2007 UM的体系架构和重要概念

语音邮件的概念: 电话接听和留言-->无人接听电话时,自动转到语音信箱并且完成留言的接收,将留言转发到用户的Mailbox Outlook Voice Access(OVA)-->使用电话访问邮箱,系统可以使用语音识别和文语转换的方式跟用户进行交互 接收传真-->Exchange UM内建对传真接收功能的支持 自动答录-->自定义电话提示音 例如: "感谢您致电XX公司,销售部请按1,市场部请按2,如需查询,请按0" UM的架构-->见下图: PBX和IP Gateway之间的规则: 默认PBX把呼入电话直接送到座机上 如果座机忙,PBX把电话转给IP Gateway-->根据一定的规则(Call Coverage) PBX到IP Gateway是电路交换 IP Gateway一侧要有电话号码 传给IP Gateway时,包含Caller-ID和目标号码 对于OVA号码、自动答录等功能,都需要考虑 UM的架构和组件-->见下图: UM服务和工作者进程: UM服务的任务-->加载配置对象并监控工作者进程 注册SIP监听端口(endpoints) 初始化工作者进程管理器并启动工作者进程 UM工作者进程的任务-->从UMConfig.xml加载UM模块的配置信息 加载有限状态机文件(Finite State Machine,*.fsm file) 初始化传真任务监视器 到Speech Server注册 初始化SMTP邮件提交 FSM文件-->见下图: UM的架构和组件之间的关系-->见下图: MSS组件: 语音识别(ASR) DTMF信令输入识别(via RFC2322) 文字语音转换 留言录音 留言回放 UM架构:与外部组件交互-->见下图: UM环境下的电话处理过程-->见下图: PBX,IP Gateway和UM Server: PBX,IP Gateway和UM Server之间如何建立联系? 需求? 通过主叫和被叫号码识别用户 明确电话来自哪一个PBX PBX和IP Gateway之间的联系 IP Gateway到UM Server 用户管理(PIN Code,etc) Exchange UM服务器的管理: Exchange Management Console-->Graphical User Interface(GUI) MMC snap-in: Wizards and Property pages for configuration and administration Exchange Management Shell-->Command Line Interface(CLI) Run single or multiple commands Supports bulk import changes 分清楚全局设置和服务器相关的设置 Dial Plan对象: Dial Plan是UM服务器管理的最基本单元,它代表了一组相关联的电话分机-->Users in a dial plan can reach all others in the plan using a fixed length extension number Extensions are unique in a dial plan Dial plans may consist of PBX networks that are feature transparent Dial Plan + Extension uniquely identifies each Unified Messaging user IP Gateway和Hunt Group对象: IP Gateway-->An IP Gateway object represents a physical VoIP gateway,with an IP Address,from which a Unified Messaging server can receive calls Can also represent a SIP-enabled IP PBX - OCS 2007 Hunt Group-->A Hunt Group object represents a Hunt Group configured at the PBX which direct calls to a VoIP Gateway It includes a pilot number as the identifier Hunt Group objects are contained within an IP Gateway object and provides a link between the UM IP Gateway object and the UM Dial Plan object One or more Hunt Groups can be associated with an IP Gateway Unified Messaging服务器对象: UM Server-->Administrable object for controlling UM properties on an Exchange Server 2007 running the UM role Can communicate with multiple VoIP Gateways Can be in multiple dial plans Pilot number dictates dial plan of call UM Objects And Their Relationships(Four UM Objects: Dial Plans, Gateways, Hunt Groups, and UM servers)-->见下图: 如何对一个用户的邮箱启用统一消息功能呢? 首先需要新建一个UM拨号计划 展开组织配置--对着统一消息右键--选择新建UM拨号计划 名称就叫做Shanghai Office 在分机号码中的位数里面输入一个数字(6) 按新建 按完成 接下来需要新建一个UM邮箱策略 对着统一消息右键--选择新建UM邮箱策略 名称就叫做Shanghai Office吧 在选择关联的拨号计划里面按浏览--选择Shanghai Office这个拨号计划--按确定--按新建 按完成 展开收件人配置--按邮箱--对着Ex07-UM-02这个用户右键--选择启用统一消息 在统一消息邮箱策略里面按浏览--选择Shanghai Office这个邮箱策略--按确定 注意: 在手动输入的邮箱扩展里面输入分机号码中的位数 因为我前面设置分机号码的位数是6 所以我在手动输入的邮箱扩展里面输入888888 按启用 按完成 完成之后Exchange Server 2007服务器就会自动地给Ex07-UM-02这个用户发一封邮件来告诉它 你的邮箱已经被启用成UM的形式了 我现在使用Ex07-UM-02这个用户登录OWA来查看这封邮件 输入域名\用户名(Ex07-UM-02)和密码 按登录 看到了吧? 可以看到Exchange服务器发送给Ex07-UM-02的这封邮件了 可以看到Your extension: 888888 Your PIN: 851338 本文转自 叶俊生 51CTO博客,原文链接:http://blog.51cto.com/yejunsheng/161358

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册