首页 文章 精选 留言 我的

精选列表

搜索[实时查询],共10000篇文章
优秀的个人博客,低调大师

HBase与Zookeeper数据结构查询

一、前言 最近一年了吧,总是忙于特定项目的业务分析和顶层设计,很少花时间和精力放到具体的技术细节,感觉除了架构理念和分析能力的提升,在具体技术层次却并没有多大的进步。因为一些原因,总被人问及一些技术细节,很多细节都模糊了,花点时间,温习一下吧。技术部分将作为下一个阶段的工作重点。 二、操作说明 查看Zookeeper内部HBase相关数据,有两个主要的渠道:一、通过Hbase shell命令zk_dump查看;二、通过zk_cli.sh查看; 三、zk_dump 1 HBase is rooted at /hbase 2 Active master address: localhost,60000,1411261739960 3 Backup master addresses: 4 Region server holding hbase:meta: localhost,60020,1411261739301 5 Region servers: 6 localhost,60020,1411261739301 7 /hbase/replication: 8 /hbase/replication/peers: 9 /hbase/replication/rs: 10 /hbase/replication/rs/localhost,60020,1411261739301: 11 Quorum Server Statistics: 12 192.168.230.128:2181 13 Zookeeper version: 3.4.6-1569965, built on 02/20/2014 09:09 GMT 14 Clients: 15 /192.168.230.128:54264[1](queued=0,recved=204,sent=212) 16 /192.168.230.128:54269[1](queued=0,recved=113,sent=113) 17 /192.168.230.128:54265[1](queued=0,recved=460,sent=507) 18 /192.168.230.128:54271[1](queued=0,recved=131,sent=131) 19 /192.168.230.128:54274[1](queued=0,recved=86,sent=86) 20 /192.168.230.128:54656[1](queued=0,recved=12,sent=12) 21 /192.168.230.128:54654[1](queued=0,recved=3,sent=3) 22 /192.168.230.128:54270[1](queued=0,recved=94,sent=94) 23 /192.168.230.128:54481[1](queued=0,recved=242,sent=242) 24 /192.168.230.128:54657[0](queued=0,recved=1,sent=0) 25 26 Latency min/avg/max: 0/1/155 27 Received: 1352 28 Sent: 1406 29 Connections: 10 30 Outstanding: 0 31 Zxid: 0x65 32 Mode: standalone 33 Node count: 38 四、zk_cli.sh 1 [zk: 192.168.230.128:2181(CONNECTED) 30] ls 2 ZooKeeper -server host:port cmd args 3 connect host:port 4 get path [watch] 5 ls path [watch] 6 set path data [version] 7 rmr path 8 delquota [-n|-b] path 9 quit 10 printwatches on|off 11 create [-s] [-e] path data acl 12 stat path [watch] 13 close 14 ls2 path [watch] 15 history 16 listquota path 17 setAcl path acl 18 getAcl path 19 sync path 20 redo cmdno 21 addauth scheme auth 22 delete path [version] 23 setquota -n|-b val path 24 [zk: 192.168.230.128:2181(CONNECTED) 31] ls / 25 [hbase, zookeeper] 26 [zk: 192.168.230.128:2181(CONNECTED) 32] ls /hbase 27 [meta-region-server, backup-masters, table, draining, region-in-transition, table-lock, running, master, namespace, hbaseid, online-snapshot, replication, splitWAL, recovering-regions, rs] 28 [zk: 192.168.230.128:2181(CONNECTED) 33] 五、说明 关于输出结果的解读,就不去细说了,感兴趣的兄弟,自己去问度娘吧。 莫愁前路无知己,夜漫自有早行人。大数据架构师技术交流: 347018601 作者:张子良 出处:http://www.cnblogs.com/hadoopdev 本文版权归作者所有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。

优秀的个人博客,低调大师

实时流技术来源及比较

流数据的处理存在很多技术:1、简单的事件处理器2、复杂的事件处理器3、流处理器 分布式流处理需求日益增加,包括支付交易、社交网络、物联网(IOT)、系统监控等。业界对流处理已经有几种适用的框架来解决,下面我们来比较各流处理框架的相同点以及区别。分布式流处理是对无边界数据集进行连续不断的处理、聚合和分析。它跟MapReduce一样是一种通用计算,但我们期望延迟在毫秒或者秒级别。这类系统一般采用有向无环图(DAG)。 当选择不同的流处理系统时,有以下几点需要注意的:运行时和编程模型:平台框架提供的编程模型决定了许多特色功能,编程模型要足够处理各种应用场景。这是一个相当重要的点,后续会继续。 函数式原语:流处理平台应该能提供丰富的功能函数,比如,map或者filter这类易扩展、处理单条信息的函数;处理多条信息的函数aggregation;跨数据流、不易扩展的操作join。 状态管理:大部分应用都需要保持状态处理的逻辑。流处理平台应该提供存储、访问和更新状态信息。 消息传输保障:消息传输保障一般有三种:at most once,at least once和exactly once。At most once的消息传输机制是每条消息传输零次或者一次,即消息可能会丢失;A t least once意味着每条消息会进行多次传输尝试,至少一次成功,即消息传输可能重复但不会丢失;Exactly once的消息传输机制是每条消息有且只有一次,即消息传输既不会丢失也不会重复。 容错:流处理框架中的失败会发生在各个层次,比如,网络部分,磁盘崩溃或者节点宕机等。流处理框架应该具备从所有这种失败中恢复,并从上一个成功的状态(无脏数据)重新消费。 性能:延迟时间(Latency),吞吐量(Throughput)和扩展性(Scalability)是流处理应用中极其重要的指标。 平台的成熟度和接受度:成熟的流处理框架可以提供潜在的支持,可用的库,甚至开发问答帮助。选择正确的平台会在这方面提供很大的帮助。 对海量事件的收集和处理要满足:低开销、低延迟。流处理器对此提供了比较好的支持。考虑每秒数据量的大小,再确定如何选用何种技术。(例如流量每秒几百条消息,每秒数十万条消息,处理的技术可以完全不同) Flume 和 NiFi 确切地属于数据收集(DC)和单事件处理器(SEP),而其它的是多事件流处理器(ESP)引擎或复杂的事件处理器(CEP)。 Spark 本身和 Ignite 确切来说不仅仅是流处理器,他们还提供流媒体功能。Apex 也是同样的情况,这是一个统一批次和流数据的平台,它应该是介于一个数据收集引擎、一个基本 ETL 工具与一个事件流处理器之间。 Kafka 流是一个 Kafka 的 Java 库,主要用于消息的处理。Kafka流是最初由 LinkedIn 开发的消息传递系统。Kafka 目前在 LinkedIn、Netflix 和 Spotify 中被广泛应用。Kafka流的特点是低延迟、高容量、分布式的队列系统。 在 CEP 市场上当然还有许多其他选择,例如:Software AG 的 Apama,微软的 StreamInsight,Oracle 事件处理,SAP ESP,Tibco 的 BusinessEvents&Streambase。它们列出时并没有按具体的顺序!另外还有Esper,其中有一个可获取的开源版本,是 GNU GPL 许可的。 In-flight 修改表示没有任何停机或应用程序重新提交的情况。有时也被称为零停机扩容,和即席或动态应用程序修改。对于 in-flight 修改,Spooker是一个值得多看一眼的项目。

优秀的个人博客,低调大师

JavaScript 实时监听input中值变化

代码 方式一: <!DOCTYPE html> <html> <head> <script src="http://libs.baidu.com/jquery/1.10.2/jquery.min.js"></script> <title>测试</title> </head> <body> <input class="et-name" type="input" name="name"> <script type="text/javascript"> $(function () { $(".et-name").bind("input propertychange", function () { console.log($(".et-name").val()); }); }); </script> </body> </html> 方式二: <!DOCTYPE html> <html> <head> <title>测试</title> </head> <body> <input class="et-name" type="input" name="name" oninput="myFun()"> <script type="text/javascript"> function myFun() { console.log($(".et-name").val()); } </script> </body> </html> 方式三: <!DOCTYPE html> <html> <head> <title>测试</title> </head> <body> <input class="et-name" type="input" name="name" onchange="myFun()"> <script type="text/javascript"> function myFun() { console.log($(".et-name").val()); } </script> </body> </html> 类似于,实现微博的‘还能输入xxx个字符’ oninput,onpropertychange,onchange的用法 onchange触发事件必须满足两个条件: a)当前对象属性改变,并且是由键盘或鼠标事件激发的(脚本触发无效) b)当前对象失去焦点(onblur); onpropertychange的话,只要当前对象属性发生改变,都会触发事件,但是它是IE专属的; oninput是onpropertychange的非IE浏览器版本,支持firefox和opera等浏览器,但有一点不同,它绑定于对象时,并非该对象所有属性改变都能触发事件,它只在对象value值发生改变时奏效。

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册