首页 文章 精选 留言 我的

精选列表

搜索[硬件兼容性],共10002篇文章
优秀的个人博客,低调大师

F5硬件负载均衡技术

负载均衡是什么,负载均衡的实质? 实现负载均衡所需要的组件: 被负载的流量或请求 接受流量或请求的入口 负载的对象 负载的方式 负载的条件 全代理架构(full-proxy)F5 当访问者请求服务器的时候,首先会请求负载均衡(建立三次捂手,F5会对请求的内容进行检测,然后F5会请求服务器(进行三次握手) 非全代理架构模式 LVS:当访问者发来请求包的时候,负载均衡其将会利用算法进行把请求传达服务器(负载均衡作用是反向代理进行NAT转发) VIP或VS的访问规则(网络通用技术) 目的地址: 10.10.1.100:443 10.10.1.100:* 10.10.1.*:443 10.10.1.*:* *:443 *:* 注意:要区别负载均衡上VIP和本身IP的关系 VIP是用来接收请求的,一个负载均衡上可以有多个,甚至条件允许可以达到数千个本身ip是用来和其他设备进行通信的,要根据实际网络情况提供几个来使用 最后,为了安全起见,全匹配类型的VIP,要设定流量方向,否则会处理所有的流量,造成带宽占用以及性能浪费。 负载的对象: 本地负载 在本地负载均衡器中,负载的对象为应用服务器,被负载的同一种应用服务器,被称为负载均衡池(组),组中的成员即每一个服务器(节点),均可以通过策略动态调整其状态,以达到不同程度的请求分配。 涉及到的主要技术有高低优先级组,disable平滑下线,连接数限制,特定节点的健康检查,算法等。 全局负载 在全局负载均衡器中,负载的对象为DNS请求,主要作用是将DNS请求,解析为不同数据中心,或者某个数据中心不同的线路(运营商)的ip地址(公网或内网)。完整的DNS体系相关技术。 涉及到的主要技术有地址库,BIND,性能优化,递归,迭代和转发 链路负载 在链路负载均衡器中,负载的对象为链路(即网关),该技术结合本地负载和全局负载,衍生出一种链路负载的模式,功能上综合前两者,但是无法取代前两者。 涉及到的主要技术有四层负载,部分DNS解析,NAT相关技术 负载的方式(算法) 静态 轮询 比率 动态 最小连接数 最快响应速度 ip哈希 动态比率 特殊 高低优先组 失败算法 会话保持: 会话保持是一种特殊的策略,目的是在某种条件下,将“同样的”请求,负载到相同的对象上,以达到前后会话的一致性。列如:购物结账 种类: 源地址会话保持 目的地址会话保持 cookie会话保持 特殊会话保持 提示:健康检查技术可以简单理解为一种探测机制,实质上是由某人按照某种方式和某个时间间隔,检查某个对象,并按照期望回应值来判断该对象状态的技术。 健康检查包含的5个步骤: 发起的源 检查对象 检查方式 检查时间 期望回应 本文转自 baishuchao 51CTO博客,原文链接:http://blog.51cto.com/baishuchao/1936831

优秀的个人博客,低调大师

基于Knox登录Yarn UI查看SparkStreaming作业兼容性问题说明

问题背景 1.登录EMR集群节点,运行SparkStreaming示例,如下所示(不同版本EMR集群spark-examples_xxx.jar的路径略有差异): [root@emr-header-1 ~]# spark-submit --class org.apache.spark.examples.streaming.NetworkWordCount --master yarn --deploy-mode cluster /opt/apps/ecm/service/spark/2.3.2-1.0.2/package/spark-2.3.2-1.0.2-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.3.2.jar 192.168.0.211 9999 参数说明:192.168.0.211: 监听流数据源地址9999: 监听流数据源端口 2.提交作业后,通过EMR集群提供的Yarn UI来查看运行在yarn上面作业。 3.点击“ApplicationMaster”,跳转spark界面查看作业详情,切换到“Streaming”可以看到以下界面: 4.点击“Completed Batches”里面的某个完成时间点的Batch,跳转页面会报404错误: 如何解决? 这个问题目前是Knox兼容的一个缺陷,当前的建议是通过端口转发(俗称“打洞”)来访问Yarn UI查看作业,具体步骤如下(本文以Mac客户端为例测试): 1.本机终端输入:ssh-keygen,生成一个公钥: test:~ root$ cd ~/.ssh/ test:.ssh root$ ls id_rsa id_rsa.pub known_hosts test:.ssh root$ cat ~/.ssh/id_rsa.pub ssh-rsa AAAAB3NzaC1yc2EAA....此处省略很多个字符..-6c96cfde9ab7.local 2.登录到EMR Master 节点,将本机的 id_rsa.pub 内容写入到远程 Master 节点的 ~/.ssh/authorized_keys中: vim ~/.ssh/authorized_keys 3.本机测试免密登录到EMR Master 节点: local:.ssh root$ ssh root@xx.xx.xx.xx Last login: Thu Aug 1 20:24:25 2019 Welcome to Alibaba Cloud Elastic Compute Service ! [root@emr-header-1 ~]# 4.在本机执行以下命令进行端口转发: /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server="socks5://localhost:8157" --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" --user-data-dir=/tmp 5.启动 Chrome(在本机新开 terminal 执行)。 /Applications/Google\ Chrome.app/Contents/MacOS/Google\ Chrome --proxy-server="socks5://localhost:8157" --host-resolver-rules="MAP * 0.0.0.0 , EXCLUDE localhost" --user-data-dir=/tmp 6.EMR控制台进入集群的安全组,放行8088、20888两个端口(可以通过ip.taobao.com获取客户端公网出口IP): 7.在Chrome中通过xx.xx.xx.xx:8088访问 8.点击“ApplicationMaster”,跳转spark界面查看作业详情无法访问,地址中是EMR Master节点的hostname,需要在本地配置下hosts映射: local:~ root$ sudo vim /etc/hosts xx.xx.xx.xx emr-header-1.cluster-126784 9.配置后即可访问。切换到“Streaming”,点击“Completed Batches”列表中的Batch,验证正常访问:

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册