山石网科-Hillstone-双ISP接入流量故障排错终结篇

各位，好久不见。

近期在维护山石网科的防火墙中遇到一个比较有代表性质的案例，故在时候拿出来和大家做简单的分享。好了，不多说。

                                                                  -------来自一家运营商的网工分享

背景：

    山石网科设备-E2800 

    华为S5700-52C-EI

    单ISP（CTC）线路接入

    私有云+传统IDC业务混合部署

需求：

    新增一条CNC-ISP出口，提升联通进出、电信进出访问的优化，杜绝单电信异网传输延迟问题，增强网络的可靠性、冗余性和健壮性，进而将数据流量访问进行合理的分配和科学的利用。

改造前拓扑：

改造前拓扑特点：

全网品字形结构，实现所有节点冗余。规避单点故障风险

三层核心与防火墙直接交叉聚合进一步保证内网高可靠性

缺点：

1.出口单ISP接入，用户侧拓扑确实规避了，但未提供运营商侧冗余和高可行

2.内网三层核心数据传输，倘若单点设备某线路故障后，没办法合理流量分割（此点纯个人看法，各位若有不同意见，欢迎直接指出。）

改造后拓扑：

改造后拓扑特点：

1.双ISP运营商接入，保证运营商侧冗余高可靠性

2.实现清晰的流量分割，保证网工的运维工作开展顺利（

目前没发觉有任何缺点：

 （请各位直接指正）

好了，到此所有的背景和改造需求全部介绍完毕，内网传输的注意事项和配置技巧以及各种ACL各种PBR我就不详细说了。今天只聊边缘设备和运营商侧的故事。

上菜！！！！

山石网科侧配置需求：

    1.出口网络

       缺省出口-电信，浮动静态-联通

    2）如果配置等价出局，电信和联通就只能五五分流量，这里引进策略路由PBR，强制抓取源进行扔联通下一跳的做法

 

    2.SNAT转换配置：

    3.DNAT转换配置：

     图省略，配置俩个，一个纯电信映射，一个纯联通映射

PS：至于为什么联通接口是浮动状态也能正常转发流量和做NAT映射。一方面是目前使用的版本，山石的NAT是基于全局vrouter的做的，同时还有一个前提，上联的电信和联通的数据是做过异网融合在一台设备上的。还有一个原因有点深，以后介绍

    4.策略放行：

     这里省略，无难度

到这里，所有配置全部完成，进行测试也是全部走向正常。开始测试需要定向走联通线路的服务器

从内到外,策略路由配置前，缺省走电信出口：

策略路由配置后，流量走联通出口：

到这里，问题在接下来的一周出来了。客户反馈增加了双ISP出口后，联通的对外的FTP服务，监控查到流量仍然电信出口上跑。我开始方了！！

我立马展示出网工傲娇清高的一面，“不可能的事情，我来检查，给我等着！！！”接下来，我验证后，一脸懵B的样子想着为什么，不敢吭声担心用户主管拍我。

联通的FTP服务器测试下载：

联通出口cacti监控截图：

电信出口同一时间cacti监控截图：

问题分析和排查：

  关键词：源进不源出

  按照开启逆向路由，【思科RPF,reverse path forwarding、山石Reverse route】

  理论上该问题是能得到解决的，但是问题依旧。继续思考！！！检查策略路由策略配置文件，也没有任何问题，都是一切正常的。继续思考！！

·······最后，实在折腾了2天之后，打电话给山石的原厂技术工程师咨询，工程师建议将公网地址也放入到策略路由的源地址簿中。

注：原厂工程师建议这样做，具体的原理并没有详细介绍，但后面我再stone os 的数据包处理流程中发现了这样做的原因。

  优化后配置如下：

再回去重新测试FTP下载，然后查看流量走向：

联通出口和电信出口比较：（测试图体现了配置前和配置后的流量变化）

大家可以很明显看到，优化配置后（即红色箭头标记地方）流量从电信口换到联通口了。问题终得到解决，皆大欢喜。

PS：在优化配置后，FTP出现中断

电信出口：

联通出口：

最后，最后，大家懂得，去客户现场“赔礼道歉，磕头”。愿世界和平。把学习当作一种生活方式········