背景

 因为业务需求导致服务迁移，迁移过程中发现新机房同样接口的系统响应时间变的异常缓慢（普通有100-200ms的时延）。整个迁移过程中代码发布包完全拷贝，所以当时就定位为系统原因进行排查。

 整个排查过程通过在代码中关键路径切入耗时监控，从而定位具体耗时部分的代码，缩小排查范围。

排查过程

定位的代码逻辑因为保密原因省略了很多跟问题无关的代码，仅列出核心的代码。

• try/catch过程中的核心代码没有任何耗时的逻辑。
• finally的处理过程中增加了getLocalIP()方法获取本地ip地址。
• 经过添加日志监控耗时怀疑getLocalIP()方法比较耗时。

    public RecomResult recommend(RequestId reqId, RecomParam condition) {
        lock.readLock().lock();
        long timeStart = System.currentTimeMillis(); 

        try {
            // 省略核心代码
            return result;
        } catch (Throwable t) {
           // 省略核心代码
        } finally {
            mapTag.put("ip", engineContext.getLocalIP());
            lock.readLock().unlock();  
        }
    }

getLocalIP()方法的实现逻辑就是调用java api获取本机ip地址

• 网上查询类似文章InetAddress.getLocalHost() 执行很慢开始怀疑DNS解析问题。
• 通过for循环执行dig命令确认dns解析时好时坏耗时在100-200ms不等。
• 验证猜测确认是DNS解析问题，并开始通过本地hosts或缓存本地ip地址减少解析。。

    public String getLocalIP() {

        try {
            if (null == localIp) {
                localIp = InetAddress.getLocalHost().getHostAddress();
            }
        } catch (UnknownHostException e1) {
            LOG.error("get ip failed, e is {}", e1);
        }
        return localIp;
    }

解决方案

解决方案本身分为代码本身优化和DNS解析优化。

• DNS层优化主要是服务器DNS解析增加本地缓存，牺牲DNS解析的时效性。
• 代码层面优化主要获取本地ip地址后缓存只需要进行一次host解析即可。