记录一次istio网络问题导致Spring Boot 启动失败的问题-一一网

正文第一句——「本文已参与好文召集令活动，点击查看：后端、大前端双赛道投稿，2万元奖池等你挑战！」

背景

上周二的时候早上还在上班的路途中，突然接到很多同事反馈自己负责的任务调度系统DPP 页面打不开，登录没法反应~

我第一反应是后端的API 是不是挂了，赶紧打电话给了下运维，让运维看下，运维看了以后服务的2个节点都不可用了，于是

我让运维重启服务看下，但是过了一会儿依旧不能解决问题，我立马飞速赶到公司~ 后来发现从夜里2点多服务就不可用了！

过程

找问题

到了公司以后看到K8S 的监控kuboard 里面从日志上看一直提示服务健康检查不过，然后去进入容器最终了服务的日志

发现服务启动失败了

我从最近的日志看到提示说 getAMQClient 的时候错误了，我立马去查看了下代码

@Configuration
@ConfigurationProperties(prefix = "activemq")
public class AmqConfig {
    private String broker;
    private String username;
    private String password;
    public PooledConnectionFactory getAMQClient() {
        return ActiveMQUtils.init(broker, username, password, 20);
    }
}
复制代码

然后我一直跟踪到堆栈信息里面发现最终的错误是这边的：

报错的堆栈信息：

java.lang.NullPointerException: null
        at java.net.URI$Parser.parse(URI.java:3042)
        at java.net.URI.<init>(URI.java:588)
        at org.apache.activemq.ActiveMQConnectionFactory.createURI(ActiveMQConnectionFactory.java:233)
        at org.apache.activemq.ActiveMQConnectionFactory.<init>(ActiveMQConnectionFactory.java:196)
        at com.patsnap.base.core.util.ActiveMQUtils.init(ActiveMQUtils.java:108)
        at com.patsnap.data.ms.beans.AmqConfig.getAMQClient(AmqConfig.java:46)
        at com.patsnap.data.ms.beans.AmqConfig$$EnhancerBySpringCGLIB$$684a548c.CGLIB$getAMQClient$14(<generated>)
        at com.patsnap.data.ms.beans.AmqConfig$$EnhancerBySpringCGLIB$$684a548c$$FastClassBySpringCGLIB$$20a5ed08.invoke(<generated>)
        at org.springframework.cglib.proxy.MethodProxy.invokeSuper(MethodProxy.java:244)
        at org.springframework.context.annotation.ConfigurationClassEnhancer$BeanMethodInterceptor.intercept(ConfigurationClassEnhancer.java:363)
        at com.patsnap.data.ms.beans.AmqConfig$$EnhancerBySpringCGLIB$$684a548c.getAMQClient(<generated>)
        at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
        at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
        at java.lang.reflect.Method.invoke(Method.java:498)
        at org.springframework.beans.factory.support.SimpleInstantiationStrategy.instantiate(SimpleInstantiationStrategy.java:154)
        ... 145 common frames omitted
复制代码

     /* 
     * @param  str   The string to be parsed into a URI
     *
     * @throws  NullPointerException
     *          If {@code str} is {@code null}
     *
     * @throws  URISyntaxException
     *          If the given string violates RFC&nbsp;2396, as augmented
     *          by the above deviations
     */ 
    public URI(String str) throws URISyntaxException {
        new Parser(str).parse(false);
    }
复制代码

看到此处我个是基础的方法怎么会报错呢~ 只有Str 为空才会有这个情况呀~

这个时候我想到我们的配置都是从Spring Config 中获取过来的，我去看下Spring Config 的服务是否存在问题，我去看了下服务正常没有任务问题，此时已经过了20分钟，运维在容器中把进程杀掉了，杀掉后检测到服务不可用，k8s重启了2个节点后服务正常了~

此事我就很郁闷为什么此前重启服务不行，后面为什么又可以了~问题依旧没有找到

到了下午服务又挂了~ 我进入的服务去看了下日志，报错的日志几乎都是一样，我又追踪了下日志再日志最初的地方发现了最终的问题

发现程序启动的是获取服务配置的时候超时了，导致后面的服务启动的时候初始化bean 的时候失败！原来最终的问题是这个~

找原因

那为什么获取不到配置呢？配置中心服务问题还是网络问题？

下面我去看了下配置中心没有问题，然后我又在机器上telnet 了下配置中心，发现网络没问题？那真的是太奇怪了

最后我和OPS 那边问了下是不是最近调整过什么，OPS 和我说前一天确实调整过网络但是应该和这个没关系

但是往往说和这个没关系的往往就是这个导致的问题，最终果然就是这个问题

后面经过测试和分析，定位到就是网络的问题，原因是 OPS 那边在每个容器里面加了一个 istio-proxy 网络的代理，来监控每个容器里面的流量，这个istio的网络代理服务是和 java程序服务运行在同一个容器中的，但是容器里面的服务存在启动先后的问题，当istio-proxy这个代理服务启动的晚的时候，我程序服务访问别的服务是没法访问的，这就解释了为什么我程序启动的时候访问config 服务失败的问题

那为什么我们在程序里面通过kill java程序服务就是可以的呢~ 原因是因为当服务kill 调的时候，k8s 通过健康检查监控到服务已经不可用，此此时会重新启动一个java程序服务节点，但是问题就出现在 istio-proxy 网络的服务和java程序的服务的获取image 策略不一致， java 的服务是每次都会获取image 代理服务是如果机器上已经有这个image, 就不会重新拉取，这就会导致有的机器代理服务启动的快就不会出现 java 服务网络的问题。