故障症状 网关监控出现连接数突增突降的情况，监控显示网关丢弃了某些SNAT连接，K8S中某些应用调用第三方接口偶尔会失败，不稳定（已知第三方平台稳定提供服务） 分析过程 1、分析网关SNAT连接被哪个K8S节点占用 2、登陆K8S节点，查看节点连接数 3、docker top containerID 查看节点上所有的容器的PID 4、获取每个进程的连接数，通过进程判断链接是哪个容器产生的，从而定位到具体的Pod 分析网关SNAT连接被哪个节点占用 这一步一般可以通过监控直接分析出来 监控显示连接数每半个小时突增一次…
lsof 看到的进程是在其他网络名称空间中运行的，比如LXC、LXD中，因此lsof无法访问相关信息，也无法显示它，正常情况应该显示ipv4或者IPv6。lsof以sock代替ipv4或者ipv6需要使用nsenter命令（netstat 连lsof显示的tcp信息也看不到） lsof -p 2380548 nsenter -t 2380548 --net lsof -n -p 2380548
本文示例说明 由于业务情况，采用了6.6.2版本，7版本见ELK文章 采用的HostPath方式挂载的目录，建议安装阿里云插件，直接挂载阿里云的云盘 Service采用注册到阿里云Loadbanlacer，externalTrafficPolicy策略为Cluster Cluster策略原理：会把集群中所有的Node加到SLB的后端服务器组，转发到的目录节点中如果没有es服务，k8s内部转发（慎用，SLB有后端节点配额限制） Local策略原理：只会把集群中含有es服务的Node添加到SLB的后端服务器组 serv…
如将 以下3个IP的外部elasticsearch做成service名称，提供给pod内应用配置文件使用 - ip: 192.168.12.200 - ip: 192.168.12.201 - ip: 192.168.12.202 apiVersion: v1 kind: Endpoints metadata: name: external-elasticsearch namespace: default subsets: - addresses: - ip: 192.168.12.200 - ip: 192.16…
效果 入口层日志数据分析 自动索引拆分 filebeat的yaml的文件 采用daemonset方式部署 multiline通过正则对多行日志识别合并 index使用pod的labels来独立index，需要提前给每个deloyment的添加labels，用于自动拆分Index --- apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config namespace: logging labels: k8s-app: filebeat data: fi…