故障症状 网关监控出现连接数突增突降的情况，监控显示网关丢弃了某些SNAT连接，K8S中某些应用调用第三方接口偶尔会失败，不稳定（已知第三方平台稳定提供服务） 分析过程 1、分析网关SNAT连接被哪个K8S节点占用 2、登陆K8S节点，查看节点连接数 3、docker top containerID 查看节点上所有的容器的PID 4、获取每个进程的连接数，通过进程判断链接是哪个容器产生的，从而定位到具体的Pod 分析网关SNAT连接被哪个节点占用 这一步一般可以通过监控直接分析出来 监控显示连接数每半个小时突增一次…
lsof 看到的进程是在其他网络名称空间中运行的，比如LXC、LXD中，因此lsof无法访问相关信息，也无法显示它，正常情况应该显示ipv4或者IPv6。lsof以sock代替ipv4或者ipv6需要使用nsenter命令（netstat 连lsof显示的tcp信息也看不到） lsof -p 2380548 nsenter -t 2380548 --net lsof -n -p 2380548
使用purge请求清理单个url缓存（需要在purge允许的IP范围内） curl -I -X PURGE 'http://www.xxx.com/pmc/data-static.html' 使用varnishadm正则清理 [root@dtkdb_newweb_mgr2 varnish]# varnishadm -S /usr/local/etc/varnish/secretfile -T 127.0.0.1:8089 200 ----------------------------- Varnish Cache…
更新中
功能 lua查库并缓存Nginx共享内存 lua调用接口缓存接口数据到Nginx共享内存 本文使用的rewrite阶段执行lua，关于Nginx的执行阶段自行了解 首先在nginx主配置文件申明共享内存 lua_shared_dict domain_mem 10m; lua_shared_dict open_url_mem_min 10m; lua_shared_dict open_appkey_mem_day 10m; lua_shared_dict my_limit_req_store 30m; lua_sha…
本文更新中，待完成 目的 当后端应用故障不可用时，从容灾系统中获取数据并返回给用户，能正常提供最基本数据浏览功能 需要能够正常返回HTML页面、非用户态接口数据等等 ps: 研发菜鸡，不相信研发的降级服务能力，作为运维又不想背服务全崩的这个锅，那就开始实施吧。 需要重点思考的问题 容灾系统应针对接口级进行判断和缓存，并采用不侵入业务式的设计 只有当后端接口不可用时，才获取缓存数据，并做到接口级判断；例：A/B接口相互独立，当后端只有A接口不可用时，A接口从容灾系统获取数据并返回给用户，B接口正常从后端获取数据并返回…
本文示例说明 由于业务情况，采用了6.6.2版本，7版本见ELK文章 采用的HostPath方式挂载的目录，建议安装阿里云插件，直接挂载阿里云的云盘 Service采用注册到阿里云Loadbanlacer，externalTrafficPolicy策略为Cluster Cluster策略原理：会把集群中所有的Node加到SLB的后端服务器组，转发到的目录节点中如果没有es服务，k8s内部转发（慎用，SLB有后端节点配额限制） Local策略原理：只会把集群中含有es服务的Node添加到SLB的后端服务器组 serv…
在jenkins构建时，自动从git获取所有的分支名，并显示出来供用户选择过滤 效果图： pipeline代码示例 pipeline { agent any options { buildDiscarder logRotator(artifactDaysToKeepStr: '', artifactNumToKeepStr: '', daysToKeepStr: '15', numToKeepStr: '15') } parameters { string defaultValue: 'https://gitlab…
如将 以下3个IP的外部elasticsearch做成service名称，提供给pod内应用配置文件使用 - ip: 192.168.12.200 - ip: 192.168.12.201 - ip: 192.168.12.202 apiVersion: v1 kind: Endpoints metadata: name: external-elasticsearch namespace: default subsets: - addresses: - ip: 192.168.12.200 - ip: 192.16…
效果 入口层日志数据分析 自动索引拆分 filebeat的yaml的文件 采用daemonset方式部署 multiline通过正则对多行日志识别合并 index使用pod的labels来独立index，需要提前给每个deloyment的添加labels，用于自动拆分Index --- apiVersion: v1 kind: ConfigMap metadata: name: filebeat-config namespace: logging labels: k8s-app: filebeat data: fi…