记一次因网络变更导致zabbix连接es报400和404

背景

zabbix历史数据存储到es集群，正常工作中的时候，因网络变更导致zabbix server连接不上es，zabbix日志首先报400错误，之后一直404，es那边报查询相关的错误。

现象

• 如下图：

解决办法

结合多年在运维领域扯蛋的经验，再各种必应搜索，发现在es中可添加以下3个配置进行调优，于是死马当活马医，报着侥幸心理一试。

http.max_initial_line_length: 128k
http.max_header_size: 64kb
http.max_content_length: 500mb

还挺管用，完美解决！其实在这之前，听说重启能解决一切问题，于是es主节点、数据节点都重启过，zabbix也重启过，然并卵。

原因

初步判断：zabbix向es正常写入数据时，网络突然异常，待网络恢复后，积压的请求疯狂怼es，导致es顶不住。后续如有遇到网络变更的场景，可提前先关闭zabbix应用，待网络恢复后，再启动zabbix。