httpclient 连接池使用举例

• 1. 问题
• • 1.1 TIME_WAIT 状态连接的原因和解决策略
  • 1.2 CLOSE_WAIT 状态连接的原因和解决策略
  • 1.3 诊断工具
• 2. 依赖
• 3. 代码
• • 3.1 线程池配置
  • 3.2 方法调用
• 4. 说明

1. 问题

服务器上有大量的time_wait或者close_wait状态的连接，故查询了 GPT。

1.1 TIME_WAIT 状态连接的原因和解决策略

1. 大量短连接
   • 大量短暂的连接会导致短时间内生成大量的TIME_WAIT状态连接。
   • 解决方案：尽量使用长连接，减少连接的创建和销毁次数。
2. TCP 时间等待池溢出
   • 如果服务器短时间内有大量的连接进入TIME_WAIT状态，可能会导致TCP时间等待池溢出。
   • 解决方案：可以通过调整内核参数来增加时间等待池的大小，或者减少TIME_WAIT状态的持续时间。
3. 连接复用
   • 如果服务器的连接复用率低，可能会导致更多的TIME_WAIT状态连接。
   • 解决方案：使用连接池技术，提高连接的复用率。

4. 内核参数调整

   • 可以通过调整内核参数来缩短TIME_WAIT状态的持续时间，例如调整net.ipv4.tcp_fin_timeout。
   • 解决方案：在Linux系统中，可以通过调整内核参数来减少TIME_WAIT状态的持续时间，例如：

   ```bash

   减少TIME_WAIT状态的持续时间

   sysctl -w net.ipv4.tcp_fin_timeout=30

   ```

5. SYN Cookies

   • 如果服务器面临SYN Flood攻击，可以启用SYN Cookies机制来缓解这种攻击。
   • 解决方案：在Linux系统中，可以通过设置net.ipv4.tcp_syncookies为1来启用SYN Cookies。

1.2 CLOSE_WAIT 状态连接的原因和解决策略

1. 应用程序未正确关闭连接
   • 如果客户端或服务器的应用程序没有正确关闭连接，可能会导致连接停留在CLOSE_WAIT状态。
   • 解决方案：检查应用程序代码，确保所有连接在使用完毕后都正确关闭。
2. 资源泄露
   • 如果应用程序未能释放资源或调用必要的关闭方法，也可能导致CLOSE_WAIT状态。
   • 解决方案：使用资源管理框架或工具来自动管理资源的生命周期。
3. 第三方库问题 ：
   • 如果您使用了第三方库或框架，可能存在某些库未能正确处理连接关闭的情况。
   • 解决方案：更新第三方库到最新版本，或者寻找替代方案。
4. 网络延迟 ：
   • 如果网络延迟较高，可能会导致关闭握手过程变慢，从而产生CLOSE_WAIT状态的连接。
   • 解决方案：优化网络配置，减少网络延迟。

1.3 诊断工具

• netstat命令 ：使用netstat -an | grep TIME_WAIT或netstat -an | grep CLOSE_WAIT来查看当前处于TIME_WAIT或CLOSE_WAIT状态的连接。
• ss命令 ：使用ss -t -a | grep TIME_WAIT或ss -t -a | grep CLOSE_WAIT来获取更详细的连接信息。

不得不说，大模型的回答还会很全面的。

2. 依赖

SpringBoot 项目依赖：

```xml
 
 
     org.apache.httpcomponents
     httpclient
     4.5.13
 

```

非 SpringBoot 项目需要引入：

• httpclient-4.5.13.jar
• httpcore-4.4.13.jar

3. 代码

3.1 线程池配置

```java
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;

/**
 * HttpClientManager管理
 */
public class HttpClientManager {

    private static HttpClientBuilder httpClientBuilder = null;
    private static CloseableHttpClient closeableHttpClient = null;

    private HttpClientManager() {
        // 创建连接管理器
        PoolingHttpClientConnectionManager connMgr = new PoolingHttpClientConnectionManager();
        // 整个连接池的最大连接数
        connMgr.setMaxTotal(50);
        // 每个路由的最大连接数
        connMgr.setDefaultMaxPerRoute(50);
        // 创建HttpClientBuilder并设置连接管理器
        httpClientBuilder = HttpClients.custom().setConnectionManager(connMgr);
    }

    public static synchronized CloseableHttpClient getCloseableHttpClient() {
        if (closeableHttpClient == null) {
            new HttpClientManager();
            closeableHttpClient = httpClientBuilder.build();
        }
        return closeableHttpClient;
    }

}

```

1. setMaxTotal(int max)：设置整个连接池的最大连接数。
2. setDefaultMaxPerRoute(int max)：设置每个路由（例如到同一主机的所有连接）的最大连接数【默认值是 2】。

在HTTP客户端中，“路由”是指客户端与服务器之间的一条逻辑路径。通常情况下，当客户端发送请求到不同的端点（即使是同一个服务器的不同URL），只要目标服务器相同，这些请求都会经过相同的网络路径，因此会被视为同一个路由。

1. setMaxPerRoute(HttpRoute route, int max)：可以针对特定路由设置最大连接数。

3.2 方法调用

```java
    public JSONObject postHttpReq(String json, String url) {
        // 获取http客户端
        CloseableHttpClient httpClient = HttpClientManager.getCloseableHttpClient();
        // 设置超时时间
        RequestConfig requestConfig = RequestConfig.custom().setConnectTimeout(5000).setSocketTimeout(20000).setConnectionRequestTimeout(5000).build();
        // 封装请求参数
        byte[] b = json.getBytes();
        HttpEntity httpEntity = new ByteArrayEntity(b);
        String responseMsg = "";
        int statusCode = 0;
        CloseableHttpResponse response = null;
        try {
            // 创建httpPost请求
            HttpPost httpPost = new HttpPost(url);
            httpPost.setConfig(requestConfig);
            httpPost.setEntity(httpEntity);
            httpPost.setHeader("Content-Type", "application/json;charset=GBK");
            // 执行请求
            response = httpClient.execute(httpPost);
            // 获取请求结果
            statusCode = response.getStatusLine().getStatusCode();
            responseMsg = EntityUtils.toString(response.getEntity());
        } catch (IOException e1) {
            e1.printStackTrace();
        } finally {
            try {
                // 关闭当前请求
                response.close();
            } catch (IOException e2) {
                e2.printStackTrace();
            }
        }
        // 解析请求结果
        if (statusCode != 200) {
            // 输出错误信息
        } else {
            return new JSONObject(responseMsg);
        }
    }

```

4. 说明

• 代码并不完善，没有关闭httpclient的方法和关闭连接池的方法。