脚本之家,脚本语言编程技术及教程分享平台!
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - 使用Go HTTP客户端打造高性能服务

使用Go HTTP客户端打造高性能服务

2022-01-21 00:38kuteng Golang

大多数语言都有提供各自的 HTTP 客户端,本文将动手实践如何使用Go语言发起HTTP请求,并讨论其中有可能遇到的问题。具有一定的参考价值,感兴趣的可以了解一下

HTTP(超文本传输协议)是一种用于客户端和服务器之间传输数据的通信协议。如果想要访问服务器资源,HTTP 请求是必不可少的。Go 语言里,net/http 包附带了默认配置,我们可以适当调整便可以获得高性能。

大多数语言都有提供各自的 HTTP 客户端,文章接下来部分我们将动手实践如何使用 Go 语言发起 HTTP 请求,并讨论其中有可能遇到的问题。

在做 Go 项目时,我就意识到 HTTP 客户端如果配置不正确可能会随时导致服务器崩溃。

在使用 HTTP Client 时,我观察到一些问题并总结出相应的解决方案,如下所示:

问题一:默认的 HTTP Client

默认情况下,net/http 包自带的 HTTP 客户端不带超时时间。如果你使用的是默认的客户端 http.DefaultClient(),这个是不带超时时间的。

假如你请求外部的 API 挂了,发出的请求没响应导致连接一直出于打开状态。随着请求数越来越多,连接数随之增加,导致耗尽服务器的资源,最后服务器随之崩溃。

解决办法:不要使用默认的 HTTP 客户端,根据实际情况设置超时时间。

?
1
2
3
var httpClient = &http.Client{
  Timeout: time.Second * 10,
}

对于 API 接口,超时时间建议不需要超过 10s,如果请求在 10s 内没有返回,则请求会取消并报错:request canceled (Client.Timeout exceeded …) 。

问题二:默认的 Http Transport

默认情况下,HTTP 客户端会维护一个连接池。当请求完成之后,连接会保持打开状态直到空闲时间超时(默认是 90s)自动断开。如果有请求过来,会优先使用已打开的连接而不是创建新的连接,请求完成之后,连接会返还到连接池中。

使用连接池将使用最少的服务器资源处理更多的 API 请求。

如果没有自定义 HTTP 客户端的 transport,将会使用默认配置。

HTTP Transport 的默认配置如下:

?
1
2
3
4
5
6
7
8
9
var DefaultTransport RoundTripper = &Transport{
    ...
    MaxIdleConns:          100,
    IdleConnTimeout:       90 * time.Second,
    ...
}
 
 
const DefaultMaxIdleConnsPerHost = 2

MaxIdleConns 表示连接池大小,是可以打开的最大连接数,默认值是 100。

参数 DefaultMaxIdleConnsPerHost 的默认值是 2,表示每个主机(host)的打开连接数。这意味着,连接池中 100 个连接只有两个连接分配给该主机。

随着请求增多,但是只有两个请求被处理,其他请求只能被迫等待并进入 TIME_WAIT 状态。请求增多,进入 TIME_WAIT 状态的连接数增多,消耗越来越多的服务器资源,当达到服务器瓶颈时,服务器将会崩溃。

解决办法:提高 MaxIdleConnsPerHost 数值,不要使用默认的 Transport。

?
1
2
3
4
5
6
7
8
9
t := http.DefaultTransport.(*http.Transport).Clone()
t.MaxIdleConns = 100
t.MaxConnsPerHost = 100
t.MaxIdleConnsPerHost = 100
 
httpClient = &http.Client{
  Timeout:   10 * time.Second,
  Transport: t,
}

通过增加每个主机的连接数和空闲连接数,就有助于提高性能并以最少的服务器资源处理更多请求。

可以根据服务器资源和实际需求适当增加连接池大小和每个主机的连接数。

总结

这篇文章中,我们围绕 net/http 包讨论了默认配置的一些问题。通过更改 HTTP 客户端的一些默认设置,在生产环境中也可以获得高性能的 HTTP 客户端。

到此这篇关于使用Go HTTP客户端打造高性能服务的文章就介绍到这了,更多相关Go HTTP客户端高性能内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://www.topgoer.cn/blog-47.html

延伸 · 阅读

精彩推荐
  • GolangGolang 语言极简类型转换库cast的使用详解

    Golang 语言极简类型转换库cast的使用详解

    本文我们通过 cast.ToString() 函数的使用,简单介绍了cast 的使用方法,除此之外,它还支持很多其他类型,在这没有多多介绍,对Golang 类型转换库 cast相关知...

    Golang语言开发栈6112021-12-02
  • GolangGolang实现四种负载均衡的算法(随机,轮询等)

    Golang实现四种负载均衡的算法(随机,轮询等)

    本文介绍了示例介绍了Golang 负载均衡的四种实现,主要包括了随机,轮询,加权轮询负载,一致性hash,感兴趣的小伙伴们可以参考一下...

    Gundy_8442021-08-09
  • Golanggo语言获取系统盘符的方法

    go语言获取系统盘符的方法

    这篇文章主要介绍了go语言获取系统盘符的方法,涉及Go语言调用winapi获取系统硬件信息的技巧,具有一定参考借鉴价值,需要的朋友可以参考下 ...

    无尽海3862020-04-24
  • GolangGO语言字符串处理Strings包的函数使用示例讲解

    GO语言字符串处理Strings包的函数使用示例讲解

    这篇文章主要为大家介绍了GO语言字符串处理Strings包的函数使用示例讲解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步早日升职加...

    Jeff的技术栈6882022-04-14
  • GolangGo语言实现自动填写古诗词实例代码

    Go语言实现自动填写古诗词实例代码

    这篇文章主要给大家介绍了关于Go语言实现自动填写古诗词的相关资料,这是最近在项目中遇到的一个需求,文中通过示例代码介绍的非常详细,需要的朋...

    FengY5862020-05-14
  • GolangGo语言range关键字循环时的坑

    Go语言range关键字循环时的坑

    今天小编就为大家分享一篇关于Go语言range关键字循环时的坑,小编觉得内容挺不错的,现在分享给大家,具有很好的参考价值,需要的朋友一起跟随小编来...

    benben_20154202020-05-23
  • Golang深入浅析Go中三个点(...)用法

    深入浅析Go中三个点(...)用法

    这篇文章主要介绍了深入浅析Go中三个点(...)用法,需要的朋友可以参考下...

    踏雪无痕SS6472021-11-17
  • GolangGo语言基础单元测试与性能测试示例详解

    Go语言基础单元测试与性能测试示例详解

    这篇文章主要为大家介绍了Go语言基础单元测试与性能测试示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助祝大家多多进步...

    枫少文7812021-12-05