背景
在实现图片转码的需求时,需要支持最大 500 个图片下载后转换格式;
如果是一个一个下载后转码,耗时太长,需要使用 goroutine 实现 500 个图片并发下载后,并发转码;
但自测过程中发现,会偶现下载后只转换了 499 个图片或更少的情况(全部下载、转码成功的条件下);
然后就开始了打印日志找 bug 的过程。
排查问题
因为并发时使用到了 sync 等待全部协程结束,起初以为是 sync 异步等待出了问题;
打印日志发现,正常执行了 500 次下载,执行完成下载之后,继续执行的转码操作,排除 sync 异步等待有问题;
代码如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
|
import ( "github.com/satori/go.uuid" "sync" ) func downloadFiles(nWait *sync.WaitGroup, urls [] interface {}, successFiles *[] string , failedFiles *[] string ) { // 遍历 urls 进行下载 for _, value := range urls { go func (value interface {}) { defer nWait.Done() // 执行结束,协程减 1 fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4(). String () // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败) err := utils.DownloadCeph(value.( string ), fullname) // 下载文件 // 下载文件状态记录 if err != nil { *failedFiles = append (*failedFiles, fullname) } else { *successFiles = append (*successFiles, fullname) } }(value) } } // 前端传入的图片 url strUrlList := req[ "strUrlList" ] // 初始化变量 nWait := sync.WaitGroup{} // 多协程异步等待 var successFiles [] string // 下载成功文件 var failedFiles [] string // 下载失败文件 // 遍历 strUrlList 进行下载 log. Error ( "开始下载!长度:" , len (strUrlList)) nWait.Add( len (strUrlList)) // 等待协程数 downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles) nWait.Wait() // 阻塞,等待完成 log. Error ( "下载结束!长度:" , len (successFiles)) //... log. Error ( "下载转码!" ) //... |
日志如下:
2022-10-29 21:28:51.996 ERROR services/tools.go:149 开始下载!长度:500
2022-10-29 21:28:52.486 ERROR services/tools.go:153 下载结束!长度:499
2022-10-29 21:28:52.486 ERROR services/tools.go:155 开始转码!
打印更详细的日志,对 for range 循环内的逻辑进行排查;
在单个 for 循环结束时增加日志:
1
|
log. Error ( "下载协程结束: " , len (*successFiles)) |
发现一处特殊的日志:
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 63
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 64
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 65
2022-10-29 21:40:38.407 ERROR services/tools.go:35 下载协程结束: 65
2022-10-29 21:40:38.408 ERROR services/tools.go:35 下载协程结束: 66
2022-10-29 21:40:38.408 ERROR services/tools.go:35 下载协程结束: 67
两次长度都是 65,切片长度没有发生变化,同一时间点执行两次切片 append 方法,会偶现一次失效,问题原因找到;
解决问题
使用切片索引进行赋值,不再使用 append ;
修复代码如下:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
|
import ( "github.com/satori/go.uuid" "sync" ) func downloadFiles(nWait *sync.WaitGroup, urls [] interface {}, successFiles *[] string , failedFiles *[] string ) { // 遍历 urls 进行下载 for index, value := range urls { go func (index int , value interface {}) { defer nWait.Done() // 执行结束,协程减 1 fullname := config.TranscodeDownloadPath + "/" + uuid.NewV4(). String () // 需要确保文件名的唯一性 (防止不同用户同一时间操作了同一文件,导致转码失败) err := utils.DownloadCeph(value.( string ), fullname) // 下载文件 // 下载文件状态记录 if err != nil { (*failedFiles)[index] = fullname } else { (*successFiles)[index] = fullname } }(index, value) } } // 前端传入的图片 url strUrlList := req[ "strUrlList" ] // 初始化变量 nWait := sync.WaitGroup{} // 多协程异步等待 successFiles := make ([] string , len (strUrlList), len (strUrlList)) // 下载成功文件 failedFiles := make ([] string , len (strUrlList), len (strUrlList)) // 下载失败文件 // 遍历 strUrlList 进行下载 nWait.Add( len (strUrlList)) // 等待协程数 downloadFiles(&nWait, strUrlList, &successFiles, &failedFiles) nWait.Wait() // 阻塞,等待完成 |
以上就是go高并发时append方法偶现错误解决分析的详细内容,更多关于go高并发append错误的资料请关注服务器之家其它相关文章!
原文链接:https://juejin.cn/post/7159967055217688590