golang 字符串拼接性能的对比分析_Golang

golang 字符串拼接性能的对比分析

2021-03-20 01:05BigSimle Golang

这篇文章主要介绍了golang 字符串拼接性能的对比分析，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

背景

最近在做一个服务发现/注册的agent, 各个服务需要通过这个agent来注册自己的服务，在完成

开发后，测试性能时发现性能达不到要求，通过pprof 来确认cpu主要耗费在gc上，分析结果主要是由于字符串拼接导致，故需要测试一下字符串拼接的几种方法的性能；

字符串拼接的几种方法

1、直接使用加号进行拼接

2、strings.Join()

3、fmt.Sprintf()

4、bytes.Buffer

大量字符串拼接性能测试

我们使用的场景主要是大量字符串拼接，所以需要的场景是不断在字符串上拼接所以测试函数如下：

									// fmt.Printf

									func BenchmarkFmtSprintfMore(b *testing.B) {

									 var s string

									 for i := 0; i < b.N; i++ {

									  s += fmt.Sprintf("%s%s", "hello", "world")

									 }

									 fmt.Errorf(s)

									}

									// 加号 拼接

									func BenchmarkAddMore(b *testing.B) {

									 var s string

									 for i := 0; i < b.N; i++ {

									  s += "hello" + "world"

									 }

									 fmt.Errorf(s)

									}

									// strings.Join

									func BenchmarkStringsJoinMore(b *testing.B) {

									 var s string

									 for i := 0; i < b.N; i++ {

									  s += strings.Join([]string{"hello", "world"}, "")

									 }

									 fmt.Errorf(s)

									}

									// bytes.Buffer

									func BenchmarkBufferMore(b *testing.B) {

									 buffer := bytes.Buffer{}

									 for i := 0; i < b.N; i++ {

									  buffer.WriteString("hello")

									  buffer.WriteString("world")

									 }

									 fmt.Errorf(buffer.String())

									}

执行测试函数

									~/gopath/src/test/string  go test -bench="."

									goos: darwin

									goarch: amd64

									pkg: test/string

									BenchmarkFmtSprintfMore-4   300000  118493 ns/op

									BenchmarkAddMore-4    300000  124940 ns/op

									BenchmarkStringsJoinMore-4  300000  117050 ns/op

									BenchmarkBufferMore-4   100000000   37.2 ns/op

									PASS

									ok  test/string 112.294s

从上可以看出使用bytes.buffer的性能是非常高的，如果涉及到大量数据拼接推荐

bytes.buffer{}

单次字符串拼接性能测试

									func BenchmarkFmtSprintf(b *testing.B) {

									 for i := 0; i < b.N; i++ {

									  s := fmt.Sprintf("%s%s", "hello", "world")

									  fmt.Errorf(s)

									 }

									}

									func BenchmarkAdd(b *testing.B) {

									 for i := 0; i < b.N; i++ {

									  s := "hello" + "world"

									  fmt.Errorf(s)

									 }

									}

									func BenchmarkStringsJoin(b *testing.B) {

									 for i := 0; i < b.N; i++ {

									  s := strings.Join([]string{"hello", "world"}, "")

									  fmt.Errorf(s)

									 }

									}

									func BenchmarkBuffer(b *testing.B) {

									 for i := 0; i < b.N; i++ {

									  b := bytes.Buffer{}

									  b.WriteString("hello")

									  b.WriteString("world")

									  fmt.Errorf(b.String())

									 }

									}

执行测试函数

									~/gopath/src/test/string  go test -bench="."

									goos: darwin

									goarch: amd64

									pkg: test/string

									BenchmarkFmtSprintf-4  10000000   200 ns/op

									BenchmarkAdd-4    20000000   93.6 ns/op

									BenchmarkStringsJoin-4  10000000   152 ns/op

									BenchmarkBuffer-4   10000000   175 ns/op

									PASS

									ok  test/string 7.818s

从上可以看出单词调用字符串拼接性能 + > strings.Join > bytes.Buffer > fmt.Sprintf

总结

如果涉及到大量数据拼接推荐 bytes.buffer{}

后记

当然只是通过bytes.buffer{} 性能还是不够的，针对这个问题我们通过添加缓存进一步接口qps.

cpu 耗费在gc 上的原因，需要分析golang gc 回收机制，这是另外一个topic, 之后总结。

补充：Go语言字符串批量拼接-StringBuilder

1.安装

go get -u github.com/typa01/go-utils

									import (

									 "github.com/typa01/go-utils"

									)

使用，例：

fieldNames := tsgutils.NewInterfaceBuilder()

2.使用

									func TestStringBuilderReplace(t *testing.T) {

									 builder1 := NewStringBuilder()

									 builder1.Append("%111%abc%987%")

									 FmtPrintln(builder1.Replace("%", "$").ToString()) // $111$abc$987$

									 builder2 := builder1.Clear()

									 builder2.AppendStrings("abc","defg").AppendInt(123).AppendFloat64(66.44).AppendStrings("aaa", "bbb", "&")

									 FmtPrintln(builder2.RemoveLast().ToString()) // abcdefg1236.644E+01aaabbb

									 str1 := NewString("123")

									 builder3 := NewStringBuilderString(str1).Append("456")

									 FmtPrintln(builder3.ToString()) // 123456

									}