脚本之家，脚本语言编程技术及教程分享平台！
分类导航

Python|VBS|Ruby|Lua|perl|VBA|Golang|PowerShell|Erlang|autoit|Dos|bat|

服务器之家 - 脚本之家 - Golang - Golang 获取文件md5校验的方法以及效率对比

Golang 获取文件md5校验的方法以及效率对比

2021-06-25 01:01磐石区 Golang

这篇文章主要介绍了Golang 获取文件md5校验的方法以及效率对比，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧

近期有一个需求：获取多个文件 md5 校验和判断是否存在重复文件，因为文件数量较多，有的文件还比较大，需要处理的文件还没有到位，我就考虑了一下效率的问题。

目前我已知的 Golang 中获取 md5 校验和的方法有两个

这里直接给出实现源码。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
package main
import (
 "crypto/md5"
 "flag"
 "fmt"
 "io"
 "io/ioutil"
 "os"
)
var which = flag.Bool("which", true, "")
var path = flag.String("path", "", "")
var cnt = flag.Int("cnt", 100, "")
func aaa() {
 f, err := os.Open(*path)
 if err != nil {
  fmt.Println("Open", err)
  return
 }
 defer f.Close()
 body, err := ioutil.ReadAll(f)
 if err != nil {
  fmt.Println("ReadAll", err)
  return
 }
 md5.Sum(body)
 //fmt.Printf("%x\n", md5.Sum(body))
}
func bbb() {
 f, err := os.Open(*path)
 if err != nil {
  fmt.Println("Open", err)
  return
 }
 defer f.Close()
 md5hash := md5.New()
 if _, err := io.Copy(md5hash, f); err != nil {
  fmt.Println("Copy", err)
  return
 }
 md5hash.Sum(nil)
 //fmt.Printf("%x\n", md5hash.Sum(nil))
}
func main() {
 flag.Parse()
 for i := 0; i < *cnt; i++ {
  if *which {
   aaa()
  } else {
   bbb()
  }
 }
}

还有可供参考的获取 md5 校验和的 Shell 命令

?
1
2
md5 -- calculate a message-digest fingerprint (checksum) for a file
md5 [-pqrtx] [-s string] [file ...]

测试文件是公司项目的日志文件

?
1
2
3
4
5
6
7
banjakukutekiiMac:shell panshiqu$ ls -an | grep by
-rw-r--r--   1 501  20   7285957 11 17 16:14 by.out
banjakukutekiiMac:shell panshiqu$ cp by.out by2.out
banjakukutekiiMac:shell panshiqu$ cat by.out >> by2.out
banjakukutekiiMac:shell panshiqu$ ls -an | grep by
-rw-r--r--   1 501  20   7285957 11 17 16:14 by.out
-rw-r--r--   1 501  20  14571914 11 17 17:03 by2.out

下面效率展示

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by.out"
real 0m0.027s
user 0m0.017s
sys 0m0.012s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=true -path="by2.out"
real 0m0.048s
user 0m0.033s
sys 0m0.018s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by.out"
real 0m0.018s
user 0m0.012s
sys 0m0.004s
banjakukutekiiMac:shell panshiqu$ time ./gomd5 -cnt=1 -which=false -path="by2.out"
real 0m0.031s
user 0m0.024s
sys 0m0.005s
banjakukutekiiMac:shell panshiqu$ time md5 by.out
MD5 (by.out) = 9d79e19a00cef1ae1bb6518ca4adf9de
real 0m0.023s
user 0m0.019s
sys 0m0.006s
banjakukutekiiMac:shell panshiqu$ time md5 by2.out
MD5 (by2.out) = 0a029a460a20e8dcb00d032d6fab74c6
real 0m0.042s
user 0m0.037s
sys 0m0.009s

总结：

不管什么方法都会随着文件变大时间会变长，上面的例子大约都是2倍

io.Copy 方法效率最高，建议大家这样使用

补充：Go语言：md5计算方法的效率研究

研究了一下Go的md5计算方法，目前来看，效率最高运行最快的写法是调用md5.Sum()函数返回16字节checksum，然后把每个字节的高4位和低4位分别映射成16进制字符存到两个字节里，得到32字节，再转成字符串。

FastMD5较其它算法效率提高了至少46%以上。

?
1
2
3
4
5
6
7
8
9
10
11
12
13
const hextable = "0123456789abcdef"
//作者: pengpengzhou
func FastMD5(str string) string {
    src := md5.Sum([]byte(str))
    var dst = make([]byte, 32)
    j := 0
    for _, v := range src {
        dst[j] = hextable[v>>4]
        dst[j+1] = hextable[v&0x0f]
        j += 2
    }
    return string(dst)
}

Go Test Benchmark测试结果：

?
1
2
3
4
5
6
7
8
9
goos: linux
goarch: amd64
pkg: example
BenchmarkFastMD5-4       5564898               205 ns/op
BenchmarkV1-4            3461698               379 ns/op
BenchmarkV2-4            2277235               516 ns/op
BenchmarkV3-4            2158122               527 ns/op
PASS
ok      example 6.440s

详细代码如下：

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
package main
import (
    "crypto/md5"
    "encoding/hex"
    "fmt"
    "io"
)
 
const hextable = "0123456789abcdef"
 
func FastMD5(str string) string {
    src := md5.Sum([]byte(str))
    var dst = make([]byte, 32)
    j := 0
    for _, v := range src {
        dst[j] = hextable[v>>4]
        dst[j+1] = hextable[v&0x0f]
        j += 2
    }
    return string(dst)
}
 
func md5V1(str string) string {
    h := md5.New()
    h.Write([]byte(str))
    return hex.EncodeToString(h.Sum(nil))
}
 
func md5V2(str string) string {
    data := []byte(str)
    has := md5.Sum(data)
    md5str := fmt.Sprintf("%x", has)
    return md5str
}
 
func md5V3(str string) string {
    w := md5.New()
    io.WriteString(w, str)
    md5str := fmt.Sprintf("%x", w.Sum(nil))
    return md5str
}
 
func main() {
    str := "中文"
    fmt.Println(FastMD5(str))
    fmt.Println(md5V1(str))
    fmt.Println(md5V2(str))
    fmt.Println(md5V3(str))
}
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
package main
import (
    "testing"
)
 
var str = "golang中文教程"
 
func BenchmarkFastMD5(b *testing.B) {
    for i := 0; i < b.N; i++ {
        FastMD5(str)
    }
}
 
func BenchmarkV1(b *testing.B) {
    for i := 0; i < b.N; i++ {
        md5V1(str)
    }
}
 
func BenchmarkV2(b *testing.B) {
    for i := 0; i < b.N; i++ {
        md5V2(str)
    }
}
 
func BenchmarkV3(b *testing.B) {
    for i := 0; i < b.N; i++ {
        md5V3(str)
    }
}

以上为个人经验，希望能给大家一个参考，也希望大家多多支持服务器之家。如有错误或未考虑完全的地方，望不吝赐教。

原文链接：https://blog.csdn.net/panshiqu/article/details/53202989

  • golang
  • Md5
  • 校验

    • 延伸 · 阅读

    精彩推荐
    • GolangGo语言基础单元测试与性能测试示例详解

      Go语言基础单元测试与性能测试示例详解

      这篇文章主要为大家介绍了Go语言基础单元测试与性能测试示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助祝大家多多进步...

      枫少文7812021-12-05
    • GolangGolang实现四种负载均衡的算法(随机,轮询等)

      Golang实现四种负载均衡的算法(随机,轮询等)

      本文介绍了示例介绍了Golang 负载均衡的四种实现，主要包括了随机，轮询，加权轮询负载，一致性hash，感兴趣的小伙伴们可以参考一下...

      Gundy_8442021-08-09
    • GolangGolang 语言极简类型转换库cast的使用详解

      Golang 语言极简类型转换库cast的使用详解

      本文我们通过 cast.ToString() 函数的使用，简单介绍了cast 的使用方法，除此之外，它还支持很多其他类型，在这没有多多介绍，对Golang 类型转换库 cast相关知...

      Golang语言开发栈6112021-12-02
    • Golang深入浅析Go中三个点(...)用法

      深入浅析Go中三个点(...)用法

      这篇文章主要介绍了深入浅析Go中三个点(...)用法,需要的朋友可以参考下...

      踏雪无痕SS6472021-11-17
    • GolangGo语言实现自动填写古诗词实例代码

      Go语言实现自动填写古诗词实例代码

      这篇文章主要给大家介绍了关于Go语言实现自动填写古诗词的相关资料，这是最近在项目中遇到的一个需求，文中通过示例代码介绍的非常详细，需要的朋...

      FengY5862020-05-14
    • GolangGO语言字符串处理Strings包的函数使用示例讲解

      GO语言字符串处理Strings包的函数使用示例讲解

      这篇文章主要为大家介绍了GO语言字符串处理Strings包的函数使用示例讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加...

      Jeff的技术栈6882022-04-14
    • Golanggo语言获取系统盘符的方法

      go语言获取系统盘符的方法

      这篇文章主要介绍了go语言获取系统盘符的方法,涉及Go语言调用winapi获取系统硬件信息的技巧,具有一定参考借鉴价值,需要的朋友可以参考下 ...

      无尽海3862020-04-24
    • GolangGo语言range关键字循环时的坑

      Go语言range关键字循环时的坑

      今天小编就为大家分享一篇关于Go语言range关键字循环时的坑，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来...

      benben_20154202020-05-23
    最近更新
    编辑推荐
    阅读排行
    热门标签
    fsnotify 　 指针类型 　 new() 　 make() 　 并发模型 　 切片 　 静态WEB服务器 　 端口扫描器 　 Go语言入门教程 　 基础语 　 Slices 　 Maps 　 Golang编程 　 panic 　 接受者类型 　 嵌入类型 　 Slice 　 Golang教程 　 Golang项目 　 内存模型 　 开发环境搭建 　 大小端判断 　 代码组织结构 　 复合类型 　 GOPATH 　 工作目录 　 实例 　 struct类型 　 并发技术 　 buffered 　
    © 2019-2022 脚本之家 | 服务器之家(www.tuohang.net)旗下站点 版权所有关于我们联系我们版权申明网站地图