服务器之家:专注于服务器技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Mysql - Mysql快速插入千万条数据的实战教程

Mysql快速插入千万条数据的实战教程

2021-04-20 21:46萌新Java程序猿 Mysql

这篇文章主要给大家介绍了关于Mysql快速插入千万条数据的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧

一.创建数据库

Mysql快速插入千万条数据的实战教程

二.创建表

1.创建 dept表

?
1
2
3
4
5
6
7
create table `dept` (
 `id` int(11) not null,
 `deptno` mediumint(9) default null,
 `dname` varchar(20) default null,
 `loc` varchar(13) default null,
 primary key (`id`)
) engine=innodb default charset=utf8;

2.创建emp表

?
1
2
3
4
5
6
7
8
9
10
11
12
create table `emp` (
 `id` int(11) not null,
 `empon` mediumint(9) default null comment '编号',
 `ename` varchar(20) default null,
 `job` varchar(9) default null,
 `mgr` mediumint(9) default null comment '上级编号',
 `hirdate` datetime default null comment '入职时间',
 `sal` decimal(7,2) default null comment '薪水',
 `comm` decimal(7,2) default null comment '红利',
 `deptno` mediumint(9) default null comment '部门编号',
 primary key (`id`)
) engine=innodb default charset=utf8;

三.设置参数

show variables like 'log_bin_trust_function_creators';

Mysql快速插入千万条数据的实战教程

默认关闭.  需要设置为1。因为表中设置 mediumint 字段 创建函数可能会报错

set global log_bin_trust_function_creators=1;

Mysql快速插入千万条数据的实战教程

四.创建函数

1.随机产生字符串

?
1
2
3
4
5
6
7
8
9
10
11
12
delimiter $
create function rand_str(n int) returns varchar(255)
begin
 declare chars_str varchar(100) default 'abcdefghijklmnopqrstuvwsyzabcdefghijklmnopqrstuvwxyz';
     declare return_str varchar(255) default '';
 declare i int default 0;
     while i< n do
     set return_str =coucat(return_str,substring(chars_str,floor(1+rand()*52),1));
     set i= i+1;
 end while;
     return return_str;
end $

2.随机产生部门编号

?
1
2
3
4
5
6
7
delimiter $
create function rand_num() returns int(5)
begin
 declare i int default 0;
     set i= floor(100+rand()*10);
     return i;
end $

五.创建存储过程

1. emp表存储过程

?
1
2
3
4
5
6
7
8
9
10
11
12
delimiter $
create procedure insert_emp(in start int(10),in max_num int(10))
begin
  declare i int default 0;
        set autocommit = 0;
        repeat #重复
        set i = i + 1;
        insert into emp(empon,ename,job,mgr,hiredate,sal,comm,depton) values ((start+i),rand_str(6),'salesman',0001,curdate(),2000,400,rand_num());
     until i = max_num
 end repeat;
     commit;
end $

2.dept表存储过程

?
1
2
3
4
5
6
7
8
9
10
11
12
delimiter $
create procedure insert_dept(in start int(10),in max_num int(10))
begin
  declare i int default 0;
        set autocommit = 0;
        repeat #重复
        set i = i + 1;
        insert into dept(deptno,dname,loc) values ((start+i),rand_str(10),rand_str(8));
     until i = max_num
 end repeat;
     commit;
end $

六.执行

1.先执行十条

Mysql快速插入千万条数据的实战教程

这个错误是一个小坑 发现了吗 我之前留下的  根据提示 去排查吧 

Mysql快速插入千万条数据的实战教程

执行成功!

2.查看数据

Mysql快速插入千万条数据的实战教程

重头戏来喽!  一次性干他百万条数据  赌一把 看看会不会玩崩了

3.执行百万插入

call insert_dept(10001,1000000);

Mysql快速插入千万条数据的实战教程

400s跑百万数据  一秒2500条    我这配置太垃圾  以前测试的是一秒一万 最好50w跑一次

Mysql快速插入千万条数据的实战教程

Mysql快速插入千万条数据的实战教程

欧克 睡觉 

总结

到此这篇关于mysql快速插入千万条数据的文章就介绍到这了,更多相关mysql插入千万条数据内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.csdn.net/LiuY521/article/details/114273793

延伸 · 阅读

精彩推荐