mysql快速写入千万级数据库

mysql快速写入千万级数据库

mysql数据库实现插入千万级数据的方法

发布时间：2020-06-09 14:05:30

来源：亿速云

阅读：268

作者：鸽子

mysql如何实现循环插入千万级数据？

1.建表：CREATE TABLE `mysql_genarate` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`uuid` varchar(50) DEFAULT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8

2.创建一条条循环插入的存储过程create procedure test_two1()

begin

declare i int default 0; while i < 3000 do

INSERT into mysql_genarate(uuid) VALUES(UUID()); set i = i + 1;

end while;

end #

使用 call test_two1(); 测试，3000条数据耗时74秒，如果是千万级数据，这个速度将无法忍受。

所以我在网上找了一下优化的方法，发现可以拼接批量插入的sql语句，速度提升很多；

3.优化后的存储过程CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0;

set @exesql = concat("insert into mysql_genarate(uuid) values");

set @exedata = "";

set count=0;

set i=0;while count

set @exedata = concat(@exedata, ",(UUID())");

set count=count+1;

set i=i+1; if i%1000=0

then

set @exedata = SUBSTRING(@exedata, 2);

set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);

prepare stmt from @exesql;

execute stmt; DEALLOCATE prepare stmt;

set @exedata = ""; end if;end while;if length(@exedata)>0 then

set @exedata = SUBSTRING(@exedata, 2);

set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata);

prepare stmt from @exesql;

execute stmt; DEALLOCATE prepare stmt;end if;end;

调用 call insertPro(3000) ，耗时零点几秒，这个速度可以接受。

接着调用 call insertPro(30000000) ;测试3000万条数据插入，结果耗时1824.203s(30分钟)。个人电脑这个速度可以了。

另外，采用java多线程同时拼接sql，每10000条提交一次的方式，在8个线程同时运行的情况下，3000万条数据插入耗时336s，1亿条数据插入耗时1087s。