服务器之家:专注于VPS、云服务器配置技术及软件下载分享
分类导航

Mysql|Sql Server|Oracle|Redis|MongoDB|PostgreSQL|Sqlite|DB2|mariadb|Access|数据库技术|

服务器之家 - 数据库 - Mysql - 将MySQL的表数据全量导入clichhouse库中

将MySQL的表数据全量导入clichhouse库中

2022-10-10 16:58运维之美 Mysql

这篇文章主要介绍了将MySQL的表数据全量导入clichhouse库中,详细介绍全量导出MySQL数据到clickhouse表的相关内容,需要的小伙伴可以参考一下

一、环境

  • tidb06 mysql5.7.32
  • tidb05 clickhouse20.8.3.18

二、创建测试库表写入测试数据

tidb06库创建复制账户:

?
1
2
GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'click_rep'@'172.16.0.246' identified by 'jwts996';flush privileges;
Query OK, 0 rows affected, 1 warning (0.00 sec)

tidb06库创建测试库表test01.tb2并且写入测试数据:

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
CREATE TABLE `tb2` (
`id` int(8) NOT NULL AUTO_INCREMENT, 
`username` varchar(20) COLLATE utf8_unicode_ci NOT NULL,
`password` varchar(20) COLLATE utf8_unicode_ci NOT NULL
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
PRIMARY KEY (`id`) #主键ID
) ENGINE=innodb AUTO_INCREMENT=0 DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci;
 
INSERT INTO tb2(username,password,create_time) values('tomcat', 'xiaohuahua',now());
INSERT INTO tb2(username,password,create_time) values('java', 'xiaohuahua',now());
root@tidb06 14:01:  [test01]> select * from tb2;
+----+----------+------------+---------------------+
| id | username | password   | create_time         |
+----+----------+------------+---------------------+
|  1 | tomcat   | xiaohuahua | 2021-07-21 14:01:50 |
|  2 | java     | xiaohuahua | 2021-07-21 14:01:59 |
+----+----------+------------+---------------------+
2 rows in set (0.00 sec)

clickhouse库的建表创建方法:

?
1
CREATE TABLE tb2 ENGINE = MergeTree PARTITION BY toYYYYMM(create_time) ORDER BY create_time AS SELECT * FROM mysql('172.16.0.247:3306', 'test01', 'tb2', 'click_rep', 'jwts996');

提示:clichhouse表中要求必须至少包含一个时间字段

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
tidb05 :) CREATE TABLE tb2 ENGINE = MergeTree PARTITION BY toYYYYMM(create_time) ORDER BY create_time AS SELECT * FROM mysql('172.16.0.247:3306', 'test01', 'tb2', 'click_rep', 'jwts996');
 
CREATE TABLE tb2
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY create_time AS
SELECT *
FROM mysql('172.16.0.247:3306', 'test01', 'tb2', 'click_rep', 'jwts996')
 
Ok.
 
0 rows in set. Elapsed: 0.014 sec. 
 
tidb05 :) select * from tb2;
 
SELECT *
FROM tb2
 
┌─id─┬─username─┬─password───┬─────────create_time─┐
│  1 │ tomcat   │ xiaohuahua │ 2021-07-21 14:01:50 │
│  2 │ java     │ xiaohuahua │ 2021-07-21 14:01:59 │
└────┴──────────┴────────────┴─────────────────────┘
 
2 rows in set. Elapsed: 0.002 sec. 

到此这篇关于将MySQL的表数据全量导入clichhouse库中的文章就介绍到这了,更多相关MySQL表数据导入clichhouse库中内容请搜索服务器之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持服务器之家!

原文链接:https://blog.51cto.com/wujianwei/3157528

延伸 · 阅读

精彩推荐
  • Mysql远程连接mysql数据库注意事项记录(远程连接慢skip-name-resolve)

    远程连接mysql数据库注意事项记录(远程连接慢skip-name-resolve)

    有时候我们需要远程连接mysql数据库,就需要注意下面的问题,方便大家解决,脚本之家小编特为大家准备了一些资料 ...

    mdxy-dxy3822019-12-04
  • MysqlMySQL自定义函数简单用法示例

    MySQL自定义函数简单用法示例

    这篇文章主要介绍了MySQL自定义函数简单用法,结合实例形式分析了mysql自定义函数的基本定义、使用方法及操作注意事项,需要的朋友可以参考下...

    菜鸟学编程$3842019-06-12
  • MysqlMySQL因配置过大内存导致无法启动的解决方法

    MySQL因配置过大内存导致无法启动的解决方法

    这篇文章主要给大家介绍了关于MySQL因配置过大内存导致无法启动的解决方法,文中给出了详细的解决示例代码,对遇到这个问题的朋友们具有一定的参考...

    Carey4012020-07-31
  • Mysqlmysql中#{}和${}的区别详解

    mysql中#{}和${}的区别详解

    本文主要介绍了mysql中#{}和${}的区别,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...

    拒绝熬夜啊6782022-09-22
  • MysqlMySQL学习笔记小结

    MySQL学习笔记小结

    这篇文章主要介绍了MySQL学习笔记小结,整体介绍了mysql的很多细节我呢体,学习优化mysql的朋友可以参考下,需要的朋友可以参考下 ...

    分享未来3362020-06-11
  • Mysqlmysql外键的三种关系实例详解

    mysql外键的三种关系实例详解

    这篇文章主要介绍了mysql外键的三种关系,结合实例形式详细分析了mysql外键多对一、多对多、一对一3种关系及相关使用技巧,需要的朋友可以参考下...

    dawn-liu5372020-12-29
  • Mysql3种高效的Tags标签系统数据库设计方案分享

    3种高效的Tags标签系统数据库设计方案分享

    这篇文章主要介绍了3种高效的Tags标签系统数据库设计方案分享,现在主流的博客、CMS系统都有一个标签系统,本文就探讨它的数据库设计方式,需要的朋友可...

    junjie8752020-04-14
  • Mysql简单了解mysql方言dialect

    简单了解mysql方言dialect

    这篇文章主要介绍了简单了解数据库方言dialect,数据库方言也是如此,MySQL 是一种方言,Oracle 也是一种方言,MSSQL 也是一种方言,他们之间在遵循 SQL 规范...

    FOOFISH-PYTHON之禅6562020-11-20