canal基本知识_遗梦孤魂的博客-CSDN博客_canald的pacific库
canal基本知识
遗梦孤魂
于 2019-09-03 10:48:54 发布
1989
收藏
分类专栏：
MySQL-System
文章标签：
canal
canal.mq.dynamicTopic
动态分区
动态topic
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40126236/article/details/92654961
版权
MySQL-System
专栏收录该内容
18 篇文章
0 订阅
订阅专栏
 1、canal
a、数据库设置
1.在/etc/my.cmf文件下添加以下三句话:
log-bin = mysql-bin
binlog-format=Row
binlog_row_image = FULL   （默认就是FULL不配也可以，出现数据字段丢失，就必须要配置）
server-id=1
关于：binlog_row_image参数的说明：https://blog.csdn.net/actiontech/article/details/81701362
在数据库查看
show master status
show master logs
show binary logs ;
show binlog events in 'mysql-bin.000012';
show variables like 'binlog_format'; ROW
show variables like '%server_id%';
show variables like 'log_bin';
2.在数据库中创建用户：
CREATE USER canal IDENTIFIED BY 'canal';
GRANT SELECT,REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'canal'@'localhost' IDENTIFIED BY 'canal';
FLUSH PRIVILEGES;
b、canal配置
参考： https://blog.csdn.net/u013151053/article/details/84331800
(1) vi canal.properties 配置canal
canal.ip= localhost
canal.port= 11111
canal.serverMode = kafka
canal.mq.servers = localhost:9092
(2) vi/example/instance.properties配置数据库
canal.instance.mysql.slaveId= 1234
canal.instance.dbUsername=  数据库用户
canal.instance.dbPassword=   数据库用户密码
canal.mq.topic= kafka的topic
c、启动
（1）重启数据库
（2）./bin/startup.sh
d、高级设置
（1）过滤数据库和表的
设置： conf/example/instance.properties文件的 canal.instance.filter.regex=
1. 所有表：.* or .*\\..*
2. canal schema下所有表： canal\\..* （canal为数据库）
3. canal下的以canal打头的表：canal\\.canal.*
4. canal schema下的一张表：canal.test1
5. 多个规则组合使用：canal\\..*,mysql.test1,mysql.test2 (逗号分隔)
（2）发往topic
设置： conf/example/instance.properties文件的 canal.mq.dynamicTopic=
canal 1.1.3版本之后, 支持配置格式：schema 或 schema.table，多个配置之间使用逗号或分号分隔
例子1：test\\.test 指定匹配的单表，发送到以test_test为名字的topic上例子2：.*\\..* 匹配所有表，则每个表都会发送到各自表名的topic上例子3：test 指定匹配对应的库，一个库的所有表都会发送到库名的topic上例子4：test\\.* 指定匹配的表达式，针对匹配的表会发送到各自表名的topic上例子5：test,test1\\.test1，指定多个表达式，会将test库的表都发送到test的topic上，test1\\.test1的表发送到对应的test1_test1 topic上，其余的表发送到默认的canal.mq.topic值
为满足更大的灵活性，允许对匹配条件的规则指定发送的topic名字，配置格式：topicName:schema 或 topicName:schema.table
例子1: test:test\\.test 指定匹配的单表，发送到以test为名字的topic上例子2: test:.*\\..* 匹配所有表，因为有指定topic，则每个表都会发送到test的topic下例子3: test:test 指定匹配对应的库，一个库的所有表都会发送到test的topic下例子4：testA:test\\.* 指定匹配的表达式，针对匹配的表会发送到testA的topic下例子5：test0:test,test1:test1\\.test1，指定多个表达式，会将test库的表都发送到test0的topic下，test1\\.test1的表发送到对应的test1的topic下，其余的表发送到默认的canal.mq.topic值
重要说明
canal.mq.dynamicTopiccanal.instance.filter.regex发送topic描述.\..*d1.t,d2.t,d3.td1,d2,d3同一个数据库发送到以数据库为名字的topic.\...*d1.t,d2.t,d3.td1,d2,d3同一个数据库发送到以数据库为名字的topic.*\\..*d1.t,d2.t,d3.td1_t,d2_t,d3_t单表单topic，数据库和表名为topict:d.*\\.td1.t,d2.t,d3.tt不同库同表，以表名为topic
支持指定topic名称匹配, 配置格式：topicName:schema 或 schema.table，多个配置之间使用逗号分隔, 多组之间使用 ; 分隔
e、canal 的高可用
2、数据库
a、删除旧的
1、查看看旧的版本
rpm -qa |grep mysql
2、删除旧的版本
rpm -e mysql-5.1.73-8.el6_8.x86_64
rpm -e mysql-libs-5.1.73-8.el6_8.x86_64 --nodeps
/var/log/mysqld.log saved as /var/log/mysqld.log.rpmsave
b、安装mysql
1、下载rpm安装包（mysql-5.7.26-1.el6.x86_64.rpm-bundle.tar）
https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.26-1.el6.x86_64.rpm-bundle.tar
将mysql-5.7.26-1.el6.x86_64.rpm-bundle.tar解压到一个指定的文件中
tar -xvf mysql-5.7.26-1.el6.x86_64.rpm-bundle.tar
2、安装server
rpm -ivh mysql-community-common-5.7.26-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.26-1.el6.x86_64.rpm
rpm -ivh mysql-community-client-5.7.26-1.el6.x86_64.rpm
rpm -ivh mysql-community-server-5.7.26-1.el6.x86_64.rpm
3、安装
(1)启动服务service mysqld restart
（2）找密码：去/var/log/mysqld.log
[Note] A temporary password is generated for root@localhost: -yr-x>r:-6Jz
这一句中：用户名：root 密码：-yr-x>r:-6Jz
4、登录修改密码
mysql -uroot -p 再输入 -yr-x>r:-6Jz
set password for root@localhost = password('root');  
c、mysql的备份
备份：
mysqldump -h主机名  -P端口 -u用户名 -p密码 –B 数据库名 > 文件名.sql 
mysqldump -hhadoop -P3306 -uroot -proot2018! -database stk >test.sql
导入：
mysql -hhadoop -P3306 -uroot -proot2018!  ODS< test.sql
遗梦孤魂
关注
关注
点赞
收藏
打赏
评论
canal基本知识
1、canala、数据库设置1.在/etc/my.cmf文件下添加以下三句话:log-bin = mysql-binbinlog-format=Rowbinlog_row_image =FULL （默认就是FULL不配也可以，出现数据字段丢失，就必须要配置）server-id=1关于：binlog_row_image参数的说明：https://blog.csdn...
复制链接
扫一扫
专栏目录
统计学基础学习笔记：描述统计量
howard2005的专栏
10-20
876
文章目录一、数据文件二、绘制直方图与折线图三、数据的位置（一）基本概念1、样本平均数（mean）2、中位数（median）3、众数（mode）4、百分位数（percentile）（二）针对两种数据结构计算数据的位置1、序列（Series）2、数据帧（DataFrame）任务：比较浦发银行和工商银行的平均值、中位数、众数和百分位数四、数据的离散度1、极差（Range）2、平均绝对偏差（Mean Absolute Deviation）3、方差（Variance）和标准差（Standard Deviation）任
canal客户端binlog解析
08-29
canal客户端binlog解析，入口为getJsonData(List entries),解析完后数据：{
"schemaName": "schemaName",
"tableName": "tableName",
"type": "insert",
"data": [
"id": "id"
},
"name": "name"
评论 1
您还未登录，请先
登录
后发表或查看评论
LeetCode知识点总结 - 417
最新发布
m0_59773145的博客
11-23
LeetCode 417. Pacific Atlantic Water Flow
k8s集群下canal-adapter连接canal-server实践
01-07
k8s集群下adapter连接server域名问题改造前言问题解析解决方案
前言
成也容器重启，败也容器重启，说好的重启治百病，在容器这里，是重启出百病啊！
之前说过，我们使用statefuset类型使canal-server域名固定之后又挂载pv使server即使重启也不会丢失数据，本以为万事大吉，没想到在用adapter同步数据时发现还是出了bug…
问题
使用域名注册server之后，马上启了个adapter去检测一下域名方式是否可用，将canalServerHost的值设置成域名之后启动，数据成功同步，内心狂喜，感觉自己已经彻底成功了，但还是本着严谨的态度，手动delete掉canal
【Canal】canal简介
qq_41466440的博客
11-04
236
【Canal】canal简介
canal--介绍/使用/配置
IT利刃出鞘的博客
04-19
1468
其他网址
Canal AdminGuide - agapple - ITeye博客
简介
canal官网
https://github.com/alibaba/canalhttps://github.com/alibaba/canal/wiki
canal原理
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump...
Canal 问题排查（不抓取数据）
weixin_43390992的博客
11-07
3586
问题一：
ERROR c.a.otter.canal.parse.inbound.mysql.MysqlEventParser - dump address /192.168.1.50:3306 has an error, retrying. caused by
com.alibaba.otter.canal.parse.exception.CanalParseException: can’t f...
超详细的Canal入门，看这篇就够了！
热门推荐
yehongzhi1994的博客
08-09
19万+
Canal入门看这篇就够了！
mysql的数据表同步工具 canal的使用
健康平安的活着的专栏
09-06
1252
canal是阿里巴巴旗下的一款开源项目，使用java语言进行开发，基于数据库增量日志解析，提供增量数据订阅与消费的功能。是一款很好用的数据库同步工具。目前只支持mysql。
中间件-Canal
喝醉的咕咕鸟
04-13
2481
Canal 是用 Java 开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。 目前。Canal主要支持了 MySQL的Binlog解析，解析完成后才利用Canal Client来处理获得 的相关数据 （数据库同步需要阿里的 Otter 中间件，基于 Canal）。
阿里Canal从入门到实战
07-09
本课程基于阿里巴巴 MySQL binlog 增量订阅&消费组件，对Canal进行全面系统的讲解。课程先介绍Canal在电商运行项目中的架构设计与解决方案，然后详细讲解Canal架构原理以及Canal HA工作机制，最后通过Canal单节点Server，Canal HA集群，Canal集成Kafka三个案例进行实操，从而快速、深入掌握阿里Canal技术，实现数据实时增量采集.<br />
超详细的canal使用总结
小飞的博客
10-12
8850
超详细的canal使用总结
canal的介绍
​canal，译意为水道/管道/沟渠，从官网的介绍中可以知道，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
​这是一张官网提供的示意图：
官网的解释最权威，我就直接引用一下官网的原话，另，附上官网地址：https://github.com/alibaba/canal
基于日志增量订阅和消费的业务包括
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
Canal底层原理和注意事项的介绍
击水三千里的专栏
05-15
4234
canal的工作原理
原理相对比较简单：
canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
mysql master收到dump请求，开始推送binary log给slave(也就是canal)
canal解析binary log对象(原始为byte流)
server代表一个canal运行实例，对应于一个j...
Apache Airflow Unauthorized
不光要学，知识要能说出口
11-01
2057
声明
本程序仅供于学习交流，请使用者遵守《中华人民共和国网络安全法》，勿将此脚本用于非授权的测试，脚本开发者不负任何连带法律责任。
代码
"Name": "Apache Airflow Unauthorized",
"Level": "3",
"Tags": [
"Unauthorized"
],
"GobyQuery": "app=\"APACHE-Airflow\"",
"Description": "r
mysql新增字段canal失效_canal 踩坑实录---这可能是你看到的最全最简单的canal教程...
weixin_29404509的博客
01-19
1053
前排参考文章前排提示canal1.1.5 比1.1.4 优化了很多 但是正式版还没发布 可以自己打包使用对比1.1.5 默认支持mysql8 mysql8 默认打开binlog 默认支持utf81.1.4 默认是mysql8以下 需要手动打开binlog日志 需要手动设置utf8canal 在window下启动 问题很多 最后是在linux下测试win下可能会遇到的问题 conf...
【开源实战】Canal部署常见问题：重复解析/Filter失效/消费落后
蛮三刀酱
06-11
2563
前言
Canal是阿里巴巴开源的数据库Binlog日志解析框架，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
在之前我写的文章阿里开源MySQL中间件Canal快速入门中，我已经介绍了Canal的基本原理和基础使用。
在部署到生产环境的过程中，自己作为一个菜鸟，又踩了一些坑，期间做了记录和总结，并再解决后分析了下原因，便有了此文。
本文重点内容
Canal常见的三大问题原因分析及解决方案
Binlog解析错误：重复解析/DML解析为QUERY
Filter失效：设置过滤器无.
canal实时数据同步(1)-异库单库单表
liuwei0376的专栏
06-14
333
canal实时数据同步(1)-异库单库单表
Canal详解
A-乐
12-02
1401
canal，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据的订阅和消费。
学习地址：https://github.com/alibaba/canal
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。
基于日志增量订阅和消费的业务包括：
数据库镜像
数据库实时备份
索引构建和实
Canal原理及其使用
fighting
02-08
3万+
1 什么是canal
  canal是用java开发的基于数据库增量日志解析，提供增量数据订阅&消费的中间件。目前，canal主要支持了MySQL的binlog解析，解析完成后才利用canal client 用来处理获得的相关数据。（数据库同步需要阿里的otter中间件，基于canal）
2 canal使用场景
  （1）阿里otter（阿里用于进行异地数据库之间的同步框架）中间件的一部分，这是原始场景
  （2）更新缓存：如果有大量的请求发送到mysql的话，mysql查询速度慢，QPS上不去，
canal使用指南（一）
imVainiycos的博客
12-22
2897
Canal的使用指南。实现一个简单纯净的client-service，暂时不接入mq。
文章目录一、什么是canal二、准备工作三、canal服务端搭建3.1 配置文件3.1.1 canal.properties3.1.2 instance 实例配置3.2 开始启动3.3 查看日志四、客户端实现
一、什么是canal
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务.
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：书香水墨
设计师：CSDN官方博客
返回首页
遗梦孤魂
CSDN认证博客专家
CSDN认证企业博客
码龄5年
暂无认证
77
原创
4万+
周排名
9674
总排名
18万+
访问
等级
2322
积分
20
粉丝
42
获赞
59
评论
189
收藏
私信
关注
热门文章
org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result
11914
java集合之List线程安全性比较总结
10057
top命令下CPU%一直超过百分之100甚至百分之200的原因
9623
catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timesta
9532
canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例，以及问题
9321
分类专栏
MySQL-System
18篇
private
JDK源码
5篇
ES-System
1篇
Canal-System
1篇
monitor
1篇
Hadoop-System
2篇
Spark-System
5篇
error__problem
29篇
tools
2篇
konwledge
6篇
software
1篇
project
2篇
Linux-System
2篇
webUI
4篇
最新评论
prometheus的远程存储到clickhouse里面，prometheus store clickhouse
柠檬味的鱼°:
编译有问题的，我已经把编译好的文件放在了我的主页文章，欢迎小伙伴自取！
flink cdc 的 问题
小三你妹:
第二个配置重启这是什么版本的MySQL-cdc,我看2.2.0不支持时间和特殊位置
flink cdc 的 问题
augie_ly:
楼主好，请问第三个问题您是怎么解决的？谢谢
flink cdc 的 问题
遗梦孤魂:
这个是一个整体性的问题。。你的程序出问题了，就会抛出这个异常
java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/serializers/ClosureSerializer$Closure
qq_29711413:
我也出现了这个问题，是scala和java混合在一起，使用了sedona的读取文件出现的，你这边有解决问题吗？
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
centos8 离线安装redis的艰苦历程（gcc、make、redis）
idea maven unable to find valid certification path to requested target...
No compiler is provided in this environment
2022年14篇
2021年8篇
2020年12篇
2019年38篇
2018年7篇
目录
目录
分类专栏
MySQL-System
18篇
private
JDK源码
5篇
ES-System
1篇
Canal-System
1篇
monitor
1篇
Hadoop-System
2篇
Spark-System
5篇
error__problem
29篇
tools
2篇
konwledge
6篇
software
1篇
project
2篇
Linux-System
2篇
webUI
4篇
目录
评论 1
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
遗梦孤魂
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值