canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例，以及问题_遗梦孤魂的博客-CSDN博客
canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例，以及问题
遗梦孤魂
于 2019-09-16 11:29:51 发布
9323
收藏
16
分类专栏：
MySQL-System
文章标签：
canal
canal-admin
mysql
配置文件
zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40126236/article/details/100777543
版权
MySQL-System
专栏收录该内容
18 篇文章
0 订阅
订阅专栏
一、软件下载
1、介绍
canal的主要的作用就是通过MySQL的binlog日志文件，同步数据到MQ，MQ包含mysql、kafka、tcp等等canal-admin是一个webUI界面，通过界面配置的方式，管理canal的配置文件，方便易于管理。
2、下载
使用的有点击下载：canal.deployer-1.1.4.tar.gz  和   canal.admin-1.1.4.tar.gz
下载链接：https://github.com/alibaba/canal/releases
二、配置canal-admin
官网案列：https://github.com/alibaba/canal/wiki/Canal-Admin-QuickStart
1、修改配置文件
# 在Linux的服务器中
# 直接在服务器中下载，或者是在wind下载之后需要传到服务器上
wget https://github.com/alibaba/canal/releases/download/canal-1.1.4/canal.admin-1.1.4.tar.gz
# 解压
mkdir /tmp/canal-admin
tar zxvf canal.admin-1.1.4.tar.gz -C /tmp/canal-admin
# 修改配置文件
vi conf/application.yml
# 主要配置
spring.datasource:
address: 127.0.0.1:3306 #数据库的ip
username: root #数据库的账号
password: root #数据库的密码
canal:
adminUser: admin #canal-admin的账号
adminPasswd: 123456 #canal-admin的密码(默认是admin，改成6位以上的密码)
2、初始化数据库
# 连接上面配置的mysql数据库
mysql -h 127.1 -u root -p
-- 最好在/tem/canal-admin目录下连接数据库
>source conf/canal_manager.sql
3、启动canal-admin
# 在bin目录里面启动：
sh bin/startup.sh
在webUI界面查看： http://127.0.0.1:8089/ 访问，默认密码：admin/123456 
三、配置canal-1.1.4
官网案例：https://github.com/alibaba/canal/wiki/Canal-Admin-ServerGuide
1、配置文件
canal-1.1.4的版本较之前的版本基本一样，就是在配置文件上有一点不同，在conf/目录下有两个主要的全局配置文件，一个是：canal.properties这个和之前所有版本的配置一样，还有一个是canal_local.properties这个是指定canal-admin的UI界面的。在此我们主要是使用canal_local.properties这个配置，使得canal运行之后，配置可以在webUI端快速的更改配置。
# canal服务端的ip最好使用主机映射
canal.register.ip = hadoop001
# 这个是webUI的配置
canal.admin.manager = 127.0.0.1:8089 #登录的ip
canal.admin.port = 11110 #交互的端口
canal.admin.user = admin #webUI的账号
canal.admin.passwd = 6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 #webUI密码的暗文
# admin auto register
canal.admin.register.auto = true
canal.admin.register.cluster = #集群的名字
2、配置密码
上面配置的webUI的密码暗文需要到mysql的数据库查询的，我们配置的密码是123456，所以需要到数据库产生
mysql> select password(123456);
+-------------------------------------------+
| password(123456) |
+-------------------------------------------+
| *6BB4837EB74329105EE4568DDA7DC67ED2CA2AD9 |
+-------------------------------------------+
1 row in set, 1 warning (0.00 sec)
3、启动
1）要先启动canal-admin
2）在canal-admin的UI界面配置主配置，以及server配置。参考：四、webUI的使用
3)上面步骤配置完成才能启动。在canal的安装目录/bin目录下执行startup.sh 传入参数local
# 启动方法一：
sh bin/startup.sh local
# 启动方法二：
# ---将canal_local.properties配置文件的名字改成canal.properties(删除原有的)
sh bin/startup.sh
4、高可用（服务端高可用）
1）在多台机器上重复以上：1、配置文件；2、配置密码；3启动步骤（与UI界面的server配置要吻合）
2）个人理解集群模式也即高可用模式，一般情况下只用开启一个服务端就可以用了，而集群模式就开了多个服务，每个服务也是相互独立的（只有元数据是一样的在zookeeper保存），当手动的关闭一个服务，不会影响集群以及数据导入的，实例会在其他服务上重新启动。
四、webUI的使用
官网案例：https://github.com/alibaba/canal/wiki/Canal-Admin-Guide
1、主配置
主配置就和之前的版本的配置一样也就是canal目录下的canal.properties文件的配置。其中canal.properties:集群模式不用配置ip
2、server配置
配置基本保持默认就好
3、instance配置
canal的实例配置
instance.properties:配置如之前版本
参考配置：
https://blog.csdn.net/weixin_40126236/article/details/90474784
https://blog.csdn.net/weixin_40126236/article/details/92654961   
五、问题
1、启动顺序问题
首先canal的服务需要去canal-admin上去读取配置文件，所以canal-admin需要先启动，就是要先有UI界面，然后在启动canal服务。注意：canal的服务默认是读取本地的配置，启动时一定要加上loacl这个参数，或者改配置文件的名字。
2、元数据问题
在主配置里面canal.instance.global.spring.xml这个配置如果选择的是:
file-instance.xml（一般是单机模式）元数据保存在conf/实例/instance.xmldefault-instance.xnl (为集群模式) 元数据保存在zookeeper里面/otter/canal/destinations   （需要配置zookeeper地址）
3、zookeeper改变
如果主配置的zookeeper地址改变了，需要修改集群的zookeeper和主配置的canal.zkServers参数，最好同时删除conf目录下的所有实例和zookeeper里面保存的所有实例。最后重启canal-admin，再重启canal服务
有怀疑或不足之处，请留言！ 
遗梦孤魂
关注
关注
点赞
16
收藏
打赏
13
评论
canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例，以及问题
一、软件下载1、介绍canal的主要的作用就是通过MySQL的binlog日志文件，同步数据到MQ，MQ包含mysql、kafka、tcp等等canal-admin是一个webUI界面，通过界面配置的方式，管理canal的配置文件，方便易于管理。2、下载使用的有点击下载：canal.deployer-1.1.4.tar.gz 和 canal.admin-1.1.4.tar....
复制链接
扫一扫
专栏目录
canal_manager.sql
09-22
Canal Admin 1.1.5 SQL脚本
Canal 概念
好好学习天天向上
09-07
80
canal概念及使用
评论 13
您还未登录，请先
登录
后发表或查看评论
安装canal-admin管理界面
weixin_43564627的博客
07-21
482
安装canal-admin管理界面
1.1 下载安装包
https://github.com/alibaba/canal/releases/tag/canal-1.1.4
1.2 解压缩
tar -zxvf canal.admin-1.1.4.tar.gz -C /opt/apps/ecm/service/canal-admin/
1.3 修改配置文件 conf/application.yml
server:
port: 8089
spring:
jackson:
date-format: yyyy-MM
【Canal】使用CanalAdmin来搭建一个canal集群
最新发布
qq_41466440的博客
10-31
70
【ClickHouse】canal 部署
Canal：部署Canal与Canal Admin
kaven
12-14
3318
简介
canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于MySQL数据库增量日志解析，提供增量数据订阅和消费。
工作原理
canal模拟MySQL slave的交互协议，将自己伪装为MySQL slave，向MySQL master发送dump协议。
MySQL master收到dump请求，开始推送binary log给slave（即canal ）。
canal解析binary log对象（原始为byte流）。
因此可以用Canal来提供MySQL数据库增量数据的订阅和消费，当My
canal mysql 集群,Canal Admin 搭建 Canal 集群以及体验
weixin_35551678的博客
04-01
522
Canal 是阿里巴巴开源的一套分布式数据库同步系统，目前主要支持 MySQL、RDS。Canal 的主要原理是伪装成 MySQL 的 Slave 节点，监听 MySQL 主库的 binlog 文件，根据 binglog 将数据库事件发送到 MQ 中，消费端可以订阅 MQ 中的消息。为了方便 Canal 的运维人员，阿里还提供了 Canal Admin 这个运维平台，使用户可以快速和安全的操作。准...
canal admin可视化管理
weixin_43931625的博客
07-25
409
canal admin可视化管理
canal-admin的部署与使用，及相关监控
未知的希望，是我不灭的信仰
05-28
2412
canal-admin的相关
canal-1.1.6(deployer admin deployer)
06-22
github下载太慢,放一份到这方便大家
官方下载地址 https://github.com/alibaba/canal/releases
资源包括
canal.adapter-1.1.6.tar
canal.admin-1.1.6.tar
canal.deployer-1.1.6.tar
canal 1.1.4资源合集(canal.admin\canal.deployer\canal.deployer)-v2
08-18
canal.adapter-1.1.4.tar.gz
canal.admin-1.1.4.tar.gz
canal.deployer-1.1.4.tar.gz
文件比较大，分两部分分上传
canal web管理界面配置
ziuwai 的博客
03-17
562
1、下载canal
https://github.com/alibaba/canal
2、IDEA 导入项目
3、修改配置文件
4、安装Ebean插件
打开idea, File > Settings > Plugins > "Ebean 11" 来安装插件，如图所示：
5、启动CanalAdmin
6、启动canal-ui
构建项目
npm instll
运行项目
npm run dev
...
mysql数据实时同步：Canal安装部署、kafka安装、zk安装、mysql安装、Canal Server+Canal Client HA，Canal+mysql+Kafka，相关验证（学习笔记）
涂作权的博客
01-04
1021
目录
Canal安装部署
1.1. 服务器准备
1.2. 设置主机名并配置hosts
1.3. 免密设置
1.4. 设置ntp时间
1.5. 关闭防火墙
1.6. 关闭selinux
1.7. 安装JDK
1.8. 安装zookeeper
1.9. 安装scala
安装Kafka
2.1. 解压
2.2. 配置环境变量
2.3. 修改配置文件
2.4. 再次修改server.properties
2.5. 创建日志目录
2.6. Kafka集群启动与测试
2.7. topi
基于阿里巴巴canal实现redis与mysql数据同步【包含canal-admin webUI后台管理】
whotw的博客
09-15
2083
canal 原理【官方文档】
简介
canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费
早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业...
超详细的canal使用总结
小飞的博客
10-12
8850
超详细的canal使用总结
canal的介绍
​canal，译意为水道/管道/沟渠，从官网的介绍中可以知道，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。
​这是一张官网提供的示意图：
官网的解释最权威，我就直接引用一下官网的原话，另，附上官网地址：https://github.com/alibaba/canal
基于日志增量订阅和消费的业务包括
数据库镜像
数据库实时备份
索引构建和实时维护(拆分异构索引、倒排索引等)
业务 cache 刷新
带业务逻辑的增量数据处理
数据库系列——使用Canal Admin实现MySQL增量数据同步运维管理
Coder_Boy_的博客
12-12
803
基于上一篇文章：https://blog.csdn.net/Coder_Boy_/article/details/111055381
这里主要基于Canal Admin搭建一个MySQL增量数据管理运维web平台
简介
Canal Admin是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作
实际安装使用中会遇到一些坑，所以作为踩坑笔记，介绍本地安装使用情况。
canal-admin需依赖canal，且canal版本..
canal-admin单机模式部署安装
weixin_42487460的博客
04-23
784
canal-admin单机模式部署安装
一、安装canal-admin
解压安装
mkdir /opt/soft/canal-admin115
tar -zxvf canal.admin-1.1.5-SNAPSHOT.tar.gz -C /opt/soft/canal-admin115/
修改配置文件application.yml
vi conf/application.yml,修改address为本地源数据库,并修改相关用户和密码
server:
port: 8089
spring:
canal.admin、adapter和deployer的区别
qq_25275061的博客
10-13
3211
canal.admin、adapter和deployer的区别
一进canal的下载页面https://github.com/alibaba/canal/releases
Canal、Canaladmin、Canaladapter多instance数据库表双向同步，TCP/Zookeeper、Rocketmq配置
殷长庆的博客
07-02
1070
目录背景配置下载MySQL配置单机模式配置Canaladmin配置Instance配置Canal配置Canaladapter配置集群模式(ZK)Canaladmin配置Canal配置使用RocketMQCanaladmin配置 Instance配置Canaladapter配置两个MySQL数据库实例中，实现order表双向同步增删改操作准备一台Linux，用来安装canal环境，需要提前安装JDK和MySQL，安装JDK是为了启动canal这三个项目，这个是必要的安装MySQL是因为admin用到了cana
canal与mysql高可用_canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例...
weixin_28733637的博客
03-03
163
一、软件下载1、介绍canal的主要的作用就是通过MySQL的binlog日志文件，同步数据到MQ，MQ包含mysql、kafka、tcp等等canal-admin是一个webUI界面，通过界面配置的方式，管理canal的配置文件，方便易于管理。2、下载二、配置canal-admin1、修改配置文件# 在Linux的服务器中# 直接在服务器中下载，或者是在wind下载之后需要传到服务器上wget...
阿里巴巴CanalAdmin部署以及Canal集群HA搭建
xiaolinzi176的博客
05-25
1285
背景
canal-admin设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的WebUI操作界面，方便更多用户快速和安全的操作
设计理念
canal-admin的核心模型主要有：
instance，对应canal-server里的instance，一个最小的订阅mysql的队列
server，对应canal-server，一个server里可以包含多个instance
集群，对应一组canal-server，组合在一起面向高可用HA的运维
简单解释：
instanc
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：书香水墨
设计师：CSDN官方博客
返回首页
遗梦孤魂
CSDN认证博客专家
CSDN认证企业博客
码龄5年
暂无认证
77
原创
4万+
周排名
9674
总排名
18万+
访问
等级
2322
积分
20
粉丝
42
获赞
59
评论
189
收藏
私信
关注
热门文章
org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result
11914
java集合之List线程安全性比较总结
10057
top命令下CPU%一直超过百分之100甚至百分之200的原因
9623
catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timesta
9532
canal-admin的高可用使用，单机使用，HA使用，阿里的canal的UI界面，管理canal的实例，以及问题
9321
分类专栏
MySQL-System
18篇
private
JDK源码
5篇
ES-System
1篇
Canal-System
1篇
monitor
1篇
Hadoop-System
2篇
Spark-System
5篇
error__problem
29篇
tools
2篇
konwledge
6篇
software
1篇
project
2篇
Linux-System
2篇
webUI
4篇
最新评论
prometheus的远程存储到clickhouse里面，prometheus store clickhouse
柠檬味的鱼°:
编译有问题的，我已经把编译好的文件放在了我的主页文章，欢迎小伙伴自取！
flink cdc 的 问题
小三你妹:
第二个配置重启这是什么版本的MySQL-cdc,我看2.2.0不支持时间和特殊位置
flink cdc 的 问题
augie_ly:
楼主好，请问第三个问题您是怎么解决的？谢谢
flink cdc 的 问题
遗梦孤魂:
这个是一个整体性的问题。。你的程序出问题了，就会抛出这个异常
java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/serializers/ClosureSerializer$Closure
qq_29711413:
我也出现了这个问题，是scala和java混合在一起，使用了sedona的读取文件出现的，你这边有解决问题吗？
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
centos8 离线安装redis的艰苦历程（gcc、make、redis）
idea maven unable to find valid certification path to requested target...
No compiler is provided in this environment
2022年14篇
2021年8篇
2020年12篇
2019年38篇
2018年7篇
目录
目录
分类专栏
MySQL-System
18篇
private
JDK源码
5篇
ES-System
1篇
Canal-System
1篇
monitor
1篇
Hadoop-System
2篇
Spark-System
5篇
error__problem
29篇
tools
2篇
konwledge
6篇
software
1篇
project
2篇
Linux-System
2篇
webUI
4篇
目录
评论 13
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
打赏作者
遗梦孤魂
你的鼓励将是我创作的最大动力
¥2
¥4
¥6
¥10
¥20
输入1-500的整数
余额支付
(余额：-- )
扫码支付
扫码支付：¥2
获取中
扫码支付
您的余额不足，请更换扫码支付或充值
打赏作者
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值