列式数据库~clickhouse日常管理-CSDN博客
列式数据库~clickhouse日常管理
最新推荐文章于 2023-01-10 14:41:11 发布
weixin_33857679
阅读量358 收藏 点赞数 原文链接：
http://www.cnblogs.com/danhuangpai/p/10532860.html
版权
clickhouse日常管理
一 变量相关
  1 查看变量
     system.setting相关表
  2 设置变量
     set variables= 请注意这里是session级别,如果想永久生效,必须修改配置文件
  3 变量文件分类
     config.xml
     说明 config.xml针对的是server级别的限制,包括不仅限于内存,复制集,分布式,数据目录等设置
     user.xml
     说明 user.xml针对的是用户级别的限制,主要包括用户增删查改的内存控制参数
 4 配置文件操作便利
   clickhouse会自动扫描,可以在配置文件中操作完进行查询.不用重启服务
5 配置变量优化
  user变量优化
  1 内存相关
  max_memory_usage ck整体会话限制,包括全部链接的全部会话内存使用量上限 默认10G
  max_bytes_before_external_group_by group by占用内存->针对查询 (如果需要使用max_bytes_before_external_group_by，建议将max_memory_usage设置为max_bytes_before_external_group_by大小的两倍)
  min_insert_block_size_rows, min_insert_block_size_bytes 当插入导致内存溢出时,可尝试调小
  config相关
  1 bind本地IP,调整datadir
  2 allow_experimental_multiple_joins_emulation  最新版本支持多表join参数
二 系列问题
     数据同步分为两种场景
    1 实时同步mysql数据
       方案 : canal+kafka 实时消费binlog进行插入,在kafka进行批量操作封装
   2 异步同步mysql数据
        方案1 利用ck官方mysql driver进行同步
        方案2  直接读取hdfs文件进行同步
    总结:尽量避免单条插入而选择批量操作,提高ck整体效率
   3 关于 update/delete操作
   clickhouse关于update/delete操作是异步后台进行,而且成本很高,所以尽量减少和避免进行update/delete操作
   通过 select * from system.mutations    可以判断后台操作进行是否完成 
   语法eg alter table update table column='' where 条件
  4  ck关于DDL操作的一些限制     
  尽量不要进行 modify column,更改列的操作代价是非常高昂的
  5  程序如何调用clickhouse
      使用jdbc调用 ClickHouse驱动包,最后编写测试类,可参考
      https://blog.csdn.net/zwq_zwq_zwq/article/details/80871518 样例
 三 code相关错误
       1  Code: 32, e.displayText() = DB::Exception: Attempt to read after eof: while receiving packet from 127.0.0.1:9000, Stack trace:
转载于:https://www.cnblogs.com/danhuangpai/p/10532860.html
优惠劵
关注
点赞
觉得还不错?
一键收藏
知道了
评论
clickhouse日常管理一 变量相关 1 查看变量
system.setting相关表 2 设置变量
set variables=
请注意这里是session级别,如果想永久生效,必须修改配置文件 3 变量文件分类
config.xml
说明 config.xml针对的是server级别的限制,包括不仅限于内存,复制集,分布式,数据目录等设置
...
复制链接
扫一扫
ClickHouse
.开源的列存储
数据库
管理
系统
12-22
开源的列存储
系统，支持线性扩展，简单方便，高可靠性 适合初学者进行学习和了解
clickhouse
常见异常以及错误码解决
weixin_57205390的博客
02-23
2万+
解决：合理设置max_concurrent_queries，max_bytes_before_external_sort，background_pool_size，max_memory_usage，max_memory_usage_for_all_queries，max_bytes_before_external_group_by，尤其重要的是max_memory_usage_for_all_queries 【 单机最大的内存使用量可以设置略小于机器的物理内存(留一点内操作系统)】。
参与评论
您还未登录，请先
登录
后发表或查看评论
数据查询
花&败
04-28
3477
1.查询语法
[WITH expr_list|(subquery)]
SELECT [DISTINCT] expr_list
[FROM [db.]table | (subquery) | table_function] [FINAL]
[SAMPLE sample_coeff]
[ARRAY JOIN ...]
[GLOBAL] [ANY|ALL|ASOF] [INNER|LEFT|RIGHT|FULL|CROSS] [OUTER|SEMI|ANTI] JOIN (subquery)|table (
同步mysql数据
aaaak_的博客
07-01
966
复杂查询导致
宕机
null_equals的专栏
12-04
3828
背景
最近在研究
，发现了不少坑，有些坑是官方的无法解决，有些是配置的问题。配置问题及优化的问题就需要我们不断的调整配置以及优化sql。优化sql最主要是理解
是如何查询的，我们才能找到瓶颈点，找到优化方法。
问题
在8G内存4核CPU的机器上，单节点的默认配置的
，保存数据8000W+，一个复杂的多表关联的查询，每次查询到98%的时候，
就自动宕机了，报错如下：
Exception on client:
Code: 32. DB::E
浅析
列式
的特点
03-02
最早的商业
是在1995年发布的SybaseIQ，但是一直到1999年左右才慢慢稳定到能够投入生产环境。现在的大多数分析型
都是在2003-2005年从Postgresql分支出来的。其中尤其是Vertica为代表的列
已经在...
和向量化
02-25
有助于减少联机分析处理(OLAP)的负载，因为查询会涉及到列的一个子集，但这些列都有大量的行数。
存储格式使我们可以采用一些基于每列的轻量级压缩算法（lightweightcompressionalgorithms）。向量化的...
修改配置
司马懿的西山居
11-29
6296
临时修改
注意：该命令只能在
-client 中执行，若在 DBeaver 中执行，会报错
全局修改
学习
银滴子的博客
09-24
1505
DDL
添加
字段
alter table user_tags add column last_subject String;
alter table user_tags add column class_trust_valids Int8;
删除列
ALTER TABLE [db].name [ON CLUSTER cluster] DROP COLUMN ...
的报错集合(以错误状态码收集)
qq_44833146的博客
11-30
7794
错误码目录项目场景(错误码:210, 279)：备用项目场景：
项目场景(错误码:210, 279)：
在使用Distributed的分布引擎时出现的报错
问题描述：
先在3台节点上都创建t表,
再在102上使用分布引擎创建表,合并这些表格,
结果出现的错误是:
↘ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.) Received exception from server (version 19.7.3):
Code: 279. DB::E
成功解决“Connection failed”错误
强哥的微博
01-10
1万+
出现“Connection failed”错误，如下图：
输入的密码是对的老是让再次输出
（十二、踩坑之路）
yyoc97的专栏
09-14
Q1
DB::Exception: Cannot create table from metadata file /data/
/metadata/default/dwd_test.sql, error: DB::Exception: The local set of parts of table default.dwd_test doesn’t look like the set of parts in ZooKeeper: 65.88 million rows of 85.04 mi.
Clickhouse
集群应用、分片、复制
热门推荐
tianjinsong的专栏
10-11
4万+
https://www.jianshu.com/p/20639fdfdc99
简介
通常生产环境我们会用集群代替单机，主要是解决两个问题：
效率
稳定
如何提升效率？一个大大大任务，让一个人干需要一年，拆解一下让12个人同时干，可能只需要1个月。对于
来说，就是数据分片。
如何提升稳定性？所谓稳定就是要保证服务时刻都能用，也常说高可用。这就像团队里必须有二把手，老大有事不在，老二要能...
查询语句详解
m0_67401055的博客
08-01
5943
下面我们会逐一介绍各个子表达式，主要介绍和标准SQL不同的部分，如果某条语句执行报错，则可能是
版本不支持。
常用函数速查大全
haveanybody的博客
07-31
8076
主要有两种函数：常规函数和聚合函数，除此之外，还有 ‘arrayJoin’ 等特殊函数，我们将分别介绍。需要注意的是
具有强类型限制，换句话说，它不进行类型之间的隐式转换，每个函数都适用于特定的类型参数。这意味着有时需要使用类型转换函数。
如果下面函数执行报错，则可能是
toTypeName(0)
1. 算术函数
对于所有算术函数，计算结果类型向上兼容。
SELECT toTypeName(0), toTypeName(0 + 0), t
监控指标
一条大河
697
重要监控指标及其说明解释
源码阅读(0000 0111) —— 使用ReplicatedMergeTree引擎时的副本选择问题--对远程副本的选择
B_e_a_u_tiful1205的博客
12-25
1297
前一篇文章已经讲到对于没有使用表函数的情况，pool->getManyChecked()这个方法是重点。
对于这个方法的返回值可以看一下，TryResult的定义如下：
struct TryResult {
TryResult() = default;
explicit TryResult(Entry entry_)
能代替
最新发布
05-18
目前市面上有一些可以代替
，以下是一些例子：
1. Apache Cassandra：Cassandra是一个高可扩展性的NoSQL
，适用于大规模分布式环境下的高吞吐量和低延迟的数据存储和检索。
2. Apache HBase：HBase是一个开源的非关系型分布式
，使用Apache Hadoop作为其底层存储技术，可以处理PB级别的数据。
3. Amazon Redshift：Redshift是一种快速、高效、完全托管的
数据仓库服务，为企业提供了数据仓库解决方案。
4. Google BigQuery：BigQuery是一种完全托管的
数据仓库服务，可用于快速查询大型数据集。
5. Apache Druid：Druid是一个高性能、实时、分布式
数据存储系统，可用于快速查询和分析大规模数据集。
需要根据具体的业务需求和数据规模选择最适合的
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
CSDN认证博客专家
CSDN认证企业博客
码龄8年
暂无认证
129
原创
周排名
124万+
总排名
144万+
访问
等级
8456
积分
5302
粉丝
248
获赞
33
1417
私信
热门文章
中兴ZXV10 B860AV1.1 全TTL操作完美破解
38716
CSS font-style斜体字体倾斜体样式
22237
解决莫名其妙出现connection closed的错误
20395
联想ThinkPad E450装系统后开机一直停留在BootMenu上，无法选择硬盘进入
20111
从四个数字中选出三个，一共有多少组合？不重复的
18377
最新评论
呜哇哈哈嗝～:
我按着操作又去boot menu了怎么办呢
m0_47914852:
盒子已经获取root了，系统软件用盒子助手找不到电信互动apk。当贝市场卸载里面也没有，但是更新应用里面能看到，怎么破
沫小然:
有用，谢谢前辈，搞了大半夜了
关于Open开头的开源技术库全面汇总，看这一篇就够了
EinsteinH:
还可以加openML
m0_74258469:
专门注册感谢楼主
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
最新文章
使用 xUnit 编写 ASP.NET Core 单元测试
BusinessObject Port 配置
Yii实现Password Repeat Validate Rule
2019年
355篇
2018年
712篇
2017年
961篇
2016年
534篇
2015年
413篇
2014年
308篇
2013年
325篇
2012年
292篇
2011年
201篇
2010年
164篇
2009年
113篇
2008年
94篇
2007年
69篇
2006年
36篇
2005年
29篇
2004年
6篇
目录
被折叠的 
 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
添加红包
祝福语
请填写红包祝福语或标题
红包数量
红包个数最小为10个
红包总金额
红包金额最低5元
余额支付
当前余额
3.43
前往充值 >
需支付：
10.00
取消
确定
下一步
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝
规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。
余额充值