MySQL能够承受上亿万条的数据量的架构_buster2014的博客-CSDN博客
MySQL能够承受上亿万条的数据量的架构
buster2014
于 2016-03-19 21:28:34 发布
12285
收藏
分类专栏：
springMVC
J2EE(web项目)
Java基础
tomcat
MySQL数据库
springMVC
同时被 3 个专栏收录
27 篇文章
0 订阅
订阅专栏
J2EE(web项目)
48 篇文章
0 订阅
订阅专栏
Java基础
57 篇文章
0 订阅
订阅专栏
http://www.cnblogs.com/Leo_wl/p/3251806.html
最近做的搜索引擎的数据量是越来越大估计了下在中国可能涉及到的1Kw的数据量，就全球来说也就是1K亿而已，最初是用的数据库是MySQL现在来说要做些优化，最终使用的两个方案很好用的。
1.读写分离；
2.纵向横向拆分库、表。
 MySQL的基本功能中包括replication（复制）功能。所谓replication，就是确定master以及与之同步的slave服务器，再加上slave将master中写入的内容polling过来更新自身内容的功能。这样slave就是master的replica（复制品）。这样就可以准备多台内容相同的服务器。
  通过master和salve的replication，准备好多台服务器之后，让应用程序服务器通过负载均衡器去处理查询slave。这样就能将查询分散到多台服务器上。
   应用程序实现上应该只把select等读取之类的查询发送给负载均衡器，而更新应当直接发送给master。要是在slave上执行更新操作，slave和master的内容就无法同步。MySQL会检测到master和slave之间内容差异，并停止replication，这回导致系统故障。Slave可以采用LVS（linux系统自带的负载均衡器）实现查询的负载均衡。
使用MySQL的replication是利用的冗余化，实现冗余化需要实现的最小服务器数量是4台，三台slave和一台master，slave为什么是需要三台呢，比如一台slave死机了，现在需要修复再次上线，那么意味着你必须停止一台slave来复制MySQL的数据，如果只有两台slave，一台坏了，你就必须停止服务，如果有三台，坏了一台，你复制数据时停止一台，还有一台可以运维。
对于数据的处理是能放入到内存中就尽量放入到内存中如果不能放入到内存中，可以利用MySQL的Partitioning。
  Partitioning就是表分割也就是讲A表和B表放在不同的服务器上。简单来说，Partitioning就是充分利用局部性进行分割，提高缓存利用效率，从而实现Partitioning的效果。其中最重要的一点就是以Partitioning为前提设计的系统将表分割开，用RDBMS的方式的话，对于一对多的关系经常使用JOIN查询将两张表连接起来。但是如果将表分割开了之后，也就是两张表不在同一个数据库，不在同一个服务器上怎样使用JOIN操作，这里需要注意的是如果是用where in操作不是省了一些麻烦了嘛。
buster2014
关注
关注
点赞
收藏
评论
MySQL能够承受上亿万条的数据量的架构
http://www.cnblogs.com/Leo_wl/p/3251806.html最近做的搜索引擎的数据量是越来越大估计了下在中国可能涉及到的1Kw的数据量，就全球来说也就是1K亿而已，最初是用的数据库是MySQL现在来说要做些优化，最终使用的两个方案很好用的。1.读写分离；2.纵向横向拆分库、表。 MySQL的基本功能中包括replicati
复制链接
扫一扫
专栏目录
亿级数据的高并发通用搜索引擎架构设计
12-16
曾经在七月，写过一篇文章──《基于Sphinx+MySQL的千万级数据全文检索（搜索引擎）架构设计》，前公司的分类信息搜索基于此架构，效果明显，甚至将很大一部分带Where条件的MySQL SQL查询，都改用了Sphinx+MySQL搜索。但是，这套架构仍存在局限：一是MySQL本身的并发能力有限，在200～300个并发连接下，查询和更新就比较慢了；二是由于MySQL表的主键与Sphinx索引的ID一一对应，从而无法跨多表建立整站查询，而且新增加类别还得修改配置文件，比较麻烦；三是因为和MySQL集成，无法发挥出Sphinx的优势。
JDBC三层架构、创建Selvet类、配置Tomcat、创造1万条用于测试的数据
m0_48920182的博客
09-05
166
JDBC三层架构、创建Selvet类、配置Tomcat、创造1万条用于测试的数据
参与评论
您还未登录，请先
登录
后发表或查看评论
让我的MySQL能够承受上亿万条的数据量的架构
qq253113827的专栏
03-25
7150
最近做的搜索引擎的数据量是越来越大估计了下在中国可能涉及到的1Kw的数据量，就全球来说也就是1K亿而已，最初是用的数据库是MySQL现在来说要做些优化，最终使用的两个方案很好用的。
1.读写分离；
2.纵向横向拆分库、表。
MySQL的基本功能中包括replication（复制）功能。所谓replication，就是确定master以及与之同步的slave服务器，再加上slav
MySQL高级学习笔记(三)
最新发布
qq_52166656的博客
11-18
19
开启Mysql的查询缓存，当执行完全相同的SQL语句的时候，服务器就会直接从缓存中读取结果，当数据被修改，之前的缓存会失效，修改比较频繁的表不适合做查询缓存。锁是计算机协调多个进程或线程并发访问某一资源的机制（避免争抢）。在数据库中，除传统的计算资源（如 CPU、RAM、I/O 等）的争用以外，数据也是一种供许多用户共享的资源。如何保证数据并发访问的一致性、有效性是所有数据库必须解决的一个问题，锁冲突也是影响数据库并发访问性能的一个重要因素。从这个角度来说，锁对数据库而言显得尤其重要，也更加复杂。
mysql 亿级_mysql 亿级数据量 （ sum ,group by ）的优化
weixin_32243309的博客
01-18
2043
今天开发提出需求，让统计数据，一询问才得知表中的数据量已达亿级以上。具体的sql如下：SELECT id_province_code,gender,age,COUNT(1),SUM(zy_days),SUM(zf),SUM(ybnje)FROM medicare2017 WHERE zy_enter_date BETWEEN '2017-01-01 00:00:00' AND '2017-12-3...
一入职！就遇到上亿(MySQL)大表的优化....
emprere的博客
06-30
171
作者：jia-xin链接：www.cnblogs.com/YangJiaXin/p/10828244.htmljia-xin背景XX实例（一主一从）xxx告警中每天凌晨在报SLA报警，该...
Mysql5.7在上亿级别的存储性能测试报告 Mysql到底可不可以支持单表过亿？要分区么？分表？...
weixin_34383618的博客
06-19
1735
为什么80%的码农都做不了架构师？>>>
...
数据库单表数据过亿_最受欢迎的三大数据库，你用过吗？
weixin_39625162的博客
11-02
1515
随着市场的多元化，需求场景多样化，数据库也层出不穷，来适应不同的业务场景，今天小编就给大家总结一下目前下面来总结下目前最受欢迎的三大数据库，快来看看你有没有用过吧。1、MySQLMySQL是一种关系型数据库管理系统，关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内，这样就增加了速度并提高了灵活性。MySQL所使用的 SQL 语言是用于访问数据库的最常用标准化语言。MySQL 软件...
分库分表方案对比
ice-wee的专栏
10-17
2336
房晓乐（葱头巴巴），PingCAP 资深解决方案架构师，前美团数据库专家、美团云 CDS 架构师、前搜狗、百度资深 DBA，擅长研究各种数据库架构，NewSQL 布道者。
原文链接：https://dbaplus.cn/news-11-1854-1.html
一、分库分表的背景
在谈论数据库架构演变和优化时，我们经常会听到分片、分库分表（Sharding）这样的关键词，在很长一段时间内，在各个公司、各中技术论坛里都很热衷谈论各种分片方案，尤其是互联网非常普及的 MySQL 数据库。但对笔者来说，分片、
mysql单表存放上亿数据,查询依旧很快。
H935961611的博客
04-17
4255
引子
hello，各位小伙伴，大家好，这篇是mysql的第三篇了，还没看过前两篇的小伙伴可以去看看，对理解这一篇有很大的帮助哦。
废话不多说，我们直接开始正文，作为一名java后端开发工程师，我们都知道，数据库中一张表最大存储数据官方建议是在两千万左右，而业界中，大家普遍认为，数据超过五百万了，就可以考虑分库分表了，也就是说，单表数据一般是不会超过五百万的。
如何分库分表我们下一篇再聊，这篇，叶子主要想和大家聊一下，为什么mysql官方建议单表数据不能超过两千万呢，单表超过了两千万数据会怎么样，公司数据库中
MySQL 单表亿级数据查询优化，达到秒级响应
weixin_37702260的博客
07-30
6291
最近应单用户画像业务需求，需要满足6个月单用户的天粒度收视情况，呈现近半年的收视趋势图。每天数据量大概在150w条左右，一个月大概4500w,6个月大概2.7亿条。要满足大数据量的秒级响应。由于系统采用的为mysql+mongo+oracle的多数据源的模式，多数据源管理起来复杂难度较大。系统也在逐渐往mysql数据库迁移。在此篇文章里就只聊mysql的十亿条数据的查询效率优化，说到优化不得不聊聊mysql数据库索引,以及数据库表结构设计。
mysql数据库索引：https://blog.csdn.net
MySQL如何实现万亿级数据存储？
m0_69745415的博客
05-08
988
可以看到，我们在Mycat的schema.xml文件中配置的dataHost节点的信息，成功写入到Zookeeper中了。
为了验证Mycat的配置信息，是否已经同步到Zookeeper的其他节点上，我们也可以在binghe152和binghe153服务器上登录Zookeeper，查看Mycat配置信息是否写入成功。
binghe152服务器
[root@binghe152 ~]# zkCli.sh
Connecting to localhost:2181
#################省略N行输出
python 提取固定列名数据_python获取数据库列名
weixin_39806288的博客
12-01
5066
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],"search_count":[{"count_phone":4,"count":4}]},"card":[{"des":"阿里云数据库专家保驾护航，为用户的数据库应用系统进行性能和风险评估，参与配合进行数据压测演练，提供数据库优化方面专业建议，在业务高峰期与用户共同保障数据库系统平...
一入职！就遇到MySQL亿级大表优化....
m0_50180963的博客
09-09
240
前段时间刚入职一家公司，就遇到了 MySQL 亿级大表优化这事!
图片来自 Pexels
背景
XX 实例(一主一从)xxx 告警中每天凌晨在报 SLA 报警，该报警的意思是存在一定的主从延迟。(若在此时发生主从切换，需要长时间才可以完成切换，要追延迟来保证主从数据的一致性)
XX 实例的慢查询数量最多(执行时间超过 1s 的 SQL 会被记录)，XX 应用那方每天晚上在做删除一个月前数据的任务。
分析
使用 pt-query-digest 工具分析最近一周的 mysql-slow.log：
JDBC 操作数据库
s990420的博客
12-04
1181
JDBC简介：
JDBC（Java DataBase Connectivity）是一种用于执行SQL语句的Java API，可以为多种关系数据库提供统一的访问，它由一组用Java语言编写的类和接口组成。使用JDBC访问数据库的基本步骤如下：
加载JDBC驱动程序
建立数据库连接
创建操作数据库SQL的对象
执行语句并分析执行结果
关闭连接
操作实例：
一、操作mysql数据库
MySQL安装方法
二、下载驱动
要在程序中连接mysql数据库对其进行操作，我们还需要下载驱动Mysql-Connector/
用JAVA如何实现每天1亿条记录的数据存储，数据库方面怎么设计？
qq_40317404的博客
03-21
4102
一天秒数：60*60*24=86,400秒每天写入数据量：100,000,000条平均每秒写入数据量：100,000,000/86,400=1157.5条峰值每秒估算写入数：1157.5*10=11575条因此建议从以下几个层面处理1、数据库服务器磁盘采用高速SSD磁盘2、数据库采用2个节点的集群方式部署，每个集群节点3台服务器，1主2备，主数据库为写数据库，备数据库为读数据，采用读写分离，单集群...
百度mysql架构_百度亿级数据库架构解析
weixin_42157556的博客
02-03
1016
信息技术发展突飞猛进，网络数据呈现爆炸之势，搜索引擎的实时性面临巨大挑战。百度搜索引擎每天处理着数万亿次的链接分析和数百亿次的互联网资源采集。作为百度搜索引擎的核心数据库 Tera，是如何支撑万亿量级的实时数据处理呢？在 5 月 20 日百度开发者中心主办、极客邦科技承办的 71 期百度技术沙龙上，百度网页搜索基础架构技术经理齐志宏和资深工程师郑然，为大家免费放送了大型分布式表格系统 Tera 在...
mysql 亿级_当规模到亿级，MySQL是一个更好的NoSQL！
weixin_29491655的博客
01-18
468
原标题：当规模到亿级，MySQL是一个更好的NoSQL！MySQL是一个更好的NoSQL数据库。当考虑到NoSQL的使用案例，比如对Key/Value键值存储来讲，MySQL在性能、易用性和稳定性方面更有意义。MySQL毕竟是一款成熟稳定的产品，在互联网上有大量的在线教程，范围从操作到失败案例，从主从复制到其它不同模式的应用，不一而足。基于这个原因，MySQL相比其他新兴并没有经过多年洗礼的NoS...
“相关推荐”对你有帮助么？
非常没帮助
没帮助
一般
有帮助
非常有帮助
提交
©️2022 CSDN
皮肤主题：创作都市
设计师：CSDN官方博客
返回首页
buster2014
CSDN认证博客专家
CSDN认证企业博客
码龄8年
暂无认证
33
原创
5万+
周排名
78万+
总排名
200万+
访问
等级
1万+
积分
157
粉丝
156
获赞
65
评论
366
收藏
私信
关注
热门文章
兼容所有浏览器的js关闭当前网页代码
82205
python dict按照value 排序
57320
shell脚本如何判断某个文件里是否包含指定的字符？
44026
mysql使用kill命令解决死锁问题,杀死某条正在执行的sql语句
43430
异常：Application failed 2 times due to AM Container
24683
分类专栏
常见实际问题解决
67篇
Linux FAQ-----linux常见问题
45篇
DOS相关
3篇
jquery
12篇
JSON相关
12篇
jstl标签-c标签
4篇
struts2标签-s标签
1篇
https-tls-ssl
13篇
WebService
32篇
Dubbo分布式服务框架
3篇
中间件
1篇
springMVC
27篇
框架SSH和Mybatis
39篇
snmp利用OID进行网络监控
2篇
数据结构+算法
7篇
java-jsp编码问题
2篇
J2EE(web项目)
48篇
java缓存机制-----memcache、ehcache
8篇
Java基础
57篇
tomcat-https
5篇
tomcat-axis2_soap
1篇
JVM
7篇
tomcat
20篇
MySQL数据库
32篇
SQLServer相关
1篇
Oracle11g数据库相关
3篇
crawler/webspider
7篇
solr4.7.2搜索应用服务器
16篇
elasticsearch基于Lucene的搜索服务器
3篇
集群监控系统Cluster Monitor System
2篇
flume日志收集系统
hadoop
59篇
yun
42篇
计算机网络相关
18篇
基于大数据的JavaEE框架整合
4篇
eclipse工具相关配置
8篇
maven【搭建maven私服】
7篇
IDE【集成开发工具】快捷键
站长之家--站长工具
2篇
机器学习
3篇
数据挖掘
5篇
已经测试成功
12篇
未经测试
23篇
Project Manager
2篇
加密算法
2篇
app和web服务器进行交互
app和web服务器进行交互的安全性
1篇
ftp主动模式、被动模式
10篇
ant
1篇
设计模式
2篇
线程以及线程池
8篇
服务器负载测试
2篇
IK分词器源码解析
4篇
网站架构及优化
1篇
网站优化☞A/B测试
1篇
IK
iframe
1篇
Junit
1篇
easyui
11篇
服务器安全
3篇
jboss
3篇
定时器框架
2篇
REST
6篇
nginx
6篇
文本挖掘
1篇
redis
9篇
hadoop应用
33篇
storm流式计算框架
4篇
防火墙端口
4篇
cloudera manager
4篇
amibara
ambari
1篇
hive相关问题
14篇
hive
15篇
spark
9篇
web程序漏洞检测
1篇
protobuf
idea开发工具注册码
1篇
svn
1篇
shell脚本
1篇
zookeeper
1篇
kafka
分布式消息队列kafka
1篇
python开发
34篇
ActiveMQ
2篇
ehcache
2篇
tornado
21篇
hbase
14篇
tachyon分布式内存系统offheap站外存储减少gc时间
1篇
云计算服务aas(as-a-Service)
1篇
java读取propperties
3篇
ELK日志收集存储分析
1篇
LRU
2篇
麒麟keylin
1篇
rbac基于角色权限控制
4篇
1篇
英文`(*∩_∩*)′
1篇
QPS
1篇
大数据架构
2篇
python orm-SqlAlchemy
2篇
数据加密
1篇
ex
Chinese Culture
2篇
微服务
最新评论
python 如何将字符串转化为datetime.date【获取指定日期的上月和两个日期之间相差的月数】
buster2014:
不客气，能帮助到是最大的感谢
python 如何将字符串转化为datetime.date【获取指定日期的上月和两个日期之间相差的月数】
ErrorToFind:
感谢大佬，终于解决了困扰我3天的问题
shell删除最后一列、删除第一行、比较文件
LebronWen:
第二个删除最后一列是错的吧
Junit4所需jar包
vinci.chen:
？？？？？
兼容所有浏览器的js关闭当前网页代码
qq_43208477
回复
lero524: 没有所有，只是给后来查找这个问题的人一个提示
您愿意向朋友推荐“博客详情页”吗？
强烈不推荐
不推荐
一般般
推荐
强烈推荐
提交
最新文章
基于json映射配置对json数据key进行替换
使用spring @Scheduled注解执行定时任务、
Vert.x开发指南
2020年1篇
2017年14篇
2016年101篇
2015年454篇
2014年60篇
目录
目录
分类专栏
常见实际问题解决
67篇
Linux FAQ-----linux常见问题
45篇
DOS相关
3篇
jquery
12篇
JSON相关
12篇
jstl标签-c标签
4篇
struts2标签-s标签
1篇
https-tls-ssl
13篇
WebService
32篇
Dubbo分布式服务框架
3篇
中间件
1篇
springMVC
27篇
框架SSH和Mybatis
39篇
snmp利用OID进行网络监控
2篇
数据结构+算法
7篇
java-jsp编码问题
2篇
J2EE(web项目)
48篇
java缓存机制-----memcache、ehcache
8篇
Java基础
57篇
tomcat-https
5篇
tomcat-axis2_soap
1篇
JVM
7篇
tomcat
20篇
MySQL数据库
32篇
SQLServer相关
1篇
Oracle11g数据库相关
3篇
crawler/webspider
7篇
solr4.7.2搜索应用服务器
16篇
elasticsearch基于Lucene的搜索服务器
3篇
集群监控系统Cluster Monitor System
2篇
flume日志收集系统
hadoop
59篇
yun
42篇
计算机网络相关
18篇
基于大数据的JavaEE框架整合
4篇
eclipse工具相关配置
8篇
maven【搭建maven私服】
7篇
IDE【集成开发工具】快捷键
站长之家--站长工具
2篇
机器学习
3篇
数据挖掘
5篇
已经测试成功
12篇
未经测试
23篇
Project Manager
2篇
加密算法
2篇
app和web服务器进行交互
app和web服务器进行交互的安全性
1篇
ftp主动模式、被动模式
10篇
ant
1篇
设计模式
2篇
线程以及线程池
8篇
服务器负载测试
2篇
IK分词器源码解析
4篇
网站架构及优化
1篇
网站优化☞A/B测试
1篇
IK
iframe
1篇
Junit
1篇
easyui
11篇
服务器安全
3篇
jboss
3篇
定时器框架
2篇
REST
6篇
nginx
6篇
文本挖掘
1篇
redis
9篇
hadoop应用
33篇
storm流式计算框架
4篇
防火墙端口
4篇
cloudera manager
4篇
amibara
ambari
1篇
hive相关问题
14篇
hive
15篇
spark
9篇
web程序漏洞检测
1篇
protobuf
idea开发工具注册码
1篇
svn
1篇
shell脚本
1篇
zookeeper
1篇
kafka
分布式消息队列kafka
1篇
python开发
34篇
ActiveMQ
2篇
ehcache
2篇
tornado
21篇
hbase
14篇
tachyon分布式内存系统offheap站外存储减少gc时间
1篇
云计算服务aas(as-a-Service)
1篇
java读取propperties
3篇
ELK日志收集存储分析
1篇
LRU
2篇
麒麟keylin
1篇
rbac基于角色权限控制
4篇
1篇
英文`(*∩_∩*)′
1篇
QPS
1篇
大数据架构
2篇
python orm-SqlAlchemy
2篇
数据加密
1篇
ex
Chinese Culture
2篇
微服务
目录
评论
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
查看更多评论
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额
抵扣说明：
1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。 2.余额无法直接购买下载，可以购买VIP、C币套餐、付费专栏及课程。
余额充值