数据库中间层     本部分主要是介绍SQL集群化涉及的一些组件,主要包括:proxy、数据节点、agent、元数据节点等,与目前主流分布式存储系统无异。目前基于SQL的分布式数据库,最被诟病的几个问题主要如下:     1. 扩展性差,成倍扩容,甚至需要停止服务一段时间。     2. 单机SQL性能较差,单机吞吐的限制,会导致可用性下降(与引擎相关)。     3. 数据库复制,采用异步方式,可能有数据丢失。 &…

2018年3月4日 0条评论 1点热度 阅读全文

Google BigTable 表格存储 与 键值存储     表格存储的数据格式<rowkey,column family,timestamp>代表一行,所有的数据是主键(rowkey)排序的,可以抽象为主键为key,行尾value的键值存储,故称键值存储是表格存储的一个特例。     需要注意的是,column family表示列组(很多列,需要预先定义),每列还可以有qualifler(子列,可以不用预先定义)。timestamp表述数据的版本,常规有两种机…

2018年3月4日 0条评论 1点热度 阅读全文

分布式存储概念 分布式存储系统具备以下几个特点: 可扩展:目前分布式存储系统几百台规模很常见,多的可以达到几千上万台,Amazon S3设计目标甚至达到10-30万台。集群规模并不是初始化阶段就会达到很大,都是随着业务的增长逐渐扩展,需要分布式系统支持可扩展。而且随着集群规模的增长,系统整体性能也需要呈线性增加。 低成本:成本分为两部分,一部分是机器成本,分布式系统需要在异构的机器上运行,且机器可能是比较廉价的机型(例如成本敏感的产品线机器都会配置较差),这就需要程序具备一定的容错、负载均衡等能力。另一部分是运维成…

2018年2月8日 0条评论 1点热度 阅读全文