×
嵌入式 > 嵌入式开发 > 详情

cassandra数据库性能特点及Cassandra数据库设计与维护

发布时间:2021-05-13 发布时间:
|

Cassandra概况

Cassandra是一套开源分布式NoSQL数据库系统。它最初由Facebook开发,用于储存收件箱等简单格式数据,集GoogleBigTable的数据模型与AmazonDynamo的完全分布式的架构于一身。Cassandra的名称来源于希腊神话,是特洛伊的一位悲剧性的女先知的名字,因此项目的Logo是一只放光的眼睛。Facebook于2008将Cassandra开源,此后,由于Cassandra良好的可扩放性,被Digg、Twitter等知名Web2.0网站所采纳,成为了一种流行的分布式结构化数据存储方案。Cassandra在2009年成为了Apache软件基金会的Incubator项目,并在2010年2月走出孵化器,成为正式的基金会项目。

Cassandra功能介绍

Cassandra的主要特点就是它不是一个数据库,而是由一堆数据库节点共同构成的一个分布式网络服务,对Cassandra的一个写操作,会被复制到其他节点上去,对Cassandra的读操作,也会被路由到某个节点上面去读取。对于一个Cassandra群集来说,扩展性能是比较简单的事情,只管在群集里面添加节点就可以了。

这里有很多理由来选择Cassandra用于您的网站。和其他数据库比较,有三个突出特点:

模式灵活

使用Cassandra,像文档存储,你不必提前解决记录中的字段。你可以在系统运行时随意的添加或移除字段。这是一个惊人的效率提升,特别是在大型部署上。

真正的(高)可扩展性

Cassandra是纯粹意义上的水平扩展。为给集群添加更多容量,可以指向另一台电脑。你不必重启任何进程,改变应用查询,或手动迁移任何数据。()可以帮助您可随时添加更多硬件,以便根据需求附加更多客户和更多数据。

多数据中心识别

你可以调整你的节点布局来避免某一个数据中心起火,一个备用的数据中心将至少有每条记录的完全复制。

刚性结构

Cassandra没有一个单一的故障点,它可用于无法承受故障的关键业务应用程序。

快速线性规模的性能

Cassandra线性可扩展。它可以提高吞吐量,因为它可以帮助您增加群集中的节点数量。 因此,它保持快速的响应时间。

容错

Cassandra是容错的。 假设集群中有4个节点,这里每个节点都有相同数据的副本。 如果一个节点不再服务,则其他三个节点可以按照请求进行服务。

灵活的数据存储

Cassandra支持所有可能的数据格式,如结构化,半结构化和非结构化。 它可以帮助您根据需要更改数据结构。

简单的数据分发

Cassandra中的数据分发非常简单,因为它可以灵活地通过在多个数据中心复制数据来分发所需的数据。

事务支持

Cassandra支持事务,诸如原子性,一致性,隔离和持久性(ACID)等属性。

快速写入

Cassandra的设计是在便宜的商品硬件上运行。 它执行快速写入,可以存储数百TB的数据,而不会牺牲读取效率。

一些使Cassandra提高竞争力的其他功能:

范围查询

如果你不喜欢全部的键值查询,则可以设置键的范围来查询。

列表数据结构

在混合模式可以将超级列添加到5维。对于每个用户的索引,这是非常方便的。

分布式写操作

有可以在任何地方任何时间集中读或写任何数据。并且不会有任何单点失败。

应用客户facebook

主要特性

●分布式

●基于column的结构化

●高伸展性

基本架构

Cassandra没有像BigTable或Hbase那样选择中心控制节点,而选择了无中心的P2P架构,网络中的所有节点都是对等的,它们构成了一个环,节点之间通过P2P协议每秒钟交换一次数据,这样每个节点都拥有其它所有节点的信息,包括位置、状态等。

Cassandra的核心组件包括:

Gossip:点对点的通讯协议,用来相互交换节点的位置和状态信息。当一个节点启动时就立即本地存储Gossip信息,但当节点信息发生变化时需要清洗历史信息,比如IP改变了。通过Gossip协议,每个节点定期每秒交换它自己和它已经交换过信息的节点的数据,每个被交换的信息都有一个版本号,这样当有新数据时可以覆盖老数据,为了保证数据交换的准确性,所有的节点必须使用同一份集群列表,这样的节点又被称作seed。

Partitioner:负责在集群中分配数据,由它来决定由哪些节点放置第一份的copy,一般情况会使用Hash来做主键,将每行数据分布到不同的节点上,以确保集群的可扩展性。

Replica placement strategy:复制策略,确定哪个节点放置复制数据,以及复制的份数。

Snitch:定义一个网络拓扑图,用来确定如何放置复制数据,高效地路由请求。

cassandra.yaml:主配置文件,设置集群的初始化配置、表的缓存参数、调优参数和资源使用、超时设定、客户端连接、备份和安全。
 

Cassandra数据库设计与维护总结

1.分区字段设计时选用timeuuid/timestamp(比如每日或者每小时0点时间戳)+任意bucket字段(类型等固定的字段)

2.cluster字段可以根据需求设计

3.使用索引时的查询条件中务必带上分区字段的查询条件,否则cassandra会去所有分区字段的索引中查询,效率低下而且一旦查询结果中超过10万个墓碑,就会抛出异常

4.高基数字段比如true/false这类的一般不要上索引,否则会极大的降低查询效率

5.由于cassandra的read repair机制,执行大量删除操作之后如果出现了大量read timeout需要在每台cassandra的bin目录下执行

./nodetool flush

./nodetool $ keyspace $table

强制合并sstable

6.如果cassandra出现不同节点间的数据一致性错误,需要执行。/nodetool repair $keyspace $table

7.如果repair还是不能解决问题,需要执行 。/sstablescrub $keyspace $table清洗掉损坏的数据,注意此操作如果中断容易造成数据损坏,最好执行前先做快照

8.cassandra默认开启了安全模式,执行drop、truncate等敏感字段时会对数据做一次快照,过多快照会导致cassandra在启动时遍历目录环节花费过长时间,最终可能需要几个小时才能启动,

这个时候需要执行。/nodetool clearsnapshot $keyspace


『本文转载自网络,版权归原作者所有,如有侵权请联系删除』

热门文章 更多
电子EDA技术的基础知识