Cassandra集群管理-删除异常节点

Cassandra集群管理-删除异常节点

故障模拟节点:172.20.101.166,模拟节点系统直接损坏,所有数据丢失。

注意:

本文档只是体系文档中的一部分,前面文档信息详见:
测试准备+下线正常节点:https://blog.51cto.com/michaelkang/2419518
节点异常重启:https://blog.51cto.com/michaelkang/2419524
添加新节点:https://blog.51cto.com/michaelkang/2419521
删除异常节点:https://blog.51cto.com/michaelkang/2419525

查看集群其它节点日志

日志打印内容与节点异常重启基本一致。

查看异常节点

[[email protected] ~]# nodetool describecluster

Cluster Information:
        Name: pttest
        Snitch: org.apache.cassandra.locator.GossipingPropertyFileSnitch
        DynamicEndPointSnitch: enabled
        Partitioner: org.apache.cassandra.dht.Murmur3Partitioner
        Schema versions:
                cfce5a85-19c8-327a-ab19-e1faae2358f7: [172.20.101.164, 172.20.101.165, 172.20.101.167, 172.20.101.160, 172.20.101.157]

                UNREACHABLE: [172.20.101.166]

处理办法

1:在一个正常节点上执行nodetool status 命令,获取宕机节点的id

[[email protected] ~]# nodetool status
Datacenter: dc1

Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
.......

异常节点状态为DN

DN 172.20.101.166 76.83 MiB 256 ? 88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb rack1
UN 172.20.101.167 71.78 MiB 256 ? 8808aaf7-690c-4f0c-be9b-ce655c1464d4 rack1
UN 172.20.101.160 66.31 MiB 256 ? 57cc39fc-e47b-4c96-b9b0-b004f2b79242 rack1
UN 172.20.101.157 55 MiB 256 ? 091ff0dc-415b-48a7-b4ce-e70c84bbfafc rack1

2:确认异常节点是否为种子节点,如果死亡节点是种子节点,请在每个节点上更改群集的种子节点配置:

在每个节点的cassandra.yaml文件中,从seed-provider 属性的- seeds列表中删除无效节点的IP地址。如果群集需要新的种子节点来替换死亡的种子节点,请将新节点的IP地址添加到- seeds列表中。需要重启节点服务。

3:如果是普通节点执行:nodetool removenode host-id移除节点

nodetool removenode 88e16e35-50dd-4ee3-aa1a-f10a8c61a3eb

任务执行成功后,集群会对数据副本进行检测,恢复必要的副本。


### 验证节点删除
异常节点已经消失、节点成功删除。

[[email protected] ~]# nodetool status
Datacenter: dc1

Status=Up/Down
|/ State=Normal/Leaving/Joining/Moving
-- Address Load Tokens Owns Host ID Rack
UN 172.20.101.164 68.2 MiB 256 ? dcbbad83-fe7c-4580-ade7-aa763b8d2c40 rack1
UN 172.20.101.165 59.06 MiB 256 ? b985de23-6ad1-40b9-a252-dbaeb5d4cb12 rack1
UN 172.20.101.167 71.8 MiB 256 ? 8808aaf7-690c-4f0c-be9b-ce655c1464d4 rack1
UN 172.20.101.160 66.32 MiB 256 ? 57cc39fc-e47b-4c96-b9b0-b004f2b79242 rack1
UN 172.20.101.157 55.06 MiB 256 ? 091ff0dc-415b-48a7-b4ce-e70c84bbfafc rack1

原文地址:https://blog.51cto.com/michaelkang/2419525

时间: 07-12

Cassandra集群管理-删除异常节点的相关文章

Ignite集群管理——基于静态IP的节点发现

Ignite作为分布式内存,集群管理必不可少,Ignite支持基于组播,静态IP,Zookeeper,JDBC等方式发现节点,本文主要介绍基于静态IP的节点发现. 两个最重要的TCP通信设置类: 1. TcpDiscoverySpi 用于设置集群维持与节点发现的tcp通信ip,port. 2. TcpCommunicationSpi 用于设置业务数据(缓存数据)tcp通信的ip,port. 3. 两者的区别与联系 TcpDiscoverySpi用于维持管理集群,交换的是用户不感知的ignite内

cassandra集群缩容与剔除问题节点

今天在操作cassandra集群数据迁移时发生了一些意料之外的事情,服务器迁移前与迁移后同样为5台,但是不知道是什么原因导致的,迁移过后的节点居然多出了一台cassandra节点,个人瞬间感觉莫名其妙,但是问题节点的ip地址是原平台的cassandra数据库ip,所以感觉很不好,知道可能是因为那个环节出现了问题,因为是迁移演练所以没有决定删除所有数据,重新迁移只是将错误节点剔除了cassandra集群,操作如下: 官方文档建议 查看cassandra集群状态的命令 nodetool status

Redis集群管理

原文链接:http://blog.csdn.net/xyang81/article/details/51895011 在上一篇<Redis3.2集群担建与验证>文章中分享了集群的详细担建过程,本篇主要分享集群管理的常见操作,如:添加节点.删除节点.slot分配.如果你还没有担建集群环境,建议先看上篇<Redis3.2集群担建与验证>过程,再来阅读本文比较好理解. 1.集群管理常用命令 // 集群(cluster) CLUSTER INFO 打印集群的状态信息 CLUSTER NOD

Elasticsearch集群管理

ES通过设置[节点的名字]和[集群的名字],就能自动的组织相同集群名字的节点加入到集群中,并使很多的技术对用户透明化. 如果用户想要管理查看集群的状态,可以通过一些REST API来实现. 其他的ES文档翻译参考:Elasticsearch文档总结 REST API用途 ES提供了很多全面的API,大致可以分成如下几种: 1 检查集群.节点.索引的健康情况 2 管理集群.节点,索引数据.元数据 3 执行CRUD,创建.读取.更新.删除 以及 查询 4 执行高级的查询操作,比如分页.排序.脚本.聚

分布式集群管理

转载请说明出处:http://blog.csdn.net/cywosp/article/details/21259391 现在很多互联网科技公司,还有一些传统的it公司都在根据自身的业务发展来设计符合实情的分布式系统.虽然,已有很多优秀的开源分布式系统,但是由于需求不同,业务不同,这些只能在设计符合自身需求的分布式系统时用于参考.个人认为,设计一个分布式存储系统并不是太难,主要困难在于如何设计并实现一个可以自动化处理各个节点状态的分布式集群管理系统.分布式系统到现在已经发展了很多年了,有些公司已

RHCS的CMAN分布式集群管理

------------------------------------------------------------这里可以忽略:(突然想到的小命令)小知识点:# cat /etc/sysconfig/i18n LANG="zh_CN.UTF-8"# LANG=zh_CN.UTF-8# yum grouplist# yum list # LANG=en# yum grouplist # yum provides */pxelinux.0 #yum -y install cmatri

集群管理之Heartbeat与DRBD

环境需求:rhel6以上,iptablss与selinx disabled, 新虚拟机(未进行其他集群操作的)server1与server2为两节点 Instructor为服务机(M端). 集群管理之Heartbeat Heartbeat 项目是 Linux-HA 工程的一个组成部分,它实现了一个高可用集群系统.心跳服务和集群通信是高可用集群的两个关键组件,在 Heartbeat 项目里,由 heartbeat 模块实现了这两个功能.heartbeat最核心的包括两个部分,心跳监测部分和资源接管

mysql集群管理维护日记

管理节点启动:#首次运行.备份或者config.ini配置变化时加--initial[[email protected] mysql-cluster]# /usr/local/mysql/bin/ndb_mgmd -f /var/lib/mysql-cluster/config.ini --initial查看启动后的端口情况: [[email protected] mysql-cluster]#  netstat -lntpu 管理节点检验 [[email protected] /]# /usr

第131讲:Hadoop集群管理工具均衡器Balancer 实战详解学习笔记

第131讲:Hadoop集群管理工具均衡器Balancer 实战详解学习笔记 为什么需要均衡器呢? 随着集群运行,具体hdfs各个数据存储节点上的block可能分布得越来越不均衡,会导致运行作业时降低mapreduce的本地性. 分布式计算中精髓性的一名话:数据不动代码动.降低本地性对性能的影响是致使的,而且不能充分利用集群的资源,因为导致任务计算会集中在部分datanode上,更易导致故障. balancer是hadoop的一个守护进程.会将block从忙的datanode移动到闲的datan

王家林的云计算分布式大数据Hadoop征服之旅:HDFS&amp;MapReduce&amp;HBase&amp;Hive&amp;集群管理

一:课程简介: 作为云计算实现规范和实施标准的Hadoop恰逢其时的应运而生,使用Hadoop用户可以在不了解分布式底层细节的情况下开发出分布式程序,从而可以使用众多廉价的计算设备的集群的威力来高速的运算和存储,而且Hadoop的运算和存储是可靠的.高效,的.可伸缩的,能够使用普通的社区服务器出来PB级别的数据,是分布式大数据处理的存储的理想选择. 本课程会助你深入浅出的掌握Hadoop开发(包括HDFS.MapReduce.HBase.Hive等),并且在此基础上掌握Hadoop集群的配置.维