cloudstack 4.0 XenServer 日常简单故障处理

公司前不久搭建的cloudstack 4.0(3台XenServer 6.1节点，Centos 6.3管理机器，freenas)由于机房意外停电，造成管理机器无法联系节点，系统vm无法启动，加上时间紧迫，上面有没有上面重要数据，就进行全新安装。安装后，为防止相同事件再次发生，做了简单的灾难恢复测试。

故障模拟

1，系统vm维护

步骤：维护模式关闭系统ssvm cpvm所在物理主机，启用主机维护模式，重启主机

现象：ssvm cpvm 状态处于stop状态

恢复：主机启动完成后，取消维护模式，ssvm cpvm自动启动（5分钟左右）

2，系统vm故障

故障：系统vm丢失

步骤：删除ssvm,cpvm

现象：无法进行添加删除vm操作

恢复：删除的ssvm,cpvm 会自动重建，重建完成后功能恢复

3，系统vrouter故障

故障：系统vrouter丢失

步骤：停止并删除vrouter

现象：客户vm无法通过域名访问，通过ip访问无影响

恢复：重新执行创建vm操作，vrouter自动创建；客户vm需要重启网络服务

4，重启CS管理机器

故障：管理服务器宕机

步骤：直接重启管理机器

现象：无法登陆控制台

恢复：系统启动完成后，正常登陆

5, 存储意外关闭

故障：模拟主存储故障

步骤：重启关闭主存储并禁用网卡10分钟

现象：cpvm,ssvm状态系统正常，cs控制台会有disconneting提示；用户vm状态running,但是无法通过console连接，停止后，无法重启；添加用户vm 一直处于starting状态

恢复：恢复通信后，自动恢复，如果有问题，依次重启各个vm主机

6, 集群主机故障1

故障：所有主机网络故障

步骤：直接关闭主机网络交换机

现象：所有主机状态都为down，系统vm为starting,无法进行用户vm操作

恢复：恢复交换机故障，当master主机通信故障时，及时其他主机通信恢复，其他主机状态依旧为down;master主机恢复通信后，其他主机依次恢复；最后重启用户vm

7, 集群主机故障2

故障：非master主机网络故障

步骤：直接关闭主机网络接口

现象：主机状态都为down，该主机上的用户vm处于shutdown；管理主机日志提示故障主机设置master异常

恢复：直接启动状态为shutdown的用户vm(cloudstack会自动在其他可用主机节点部署用户vm)；恢复故障主机故障后重新加入

8, 集群主机故障3

故障：master主机故障

步骤：直接关闭主机网络接口，模拟意外关闭

现象：主机状态为down，该主机上的用户vm处于shutdown

恢复：其他主机会自动成为master主机;恢复原故障主机通信，仍旧无法加入主机，cs中删除主机，重启;本机登陆命令行，执行xe pool-join 加入到pool,cs中再次添加主机如果需要;资源池的每个成员都将包含担任主主机角色所需的所有信息。

在cloudstack一个cluster中的pool资源池中（通过xenCenter也可以创建资源池），有一个物理主机充当master主机，进行资源的分配；当一个pool中的master主机发生故障，将依次发生下列事件：

1. 成员意识到通信已中断，每个成员都重试 60 秒

2. 然后，各成员将自身置于紧急模式，这样，成员 XenServer 主机现在将仅接受池紧急命令（xe pool-emergency-reset-master 和 xe pool-emergency-transition-to-master）。此时，如果master主机恢复，它将重新建立与其成员的通信，成员退出紧急模式，操作恢复正常。不过，如果master主机已停用，您应该选择一个成员并对其执行 xe pool-emergency-transition-to-master 命令。当该成员成为master主机后，执行命令 xe pool-recover-slaves，其他成员现在将指向此新master主机。如果修复或替换用作原始master主机的服务器，您只需启动服务器，安装 XenServer 主机软件，然后将它添加到池中。由于池中的 XenServer 主机强制为同类主机，因此实际上不需要将替换的服务器设为主主机。将成员 XenServer 主机转换为master主机后，您还应检查默认池存储库是否设置了适当的值。通过使用 xe pool-param-list 命令并验证 default-SR 参数是否指向有效存储库，可实现此操作。

名词解释：xenserver master

在一个xenserver 组成的资源pool中，会选举一个xenserver作为该pool的master,管理工具cloudstack或者xencerter通过操作master,让master决定vm的资源分配情况
本文出自 “emulator.bokee.com” 博客，请务必保留此出处http://emulator.blog.51cto.com/134664/1158440