OpenStack排错（一）：Cinder僵尸卷删除

处理报错的大致思路

(1)到数据库cinder表中找到volumes，将其中对应要删除的卷的状态由error_deleting改为deleted；

(2)针对lvm，可以用命令lvdisplay列出所有卷的信息，如果现在应用命令lvremove来删除相应的卷，则会提示要删除的卷正在使用中，所以我们使用命令lsof查看相应卷所占用的进程，然后kill这个进程；

(3)应用命令lvremove来删除相应的卷；

(4)此时问题貌似已经解决，因为已经可以正确地执行cinder中命令，要删除的卷的记录也已经删除。但是这里还有个问题，默认的建立卷的最大数目为10，如果之前删除的僵尸卷的数目为1，但是此时当你建立卷的数目为9个时，再尝试建立新卷时，就会提示已经达到卷的数目的最大值。解决方法就是到cinder数据表中找到quota_usages，将其中in_use中的数据减少相应的删除的僵尸卷的数目即可。

备注：fuser命令在psmisc包中

第一种情况的僵尸卷

执行完上面的操作后进入云平台系统，更改需要删除云硬盘状态为“可用配额”，然后“删除云硬盘”，如果再界面上删除依旧没有执行成功或者依旧一直再删除中，就采用比较暴力的方式，修改云硬盘再数据库中的状态，因为此时云硬盘再存储设备（物理机）上已经删除了，仅仅还有数据库中还有该记录信息，但不能直接删除这条记录，数据库有外键依赖，而是要把cinder盘的deleted改成“1”,“1”即为删除，0为不删除。

进入数据库：
mysql -uxxxx -pxxxx

选择数据库表：
use cinder;

关闭数据库的键外查询：
set foreign_key_checks=0;

select找到出错的数据：
select id, status, display_name from volumes where id="af3e36ce-10ab-4daa-80e3-b71f16836a3b"

修改数据库记录状体：
update volumes set deleted=1 where id="af3e36ce-10ab-4daa-80e3-b71f16836a3b"

操作完成后开启数据库的键外查询：
set foreign_key_checks=0;

此时如果dashboard界面卷存储还没有恢复正常就需要进行如下操作！！！

（1）use cinder;

（2）select * from volumes;

在删除数据条目之前要临时关闭键值检查，否则删除操作无法进行：set foreign_key_checks=0;

删除操作完成后再运行此命令开启键值检查，确保数据库安全

找到之前出问题的卷并删除条目信息：

delete from volumes where id='f0a030a6-7ff0-4765-ac47-1f1eed3c7582';

然后把in_use的数值修改为0即可

这里我就很暴力了直接删除了了条目：

delete from quota_usages where project_id='232b14de024647159470ed97873ce774';

等下新建卷的时候就会恢复的，不建议这么做哦。

第二种情况的僵尸卷

思路和第一中情况差不多；

（1）通过lvdisplay |grep查询cinder对应的卷地址。

root@compute:~# lvdisplay | grep "8580f464-02e1-411c-bd94-a4af35e499a3"
LV Path                /dev/cinder-volumes/volume-8580f464-02e1-411c-bd94-a4af35e499a3
LV Name                volume-8580f464-02e1-411c-bd94-a4af35e499a3

（2）通过lsof | grep查询占用cinder卷的端口

lsof| grep "8580f464-02e1-411c-bd94-a4af35e499a3"
kill -9 76568

（3）通过lvremove删除相应的卷

lvremove /dev/cinder-volumes/volume-8580f464-02e1-411c-bd94-a4af35e499a3

（4）报错处理
报错：device-mapper: remove ioctl on failed: Deviceor resource busy。设备繁忙

查看是否被打开：

dmsetup info -c /dev/cinder-volumes/volume-8580f464-02e1-411c-bd94-a4af35e499a3 #查看是否被打开,如果看到open为4或者数字说明它被打开了，所以remove不掉。

查看被谁打开：

fuser -m /dev/cinder-volumes/volume-8580f464-02e1-411c-bd94-a4af35e499a3 #查看是谁打开的，显示产用进程号

把占用设备的进程杀掉：

kill -9 xxxx xxxx xxxx xxxx

重新执行上面验证的几个步骤，验证是否还有进程占用，如果看到open为0，表示现在没有进程占用，再执行lvremove删除相应的卷

（5）验证是否已经删除

root@compute:~# lvdisplay | grep "8580f464-02e1-411c-bd94-a4af35e499a3"

（6）进入云平台系统，更改需要删除云硬盘状态为“可用配额”，然后“删除云硬盘”，如果再界面上删除依旧没有执行成功或者依旧一直再删除中，就采用比较暴力的方式，修改云硬盘再数据库中的状态，因为此时云硬盘再存储设备（物理机）上已经删除了，仅仅还有数据库中还有该记录信息，但不能直接删除这条记录，数据库有外键依赖，而是要把cinder盘的deleted改成“1”,“1”即为删除，0为不删除。

进入数据库：

mysql -uxxxx -pxxxx

选择数据库表

use cinder;

select找到出错的数据:

select id, status, display_name from volumes where id='2d5d206d-0720-42aa-b178-3f3238177583';

修改数据库记录状体：

update volumes set deleted=1 where id='2d5d206d-0720-42aa-b178-3f3238177583';