どうも、Tです。
なんか初めての事象で次回発生時に忘れそうなので備忘録です。
目次
環境
- vCenterServer：7.0.2 17958471
発生事象
朝起きてvSphere Clientを使おうと思ったら使えなくなっていました。vcsaアプライアンス自体は起動してました。この時点でvcsaへのSSH接続は行えなくなっています。
vSphere Clientに接続すると「no healthy upstream」が表示されます。
管理画面に接続しようとすると「500-Internal Server Error」が表示されます。
vcsaの仮想アプライアンスを見るとext4 journalのエラーが大量に発生していました。
パワーオフオンで強制的に再起動してみました。/dev/vg_root_0/lv_root_0で問題が行ってるようです。
journalctlコマンドでログも見てます。やはり、/dev/vg_root_0/lv_root_0ファイルシステムで問題が起こっています。
原因
KBにガチヒットでした・・・夜中にvcsaを配置しているデータストアに使っているストレージが再起動していました・・・。
This issue occurs when there is a storage failure or power failure causing file inconsistencies.
対応
検証環境なので再インストールも考えたのですが、せっかくなので復旧させてみます。これもおおむねKBの方法です。
vcsaをパワーオフ後にスナップショットを取得してパワーオンします。
下記の起動画面で「eキー」を押します。
Linuxから始まる「systemd.unit=emergency.target」を入力し、「F10キー」を押します。
/bin/mountで各ファイルシステムのマウント状況を確認します。vcsaがインストールされる/dev/mapperがマウントされていませんでした。
KBにあるblkid(ブロックデバイス表示)コマンドで見るとデバイス自体は存在しています。
「e2fsck -y <デバイス>」で「/dev/vg_root_0/lv_root_0」のファイルシステムチェックをかけます。※今回は、マウントされていないことを確認しました。KBに記載がないですが、mountされている場合は、/bin/umountコマンドでアンマウントしてください。
あと、「/dev/vg_root_0/lv_root_0」がある/dev/sda4自体をファイルシステムチェックしても大丈夫かも？
修復してくれました。
もう一度すると正常な状態に戻りました。
起動してくれました。
参考
まとめ
元のパーティション構成をある程度理解していないと、どんな状態が正しいのかわからないのがつらい・・・。
元のパーティション構成は下記をご参考ください。
