【vSphere7】vcsaのファイルシステムがおかしくなったので直してみた

どうも、Tです。

なんか初めての事象で次回発生時に忘れそうなので備忘録です。

"Failed to start file system check on /dev/disk..." error on Photon OS based virtual appliances

環境

  • vCenterServer:7.0.2 17958471

発生事象

朝起きてvSphere Clientを使おうと思ったら使えなくなっていました。vcsaアプライアンス自体は起動してました。この時点でvcsaへのSSH接続は行えなくなっています。

vSphere Clientに接続すると「no healthy upstream」が表示されます。

管理画面に接続しようとすると「500-Internal Server Error」が表示されます。

vcsaの仮想アプライアンスを見るとext4 journalのエラーが大量に発生していました。

パワーオフオンで強制的に再起動してみました。/dev/vg_root_0/lv_root_0で問題が行ってるようです。

journalctlコマンドでログも見てます。やはり、/dev/vg_root_0/lv_root_0ファイルシステムで問題が起こっています。

原因

KBにガチヒットでした・・・夜中にvcsaを配置しているデータストアに使っているストレージが再起動していました・・・。

"Failed to start file system check on /dev/disk..." error on Photon OS based virtual appliances

This issue occurs when there is a storage failure or power failure causing file inconsistencies.

対応

検証環境なので再インストールも考えたのですが、せっかくなので復旧させてみます。これもおおむねKBの方法です。

vcsaをパワーオフ後にスナップショットを取得してパワーオンします。

下記の起動画面で「eキー」を押します。

Linuxから始まる「systemd.unit=emergency.target」を入力し、「F10キー」を押します。

/bin/mountで各ファイルシステムのマウント状況を確認します。vcsaがインストールされる/dev/mapperがマウントされていませんでした。

KBにあるblkid(ブロックデバイス表示)コマンドで見るとデバイス自体は存在しています。

「e2fsck -y <デバイス>」で「/dev/vg_root_0/lv_root_0」のファイルシステムチェックをかけます。※今回は、マウントされていないことを確認しました。KBに記載がないですが、mountされている場合は、/bin/umountコマンドでアンマウントしてください。

あと、「/dev/vg_root_0/lv_root_0」がある/dev/sda4自体をファイルシステムチェックしても大丈夫かも?

修復してくれました。

もう一度すると正常な状態に戻りました。

起動してくれました。

参考

"Failed to start file system check on /dev/disk..." error on Photon OS based virtual appliances

まとめ

元のパーティション構成をある程度理解していないと、どんな状態が正しいのかわからないのがつらい・・・。

元のパーティション構成は下記をご参考ください。

【vSphere7】vcsaのパーティション構成の記録(デフォルトストレージサイズ)
どうも、Tです。 vcsaのディスク絡みのトラブルに見舞われてパーティション周りの情報がなかったので、備忘録です。※検証環境で...