ESXi7.0U3へのアップグレードは、ESXiのインストールISOがほぼ使えない

どうも、Tです。

先日、ESXi6.7からESXi7.0のアップグレードを行いました。

上記ではESXICLIコマンドを用いましたが、ESXi7.0U3の場合インストールISOが使えなくなっていたため、ESXCLIを使っています。

なぜインストールISOが使えなくなったかの備忘録です。

問題

ESXi7.0U3のインストールメディアを使ってアップグレードを行うと下記エラーが表示されアップグレード処理が行えません。

this program has encountered an error
use the arrows keys to scroll
Error (see log for more info)
Live VIB installation.upgrade or remove may cause subsequent ESXi upgrade to fail when using the ISO installer.
Please perform the upgrade with an alternative method, such as esxcli or the vSphere Lifecycle Manager.
The preceding information will assist the VMware Support team with your problem.Pleas recort thia infomation before proceeding.

このプログラムはエラーに遭遇しました
矢印キーでスクロールします。
エラー（詳しくはログをご覧ください）
ISO インストーラを使用する場合、Live VIB インストール.アップグレードまたは削除によって、その後の ESXi アップグレードに失敗することがあります。
esxcli や vSphere Lifecycle Manager などの別の方法でアップグレードを実行してください。
この情報は、VMwareのサポートチームがあなたの問題を解決するために役立ちます。

発生タイミング

発生タイミングは、以下のステップで表示されます。

インストールISOを挿入し起動し「(Enter)Continue」をクリックします。

「(F11)Accespt and Continue」をクリックします。

ESXiをインストールしているデバイスを選択し、「(Enter)Continue」をクリックします。

Upgradeを選択し「(Enter)OK」をクリックします。

・Upgrade ESXi, preserve VMFS datastore…アップグレード(ESXiの設定は残したまま)。データストアは保持。
・Install ESXi, preserve VMFS datastore…インストール(ESXiの設定は再度行う必要あり)。データストアは保持。
・Install ESXi, overwrite VMFS datastore…インストール(ESXiの設定は再度行う必要あり)。データストアも初期化

ここでエラーが表示されます。

原因

KB85859が公開されています。ESXi7.0U3ではアップグレード後に構成が適切でない場合OSが応答しなくなるのを防ぐためにアップグレードパスをブロックするために導入された機能によりエラーが表示されています。

In 7.0U3 release, if ESXi upgrade with ISO installer is attempted after live VIB transaction, some configuration might not be kept properly after an upgrade. As a result, ESXi host may become unresponsive post-upgrade. This check is introduced to block such upgrade path.

回避策としては、 Lifecycle Managerを使うか、ESXCLIを使用してオフラインバンドルからのアップグレード方法になります。

Upgrading ESXi using an ISO Upgrade Baseline
Download the ISO image via the VMware Downloads Portal in Customer Connect.
Upload the ISO into the Lifecycle Manager Depot.
See Import an ISO Image to the vSphere Lifecycle Manager Depot
Create a baseline that uses the imported ISO image.
See Create a Host Upgrade Baseline
Upgrade the host using the ISO baseline.
The ESXi hosts can also be upgraded using esxcli as documented here.
Before beginning any upgrade via esxcli, please see KB86447 and KB87258 for important information relating to VMware ESXi 7.0U3c and an potential issue with the Intel i40en and i40enu drivers.

この情報は、「VMware ESXi 7.0 Update 3d リリースノート」の既知の問題にも記載されています。

インストーラ ISO を使用した ESXi 7.0 Update 3 への対話型またはスクリプトによるアップグレードの直前に、ライブ VIB のインストール、アップグレード、または削除操作を実行すると、アップグレードが失敗する
インストーラ ISO を使用した ESXi 7.0 Update 3 への対話型またはスクリプトによるアップグレードの直前に、ライブ VIB のインストール、アップグレード、または削除操作を実行すると、ConfigStore でアップグレードの構成の一部が維持されないことがあります。その結果、アップグレードが成功したように見えるにもかかわらず、アップグレード操作後に ESXi ホストにアクセスできなくなります。この問題を回避するために、ESXi 7.0 Update 3 インストーラでは、このようなシナリオをブロックする一時的なチェックが追加されています。ESXi インストーラコンソールには、次のエラーが表示されます：ライブ VIB のインストール、アップグレード、または削除を行うと、ISO インストーラを使用したその後の ESXi アップグレードが失敗する場合があります。
回避策：ESXCLI の使用、vSphere Lifecycle Manager の使用など、別のアップグレード方法によって問題を回避します。

その他調べたこと

vSphere製品ドキュメントには記載がない。

ESXi ホストアップグレードプロセスの概要

グラフィカルユーザーインターフェイス (GUI) インストーラ
CD、DVD、または USB フラッシュドライブにある ESXi インストーラの ISO イメージを使用するかインストーラをネットワークブートすることにより、インタラクティブにアップグレードできます。ホストの数が少ないデプロイの場合はこの方法が適しています。インストール中に ESXi インストールを含むターゲットディスクを選択すると、インストーラによってホストが ESXi バージョン 7.0 にアップグレードされます。インストーラには、一部の既存ホスト設定と構成ファイルを移行して、既存の VMFS データストアを保持するためのオプションも用意されています。ホストの対話型アップグレードを参照してください。

そもそもライブVIBとは？

少々古い記事ですが、ライブVIBはホストの再起動不要で導入できるVIBの種類です。

DELLさんの記事ですが、同様のことが記載されています。下記のコマンドのLiveInstallAllowed属性が「True」のものがライブVIBになります。

esxcli software vib get

直前にライブVIBをインストールしてなければ使えるのでは？

なお、KBでは記述されていませんが、リリースノートやDELLさんの記事を見るとインストールISOを使用したアップグレードが失敗するのは、「インストールISOを使用したアップグレードの直前に手動でライブVIBをインストールしていた場合」と読み取っていましたがこれは私の認識の誤りでした。

まず、ライブVIB自体は、初期のインストール状態でも「esxcli software vib get」でも表示されます。OEMカスタマイズメディアでESXi6.7インストール後に、そのままESXi7.0U3のインストールメディアでアップグレードを進めると今回のエラーは表示されませんでした。

で、「手動でライブVIBをインストール」の解釈について、正式な情報はありませんが「ESXiインストール後にパッチもしくはVIB単体でライブVIBがインストールされた場合」と考えています。

また、厄介なのは、ESXiをクラスタに参加したときに自動インストールされるvmware-fdmもライブVIBであるということです。

VMware_bootbank_vmware-fdm_6.7.0-11726888
Name: vmware-fdm
Version: 6.7.0-11726888
Type: bootbank
Vendor: VMware
Acceptance Level: VMwareCertified
Summary: VMware Fault Domain Manager
Description: This package provides the High Availability services for vCenter.
ReferenceURLs:
Creation Date: 2019-01-11
Depends:
Conflicts:
Replaces:
Provides:
Maintenance Mode Required: False
Hardware Platforms Required:
Live Install Allowed: True
Live Remove Allowed: True
Stateless Ready: True
Overlay: False
Tags:
Payloads: vmware-fdm