どうも、Tです。
vSphere7環境へのアップグレードはなかなか鬼門だなと感じ、実際やったところかなりハマりポイントがあったので備忘録です。
目次
事の始まり
vSphere製品のESXiおよびvCenterがのGeneral Supportが今年(2022年10月)で終わります。Technical Guidanceが2023年11月と1年ほど猶予はありますが、おそらく怒涛のバージョンアップスケジュールが世の中では調整されていると思い検証してみることにしました。
VMwareのライフサイクルポリシーは下記をご確認ください。
もっと早くやっておけよとは思いつつ、vSphere7世代はESXiもvCenterも数か月おきごとにアップデートされるわ、内部の仕様が少しずつ変わるわ・・・・というところで手つかずでしたが最近やっと安定期といっていいころ合いかと感じたので重い腰をあげました・・・・。
前提
今回調べたことは、ESXiとvCenter(vCenterアプライアンス)の簡単な組み合わせの範囲です。vSANやNSXなどのコンポーネントを組み合わせた環境では、他にも見るべき資料、確認するべき項目は多いと思いますのでご注意ください。
アップグレードしてみた
vSphere6.7→vSphere7へのアップグレードについて、詳しい内容は別記事にまとめています。
vCenter
【アップグレード編】vCenter Server Applianceを6.7から7.0にGUIアップグレードしてみた
【結果編】vCenter Server Applianceを6.7から7.0にGUIアップグレードしてみた
ESXi
【アップグレード編】ESXi6.7からESXi7.0にESXCLIアップグレードしてみた
【結果編】ESXi6.7からESXi7.0にESXCLIアップグレードしてみた
見ておきたい資料
「アップグレードしてみた」と気にvSphere7関連でアップグレードでこれは確認しておいた方がいいなと思う情報をまとめました。重複する内容もありますが、重要と思われる部分をピックしています。
VMware公式リファレンス
Product Interoperability Matrix
vsphere製品の互換性に関することを確認できるサイトです。
「Interoperability」タブで互換性、「Upgrade Path」タブでアップグレードパスの確認が行えます。
Upgrade Pathの使い方は下記に記載があります。
VMware Compatibility Guide
ハードウェア(サーバーや搭載パーツ)や仮想マシン、ゲストOSに関する記載が確認できます。
忘れがちになりますが、対応しているファームウェアバージョンなどもパーツ単位で確認できるので確認しておきましょう。
使い方は下記に記載があります。
VMware vSphere 7.0 Release Notes
vCenter・ESXiのリリースノートです。アップグレード予定のリリースノート（特に既知の不具合）は見ておきましょう。
VMware Docs
vCenter Server のアップグレードについて
vCenterのアップグレードに関する事項のドキュメントです。
『VMware ESXi のアップグレード』について
ESXiのアップグレードに関する事項のドキュメントです。
VMware KB（全体）
気になるKBをリストアップしています。現時点のバージョン(vCenter Server 7.0 Update 3e、ESXi 7.0 Update 3e)で改善されたものは除外しています。
また、vsphere7.x→vsphere7.xと同世代によるバージョンアップ(アップグレードではない）ものも除外しています。
vSphere 7 Upgrade Best Practices (78205)
アップグレードに関するベストプラクティス集です。
Important information before upgrading to vSphere 7.0 (78487)
アップグレードに関する重要な情報集です。
Update sequence for vSphere 6.7 and its compatible VMware products (53710)
VMware製品をアップデートする際のシーケンス(順番)が記載されたKBになります。
vSphere Back-in-time release upgrade restriction (67077)
非常に面倒ですが、現在パッチレベルでアップグレードパスが異なります。確認しておきましょう。
Pre-check with security policy fails when upgrading to vSphere 7.0 (67853)
仮想スイッチの偽造送信とMACアドレスの変更のセキュリティポリシーがvSphere6(デフォルト有効)からvSphere7(デフォルト無効)に変更されています。すべてのホストでポリシーを合わせておきましょう。
VMware KB（vCenter）
正引き・逆引きが行えるように。
KB情報にはありませんが、検証を行っているところvCenterと関連するESXiホストの正引き・逆引きができないとアップグレード処理が失敗します。気を付けましょう。
“install.vmafd.vmdir_vdcpromo_error_21” error during VC convergence, cross domain repoint and fresh deployment (74678)
一部のバージョンでは TSO、GSO 無効にしないと失敗します。
After upgrading from vCenter Server 6.5 to vCenter Server 7.0, ESXi hosts provisioned through Auto Deploy fail to boot (82496)
アップグレード後Auto DeployしたESXiホストの起動が失敗します。
vCenter Server upgrade fails if it contains host profiles earlier than version 6.5.0 (67567)
古いバージョンのホストプロファイルがあるとアップグレードに失敗します。
“Failed to check VMware STS. The SSL certificate of STS service cannot be verified” while upgrading VCSA from 6.5 to 6.7/7.0 (76144)
5.5など古いバージョンからアップグレードしていると失敗します。
vCenter Server 7.0.x update fails due to invalid credentials (88885)
古いクレデンシャル情報が残っておりアップグレードに失敗することがあるようです。
“vCenter Server Appliance FQDN does not match the certificate in VMware Endpoint Certificate Store” while upgrading from vCenter 6.5/6.7 to 7.0 (78657)
証明書とCNとPNIDがずれているとアップグレードに失敗します。
Upgrading to vCenter Server 7.0 fails when case differs between FQDN and PNID (84355)
FQDNとPNIDの小文字・大文字が異なるとアップグレードに失敗します。
EAM service not authenticated to VC after VCSA upgrade to 7.0 U1 or later (81858)
7.0.1以降にアップグレード後、vCLSがデプロイできない事象があるようです。
Upgrade to vCenter Server 7.0 fails with “WCP service installation failed” (88562)
アップグレード元をIPアドレスでデプロイ、デプロイ後にホスト名を変更しているとアップグレードに失敗するようです。
“Internal error occurs during pre-upgrade checks”while upgrading to vCenter Server appliance 7.0 (78296)
無効な仮想マシンがあるとアップグレードに失敗します。
“[500] An error occurred while fetching identity providers” after upgrading VC to 7.0 U2 (83161)
7.0.2以降にアップグレード後、vSphere Clientにログインできない事象があるようです。
After upgrade/update to ESXi 7.0 U3x vpxa fails to start, resulting in ESXi being disconnected from vCenter with the error “Timed out waiting for vpxa to start” (87752)
7.0U3にアップグレード後、ホストが切断される事象があるようです。7.0.u3dで改善しているようですが、現象が発生する場合はサポートリクエストを投げるとのコメントもあるため記載。
“Failed to create service account for workload storage” “VMware directory error[9127]” while upgrading VCSA to 7.0 (82634)
検証時のバージョンではでなかったけど、対象が7.0.xになっているので念のため記載。
Upgrading vCenter Server 7.0 fails during the pre-check due to max session limit (81953)
事前チェックの試行回数超過エラー時の対処。
“Source vCenter Server has instance(s) of Distributed Virtual Switch at unsupported version” error while upgrading vCenter Server 6.7 or 7.0 (52826)
分散スイッチの場合は、分散スイッチのバージョンも必要に応じてアップグレードしましょう。
Third party CIM Providers are unavailable after upgrading to vSphere 7.0 (78136)
CIMプロバイダは64bitのみサポートになりました。
ログなどのディスク使用量の確認
アップグレードと直接的な関係はありませんが、vCenterアプライアンスはログファイルなどでディスク容量の多くを消費している、もしくは消費する場合があります。
ただ、空き容量が少ないとアップグレード失敗の要因にもなるので事前に調べておきましょう。
VMware KB（ESXi-デバイス・ドライバ関連）
Devices deprecated and unsupported in ESXi 7.0 (77304)
ESXi7で非推奨・サポート外になったデバイス情報です。
vmkapi version removal and Installing/upgrading implication with ESXi 7.0 (78389)
ドライバの依存関係のKBです。利用しているドライババージョンによっては、アップグレードができない（新規インストールが必須）の場合もあるので注意ましょう。
Upgrade of ESXi from 6.0 to 6.5/7.0 fails with CONFLICTING_VIBS ERROR (49816)
一部のバージョンからscsi_mpt3sasありでアップグレードすると失敗するようです。
Upgrading from ESXi 6.7 to 7.0 does not upgrade the async lpfc driver (78935)
検証している状態では、最新のlpfcドライバがあたっているようですが、はっきり原因がわからないので一応確認しましょう。
VMware KB（ESXi-その他）
vSphere Lifecycle Manager can show non-compliant status after rollup Remediation, new cluster creation or transition from Baseline-managed cluster to Image-managed cluster for few upgrade paths due to i40en/i40enu driver name change. (85982)
ESXi7.x→ESXi7.xの注意事項なのでESXi6からのアップグレードの本記事とは趣旨がそれますが、インパクトが大きいので記載しておきます。i40en / i40enuドライバーには気を付けましょう。
Base Image and Components are not present after upgrading using esxcli software profile update (80422)
特定のバージョンからアップグレードするとesxcli software componentコマンドが使えないLifecycle Manager関連で面倒が起こります。後戻りできないため、事前に二段階アップグレードなどを検討しましょう。
Impact on ESXi upgrade due to expired ESXi VIB Certificate (76555)
VIBの証明書期限の問題で特定のバージョンからESXi7へアップグレードできません。
二段階アップグレードを検討しましょう。
Interactive/Scripted ISO upgrade to 7.0 U3 failed with message about live VIB installation (85859)
ESXi7.0U3以降へのアップグレードでは、HAへの参加などライブVIBが入っている場合、インストールISOを使用したアップグレードができません。
ESXi upgrade failure due to insufficient memory available to create ramdisk stagebootbank (88174)
ホストのリソースプールにメモリ空きがないとアップグレードに失敗します。
SSH access may fail post upgrade to ESXi 7.0 Update 3d (88055)
OpenSSHをバージョン8.8にバージョンアップされています。SSH接続できない場合は確認しましょう。
CHAP Settings May Not Persist Through Reboot When CHAP is Enabled and Configured With Dynamic Discovery on ESXi 7.0.1 and Higher Hosts (88919)
CHAPが有効になっているiSCSIでは再起動のたびにCHAPの再構成が必要です。
“Configuration Upgrade Failure” PSOD during upgrade to ESXi 7.0 U2 or later (76239)
SNMPの認証にMD5を使っているとアップグレード失敗するようです。SHA1などに変更しましょう。
After upgrading to ESXi 7.0U2, corruption can occur on VMFS datastores if the ESXi hosts sharing those LUNs had their boot devices cloned (84349)
ブートデバイスをクローンした構成で発生する模様。あまりない構成なきもしますが、7.0U2だけでなく7.0以降共通の問題のため記載。
Upgrading host from vSphere ESXi 6.x to 7.x datastores may become overwritten if incorrect scratch location is set prior, or after upgrade (83647)
すでに解決しているようですが、データストア内の消失に繋がりそうなので記載しておきます。気を付けましょう。
After upgrading the ESXi 7.x Host events log flooded with – logged in as pyvmomi Python/3.5.9 (VMkernel; 7.0.1; x86_64) (83593)
イベントログに大量のイベントが出るときの対処。
/etc/hosts and /etc/resolv.conf do not support direct update from 7.0 U3. The content of the files are saved to configstore. They can only be updated by public cli or API. (86015)
hostsの編集はコマンドを使いましょう。
vSphere ESXi 7.0 U3 and later versions configuration files for NTP and PTP can no longer be edited (87176)
ntp.confの編集にはコマンドを使いましょう。
ESXi configuration files for sfcb snmp and wbem can no longer be edited (82638)
hostsとntpと同じような内容ですが、ESXi7.0u2以降は /etc配下のファイルは読み取り専用になり、ConfigStoreという仕組みに移動されたため/etc配下のファイルを直接編集しないようにしましょう。
VMware KB（仮想マシン関連）
Windows Guest OS encounters BSOD after Virtual Machine is vMotioned to ESXi version 7.0U2 or higher (88516)
7.0.2以降のホストにvMotionするとWindowsが停止します。
Increased %VMWAIT for idle VMs after upgrading to ESXi 7.0 U2 or later (85393)
アップグレード後VMWAIT値が増加するようですが、表示錠の問題だけのようです。
Memory reservation warning when editing settings of some virtual machines using the vSphere Client in vCenter 7 Update 2 or later (87561)
ゲストの予約メモリに警告が表示されるようです。
Editing the configuration of a VM using vSphere Client in vSphere 7.0 fails with “object is not an instance of declaring class” (88577)
過去に仮想ハードウェアのバージョンアップに失敗した仮想マシンには対処が必要。
EFI virtual machines getting stuck in EFI boot manager when trying to start after migration from ESXi 6.x to ESXi 7.x (87796)
PXEインストールした後に仮想NICを変更した仮想マシンは起動できないようです。
How to make guest customization work for Debian 10.1x and Debian 11 in ESXi 7.0 and ESXi 7.0 update. (85845)
Debianへ仮想マシンのカスタマイズは使えません。
その他
富士通-VMware vSphere 7.0 ソフトウェア説明書
富士通さんのPRIMAGYサーバー向けの説明書ですが、アップグレードに関する事項も記載されていてためになります。
自身が扱うベンダー情報
vSphere ESXiを物理サーバーに導入している場合、基本的にはOEMカスタマイズメディアを使用しますが、OEMベンダーもvSphereのアップグレードや不具合などに関する情報も出しているので併せてみておくと万全そうです。
まとめ
実際のところ構成によって多様なKBが公開されておりました。
昔に比べるとアップグレードのハードルが各段に高くなっているように感じます。
環境が許せば（お客様が許してくれれば）再インストールする方がよほど楽ではないだろうかと思わなくもない・・・・。