【まとめ】vSphere7へアップグレードするときに確認しておきたいこと

どうも、Tです。

vSphere7環境へのアップグレードはなかなか鬼門だなと感じ、実際やったところかなりハマりポイントがあったので備忘録です。

スポンサーリンク
アドセンス1

目次

事の始まり

vSphere製品のESXiおよびvCenterがのGeneral Supportが今年(2022年10月)で終わります。Technical Guidanceが2023年11月と1年ほど猶予はありますが、おそらく怒涛のバージョンアップスケジュールが世の中では調整されていると思い検証してみることにしました。

https://lifecycle.vmware.com/

VMwareのライフサイクルポリシーは下記をご確認ください。

https://www.vmware.com/jp/support/lifecycle-policies.html

もっと早くやっておけよとは思いつつ、vSphere7世代はESXiもvCenterも数か月おきごとにアップデートされるわ、内部の仕様が少しずつ変わるわ・・・・というところで手つかずでしたが最近やっと安定期といっていいころ合いかと感じたので重い腰をあげました・・・・。

前提

今回調べたことは、ESXiとvCenter(vCenterアプライアンス)の簡単な組み合わせの範囲です。vSANやNSXなどのコンポーネントを組み合わせた環境では、他にも見るべき資料、確認するべき項目は多いと思いますのでご注意ください。

アップグレードしてみた

vSphere6.7→vSphere7へのアップグレードについて、詳しい内容は別記事にまとめています。

vCenter

【アップグレード編】vCenter Server Applianceを6.7から7.0にGUIアップグレードしてみた

【アップグレード編】vCenter Server Applianceを6.7から7.0にGUIアップグレードしてみた
どうも、Tです。 vCenter Server Appliance(vCSA)のインストールメディアを利用したGUIアップグレードを行...

【結果編】vCenter Server Applianceを6.7から7.0にGUIアップグレードしてみた

【結果編】vCenter Server Applianceを6.7から7.0にGUIアップグレードしてみた
どうも、Tです。 先日、vCSAのアップグレードを実施しました。アップグレード後ちゃんとデータが移行されているのか確認します。 ...

ESXi

【アップグレード編】ESXi6.7からESXi7.0にESXCLIアップグレードしてみた

【アップグレード編】ESXi6.7からESXi7.0にESXCLIアップグレードしてみた
どうも、Tです。 ESXiホストのアップグレードをESXCLIコマンドで実施した備忘録です。 アップグレードの意味ついては、下記...

【結果編】ESXi6.7からESXi7.0にESXCLIアップグレードしてみた

【結果編】ESXi6.7からESXi7.0にESXCLIアップグレードしてみた
どうも、Tです。 先日、ESXiのアップグレードを実施しました。アップグレード後設定のずれなどないか確認します。 ここでの結...

見ておきたい資料

「アップグレードしてみた」と気にvSphere7関連でアップグレードでこれは確認しておいた方がいいなと思う情報をまとめました。重複する内容もありますが、重要と思われる部分をピックしています。

VMware公式リファレンス

Product Interoperability Matrix

vsphere製品の互換性に関することを確認できるサイトです。

「Interoperability」タブで互換性、「Upgrade Path」タブでアップグレードパスの確認が行えます。

Product Interoperability Matrix

Upgrade Pathの使い方は下記に記載があります。

Upgrade Path and Interoperability of VMware Products

VMware Compatibility Guide

ハードウェア(サーバーや搭載パーツ)や仮想マシン、ゲストOSに関する記載が確認できます。

忘れがちになりますが、対応しているファームウェアバージョンなどもパーツ単位で確認できるので確認しておきましょう。

VMware Compatibility Guide - System Search

使い方は下記に記載があります。

https://juku-jp.vmware.com/resource/compatibility-guide/

VMware vSphere 7.0 Release Notes

vCenter・ESXiのリリースノートです。アップグレード予定のリリースノート(特に既知の不具合)は見ておきましょう。

https://docs.vmware.com/en/VMware-vSphere/7.0/rn/vsphere-esxi-vcenter-server-70-release-notes.html

VMware Docs

vCenter Server のアップグレードについて

vCenterのアップグレードに関する事項のドキュメントです。

https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.vcenter.upgrade.doc/GUID-9ED7B32A-019F-4A97-BC58-1A9BF7D16C57.html

『VMware ESXi のアップグレード』について

ESXiのアップグレードに関する事項のドキュメントです。

https://docs.vmware.com/jp/VMware-vSphere/7.0/com.vmware.esxi.upgrade.doc/GUID-65B5B313-3DBB-4490-82D2-A225446F4C99.html

VMware KB(全体)

気になるKBをリストアップしています。現時点のバージョン(vCenter Server 7.0 Update 3e、ESXi 7.0 Update 3e)で改善されたものは除外しています。

また、vsphere7.x→vsphere7.xと同世代によるバージョンアップ(アップグレードではない)ものも除外しています。

vSphere 7 Upgrade Best Practices (78205)

アップグレードに関するベストプラクティス集です。

https://kb.vmware.com/s/article/78205

Important information before upgrading to vSphere 7.0 (78487)

アップグレードに関する重要な情報集です。

Important information before upgrading to vSphere 7.0

Update sequence for vSphere 6.7 and its compatible VMware products (53710)

VMware製品をアップデートする際のシーケンス(順番)が記載されたKBになります。

Update sequence for vSphere 6.7 and its compatible VMware products
Update sequence for vSphere 7.0 and its compatible VMware products

vSphere Back-in-time release upgrade restriction (67077)

非常に面倒ですが、現在パッチレベルでアップグレードパスが異なります。確認しておきましょう。

vCenter Server Back-in-time release upgrade restriction

Pre-check with security policy fails when upgrading to vSphere 7.0 (67853)

仮想スイッチの偽造送信とMACアドレスの変更のセキュリティポリシーがvSphere6(デフォルト有効)からvSphere7(デフォルト無効)に変更されています。すべてのホストでポリシーを合わせておきましょう。

Pre-check with security policy fails when upgrading to vSphere 7.0

VMware KB(vCenter)

正引き・逆引きが行えるように。

KB情報にはありませんが、検証を行っているところvCenterと関連するESXiホストの正引き・逆引きができないとアップグレード処理が失敗します。気を付けましょう。

“install.vmafd.vmdir_vdcpromo_error_21” error during VC convergence, cross domain repoint and fresh deployment (74678)

一部のバージョンでは TSO、GSO 無効にしないと失敗します。

"install.vmafd.vmdir_vdcpromo_error_21" error during VC convergence, cross domain repoint and fresh deployment

After upgrading from vCenter Server 6.5 to vCenter Server 7.0, ESXi hosts provisioned through Auto Deploy fail to boot (82496)

アップグレード後Auto DeployしたESXiホストの起動が失敗します。

After upgrading from vCenter Server 6.5 to vCenter Server 7.0, ESXi hosts provisioned through Auto Deploy fail to boot

vCenter Server upgrade fails if it contains host profiles earlier than version 6.5.0 (67567)

古いバージョンのホストプロファイルがあるとアップグレードに失敗します。

https://kb.vmware.com/s/article/67567

“Failed to check VMware STS. The SSL certificate of STS service cannot be verified” while upgrading VCSA from 6.5 to 6.7/7.0 (76144)

5.5など古いバージョンからアップグレードしていると失敗します。

"Failed to check VMware STS. The SSL certificate of STS service cannot be verified" while upgrading VCSA from 6.5 to 6.7/7.0

vCenter Server 7.0.x update fails due to invalid credentials (88885)

古いクレデンシャル情報が残っておりアップグレードに失敗することがあるようです。

vCenter Server 7.0.x update fails due to invalid credentials

“vCenter Server Appliance FQDN does not match the certificate in VMware Endpoint Certificate Store” while upgrading from vCenter 6.5/6.7 to 7.0 (78657)

証明書とCNとPNIDがずれているとアップグレードに失敗します。

"vCenter Server Appliance FQDN does not match the certificate in VMware Endpoint Certificate Store" while upgrading from vCenter 6.5/6.7 to 7.0

Upgrading to vCenter Server 7.0 fails when case differs between FQDN and PNID (84355)

FQDNとPNIDの小文字・大文字が異なるとアップグレードに失敗します。

Upgrading to vCenter Server 7.0 fails when case differs between FQDN and PNID

EAM service not authenticated to VC after VCSA upgrade to 7.0 U1 or later (81858)

7.0.1以降にアップグレード後、vCLSがデプロイできない事象があるようです。

EAM service not authenticated to VC after VCSA upgrade to 7.0 U1 or later

Upgrade to vCenter Server 7.0 fails with “WCP service installation failed” (88562)

アップグレード元をIPアドレスでデプロイ、デプロイ後にホスト名を変更しているとアップグレードに失敗するようです。

Upgrade to VMware vCenter Server 7.0 fails with "WCP service installation failed"

“Internal error occurs during pre-upgrade checks”while upgrading to vCenter Server appliance 7.0 (78296)

無効な仮想マシンがあるとアップグレードに失敗します。

"Internal error occurs during pre-upgrade checks"while upgrading to vCenter Server appliance 7.0

“[500] An error occurred while fetching identity providers” after upgrading VC to 7.0 U2 (83161)

7.0.2以降にアップグレード後、vSphere Clientにログインできない事象があるようです。

"[500] An error occurred while fetching identity providers" after upgrading VC to 7.0 U2

After upgrade/update to ESXi 7.0 U3x vpxa fails to start, resulting in ESXi being disconnected from vCenter with the error “Timed out waiting for vpxa to start” (87752)

7.0U3にアップグレード後、ホストが切断される事象があるようです。7.0.u3dで改善しているようですが、現象が発生する場合はサポートリクエストを投げるとのコメントもあるため記載。

After upgrade/update to ESXi 7.0 U3x vpxa fails to start, resulting in ESXi being disconnected from vCenter with the error "Timed out waiting for vpxa to start"

“Failed to create service account for workload storage” “VMware directory error[9127]” while upgrading VCSA to 7.0 (82634)

検証時のバージョンではでなかったけど、対象が7.0.xになっているので念のため記載。

VCSA Upgrade to 7.0 fails at wcp-firstboot

Upgrading vCenter Server 7.0 fails during the pre-check due to max session limit (81953)

事前チェックの試行回数超過エラー時の対処。

Upgrading vCenter Server 7.0 fails during the pre-check due to max session limit

“Source vCenter Server has instance(s) of Distributed Virtual Switch at unsupported version” error while upgrading vCenter Server 6.7 or 7.0 (52826)

分散スイッチの場合は、分散スイッチのバージョンも必要に応じてアップグレードしましょう。

"Source vCenter Server has instance(s) of Distributed Virtual Switch at unsupported version" error while upgrading vCenter Server 6.7 ,7.0 or 8.0

Third party CIM Providers are unavailable after upgrading to vSphere 7.0 (78136)

CIMプロバイダは64bitのみサポートになりました。

Third party CIM Providers are unavailable after upgrading to vSphere 7.0

ログなどのディスク使用量の確認

アップグレードと直接的な関係はありませんが、vCenterアプライアンスはログファイルなどでディスク容量の多くを消費している、もしくは消費する場合があります。

ただ、空き容量が少ないとアップグレード失敗の要因にもなるので事前に調べておきましょう。

Troubleshooting vCenter Appliance /storage/log directory is 80% or more full
This article provides information on how to troubleshoot and resolve the /storage/log partition being full on vCenter Appliance. Symptoms: vCenter Server Appli...
https://kb.vmware.com/s/article/85475
vCenter Server Appliance disk space is full
This article provides information to troubleshoot vCenter Server Appliance (VCSA) high virtual disk space. Errors appear as messages in vCenter Server similar ...
/storage/seat disk 100% full on vCenter Server Appliance 6.x/7.x
Symptoms: The vCenter Server Appliance services fail to start. When connecting to the VCSA using the vSphere Web Client, you see the error similar to: 503 Serv...

VMware KB(ESXi-デバイス・ドライバ関連)

Devices deprecated and unsupported in ESXi 7.0 (77304)

ESXi7で非推奨・サポート外になったデバイス情報です。

Devices deprecated and unsupported in ESXi 7.0

vmkapi version removal and Installing/upgrading implication with ESXi 7.0 (78389)

ドライバの依存関係のKBです。利用しているドライババージョンによっては、アップグレードができない(新規インストールが必須)の場合もあるので注意ましょう。

vmkapi version removal and Installing/upgrading implication with ESXi 7.0

Upgrade of ESXi from 6.0 to 6.5/7.0 fails with CONFLICTING_VIBS ERROR (49816)

一部のバージョンからscsi_mpt3sasありでアップグレードすると失敗するようです。

Upgrade of ESXi from 6.0 to 6.5/7.0 fails with CONFLICTING_VIBS ERROR

Upgrading from ESXi 6.7 to 7.0 does not upgrade the async lpfc driver (78935)

検証している状態では、最新のlpfcドライバがあたっているようですが、はっきり原因がわからないので一応確認しましょう。

Upgrading from ESXi 6.7 to 7.0 does not upgrade the async lpfc driver

VMware KB(ESXi-その他)

vSphere Lifecycle Manager can show non-compliant status after rollup Remediation, new cluster creation or transition from Baseline-managed cluster to Image-managed cluster for few upgrade paths due to i40en/i40enu driver name change. (85982)

ESXi7.x→ESXi7.xの注意事項なのでESXi6からのアップグレードの本記事とは趣旨がそれますが、インパクトが大きいので記載しておきます。i40en / i40enuドライバーには気を付けましょう。

vSphere Lifecycle Manager can show non-compliant status after rollup Remediation, new cluster creation or transition from Baseline-managed cluster to Image-managed cluster for few upgrade paths due to i40en/i40enu driver name change.

Base Image and Components are not present after upgrading using esxcli software profile update (80422)

特定のバージョンからアップグレードするとesxcli software componentコマンドが使えないLifecycle Manager関連で面倒が起こります。後戻りできないため、事前に二段階アップグレードなどを検討しましょう。

Base Image and Components are not present after upgrading using esxcli software profile update

Impact on ESXi upgrade due to expired ESXi VIB Certificate (76555)

VIBの証明書期限の問題で特定のバージョンからESXi7へアップグレードできません。

二段階アップグレードを検討しましょう。

ESXi upgrade failure due to expired VIB Certificate

Interactive/Scripted ISO upgrade to 7.0 U3 failed with message about live VIB installation (85859)

ESXi7.0U3以降へのアップグレードでは、HAへの参加などライブVIBが入っている場合、インストールISOを使用したアップグレードができません。

Interactive/Scripted ISO upgrade to 7.0 U3 failed with message about live VIB installation

ESXi upgrade failure due to insufficient memory available to create ramdisk stagebootbank (88174)

ホストのリソースプールにメモリ空きがないとアップグレードに失敗します。

ESXi upgrade failure due to insufficient memory available to create ramdisk stagebootbank

SSH access may fail post upgrade to ESXi 7.0 Update 3d (88055)

OpenSSHをバージョン8.8にバージョンアップされています。SSH接続できない場合は確認しましょう。

SSH access may fail post upgrade to ESXi 7.0 Update 3d

CHAP Settings May Not Persist Through Reboot When CHAP is Enabled and Configured With Dynamic Discovery on ESXi 7.0.1 and Higher Hosts (88919)

CHAPが有効になっているiSCSIでは再起動のたびにCHAPの再構成が必要です。

CHAP Settings May Not Persist Through Reboot When CHAP is Enabled and Configured With Dynamic Discovery on ESXi 7.0.1 and Higher Hosts

“Configuration Upgrade Failure” PSOD during upgrade to ESXi 7.0 U2 or later (76239)

SNMPの認証にMD5を使っているとアップグレード失敗するようです。SHA1などに変更しましょう。

"Configuration Upgrade Failure" PSOD during upgrade to ESXi 7.0 U2 or later

After upgrading to ESXi 7.0U2, corruption can occur on VMFS datastores if the ESXi hosts sharing those LUNs had their boot devices cloned (84349)

ブートデバイスをクローンした構成で発生する模様。あまりない構成なきもしますが、7.0U2だけでなく7.0以降共通の問題のため記載。

After upgrading to ESXi 7.0U2, corruption can occur on VMFS datastores if the ESXi hosts sharing those LUNs had their boot devices cloned

Upgrading host from vSphere ESXi 6.x to 7.x datastores may become overwritten if incorrect scratch location is set prior, or after upgrade (83647)

すでに解決しているようですが、データストア内の消失に繋がりそうなので記載しておきます。気を付けましょう。

Upgrading host from vSphere ESXi 6.x to 7.x datastores may become overwritten if incorrect scratch location is set, prior, or after upgrade

After upgrading the ESXi 7.x Host events log flooded with – logged in as pyvmomi Python/3.5.9 (VMkernel; 7.0.1; x86_64) (83593)

イベントログに大量のイベントが出るときの対処。

After upgrading the ESXi hosts to the vSphere version 7.0, the host events log flooded with - logged in as pyvmomi Python/3.5.9 (VMkernel; 7.0.1; x86_64)

/etc/hosts and /etc/resolv.conf do not support direct update from 7.0 U3. The content of the files are saved to configstore. They can only be updated by public cli or API. (86015)

hostsの編集はコマンドを使いましょう。

Changes to ESXi 7.0 U3 hosts /etc/hosts or /etc/resolv.conf revert after reboot

vSphere ESXi 7.0 U3 and later versions configuration files for NTP and PTP can no longer be edited (87176)

ntp.confの編集にはコマンドを使いましょう。

vSphere ESXi 7.0 U3 and later versions NTP configuration steps loading a text file containing NTP configuration commands

ESXi configuration files for sfcb snmp and wbem can no longer be edited (82638)

hostsとntpと同じような内容ですが、ESXi7.0u2以降は /etc配下のファイルは読み取り専用になり、ConfigStoreという仕組みに移動されたため/etc配下のファイルを直接編集しないようにしましょう。

https://kb.vmware.com/s/article/82638

VMware KB(仮想マシン関連)

Windows Guest OS encounters BSOD after Virtual Machine is vMotioned to ESXi version 7.0U2 or higher (88516)

7.0.2以降のホストにvMotionするとWindowsが停止します。

Virtual Machines can experience guest OS crashes after being vMotioned to ESXi version 7.0U2 or newer

Increased %VMWAIT for idle VMs after upgrading to ESXi 7.0 U2 or later (85393)

アップグレード後VMWAIT値が増加するようですが、表示錠の問題だけのようです。

Increased %VMWAIT for idle VMs after upgrading to ESXi 7.0 U2 or later

Memory reservation warning when editing settings of some virtual machines using the vSphere Client in vCenter 7 Update 2 or later (87561)

ゲストの予約メモリに警告が表示されるようです。

Memory reservation warning when editing settings of some virtual machines using the vSphere Client in vCenter 7 Update 2 or later

Editing the configuration of a VM using vSphere Client in vSphere 7.0 fails with “object is not an instance of declaring class” (88577)

過去に仮想ハードウェアのバージョンアップに失敗した仮想マシンには対処が必要。

Editing the configuration of a VM using vSphere Client in vSphere 7.0 fails with "object is not an instance of declaring class"

EFI virtual machines getting stuck in EFI boot manager when trying to start after migration from ESXi 6.x to ESXi 7.x (87796)

PXEインストールした後に仮想NICを変更した仮想マシンは起動できないようです。

EFI virtual machines getting stuck in EFI boot manager when trying to start after migration from ESXi 6.x to ESXi 7.x

How to make guest customization work for Debian 10.1x and Debian 11 in ESXi 7.0 and ESXi 7.0 update. (85845)

Debianへ仮想マシンのカスタマイズは使えません。

How to make guest customization work for Debian 10.1x and Debian 11 in ESXi 7.0 and ESXi 7.0 update.

その他

富士通-VMware vSphere 7.0 ソフトウェア説明書

富士通さんのPRIMAGYサーバー向けの説明書ですが、アップグレードに関する事項も記載されていてためになります。

VMwareのマニュアル : 富士通
1台の物理サーバ上で仮想的に複数のサーバを稼動させることが可能な仮想化ソフトウェア VMwareのマニュアルをご紹介します。

自身が扱うベンダー情報

vSphere ESXiを物理サーバーに導入している場合、基本的にはOEMカスタマイズメディアを使用しますが、OEMベンダーもvSphereのアップグレードや不具合などに関する情報も出しているので併せてみておくと万全そうです。

まとめ

実際のところ構成によって多様なKBが公開されておりました。

昔に比べるとアップグレードのハードルが各段に高くなっているように感じます。

環境が許せば(お客様が許してくれれば)再インストールする方がよほど楽ではないだろうかと思わなくもない・・・・。

スポンサーリンク
アドセンス1
アドセンス1
ブログランキング・にほんブログ村へ

シェアする

フォローする