不同的超融合軟件，其讀寫機制有一定的差異性，I/O 路徑也不盡相同，這使得他們在 I/O 讀寫效率以及資源占用上都有不同的表現(xiàn)。有興趣著手構(gòu)建超融合基礎(chǔ)架構(gòu)的用戶，可能會希望了解更多關(guān)于 I/O 路徑的細節(jié)，從而在實施之前，進行更充足的準備和更合理的規(guī)劃（例如針對不同 I/O 路徑選擇更合適的網(wǎng)絡(luò)帶寬）。為了幫助讀者更好地理解超融合架構(gòu) I/O 路徑對集群性能的影響，本文將對比 VMware 和 SmartX 超融合 I/O 路徑，分析不同場景下 I/O 讀寫的方式、發(fā)生概率及其對存儲性能和集群的相關(guān)影響。
重點摘要
- 基于 SDS 的超融合架構(gòu)中，I/O 既可能發(fā)生在主機內(nèi)部的本地磁盤上，也有可能發(fā)生在外部的網(wǎng)絡(luò)主機上。相同軟硬件配置下，本地 I/O 操作時延更短。
- 在寫入場景下，vSAN 至少有 1 個副本需要經(jīng)過網(wǎng)絡(luò)寫入。在讀取場景下，讀 I/O 路徑在正常狀態(tài)下不會出現(xiàn) 100% 本地讀取情況；在故障狀態(tài)下僅有 25% 概率出現(xiàn) 100% 本地讀取，其余情況均為 100% 遠程讀取，且易因故障恢復導致性能瓶頸。
- 在寫入場景下，ZBS* 在正常狀態(tài)下不會發(fā)生 100% 遠程寫入的情況，并針對虛擬機遷移后的 I/O 路徑進行了優(yōu)化，最大限度避免 100% 遠程寫入的情況。在讀取場景下，正常狀態(tài)時可確保 100% 本地讀；數(shù)據(jù)恢復時優(yōu)先進行本地恢復，并通過彈性副本恢復策略平衡恢復速度與業(yè)務(wù) I/O。
- 在正常和數(shù)據(jù)恢復狀態(tài)下，ZBS 的本地 I/O 訪問概率比 vSAN 更高，理論上時延會更低；而在需要頻繁遷移的場景下，vSAN 本地 I/O 訪問概率更高。
- 即使超融合的整體 I/O 性能有富余，更多的遠程 I/O 也可能引起網(wǎng)絡(luò)資源爭搶等問題。
*ZBS 是 SmartX 超融合軟件 SMTX OS 中與 vSAN 對應(yīng)的分布式塊存儲組件。
一、傳統(tǒng)虛擬化架構(gòu)與超融合架構(gòu)的 I/O 路徑對比
業(yè)務(wù)系統(tǒng)經(jīng)過運算后生成了數(shù)據(jù)，并通過系統(tǒng)的 I/O 路徑將數(shù)據(jù)傳輸?shù)酱鎯橘|(zhì)上（一般是磁盤）進行持久化存儲。通常情況下，I/O 的持久化存儲過程會經(jīng)歷不同的硬件設(shè)備和軟件邏輯，而經(jīng)過每一個硬件/軟件都會占用一定的系統(tǒng)資源并增加處理時間（產(chǎn)生時延），因此 I/O 路徑的設(shè)計優(yōu)劣跟業(yè)務(wù)系統(tǒng)的整體運行效率是息息相關(guān)的。
1.傳統(tǒng)虛擬化架構(gòu)下的 I/O 路徑
在傳統(tǒng)三層式基礎(chǔ)架構(gòu)中，I/O 從虛擬機端發(fā)起，需要經(jīng)過 hypervisor（虛擬化軟件），然后通過主機的 FC HBA 卡，發(fā)送至 SAN 交換機，然后到 SAN 存儲控制器，并最終將數(shù)據(jù)存儲到物理磁盤當中。
圖 1
I/O 路徑中涉及的硬件設(shè)備和軟件邏輯包括：
- 硬件設(shè)備：服務(wù)器主機 / SAN 存儲網(wǎng)絡(luò)交換機 / SAN 存儲設(shè)備……
- 軟件邏輯：虛擬機操作系統(tǒng) / 虛擬磁盤 / 虛擬化軟件 ……
2.超融合架構(gòu)下的 I/O 路徑
超融合架構(gòu)將計算、網(wǎng)絡(luò)和存儲進行了融合，I/O 從虛擬機發(fā)起，同樣需要經(jīng)過 hypervisor，然后發(fā)送到軟件定義存儲（SDS），最終在本地或通過以太網(wǎng)絡(luò)將數(shù)據(jù)存儲到物理磁盤當中。
圖 2
I/O 路徑中涉及的硬件設(shè)備和軟件邏輯包括：
- 硬件設(shè)備：服務(wù)器主機 / 以太網(wǎng)交換機……
- 軟件邏輯：虛擬機操作系統(tǒng) / 虛擬磁盤 / 虛擬化軟件 / 軟件定義存儲……
使用 SAN 存儲的場景中，虛擬機數(shù)據(jù)必須通過 SAN 網(wǎng)絡(luò)存儲到服務(wù)器外部的 SAN 存儲設(shè)備上，也就是數(shù)據(jù)讀寫 100% 需要經(jīng)過網(wǎng)絡(luò)。而與此不同的是，超融合架構(gòu)里面虛擬機的 I/O 是通過內(nèi)置的 SDS 存儲軟件寫入磁盤的，而 SDS 屬于分布式架構(gòu)，I/O 既可能發(fā)生在主機內(nèi)部的本地磁盤上，也有可能發(fā)生在外部的網(wǎng)絡(luò)主機之上。
其中不難理解的一點：在同樣的軟、硬件條件下，本地 I/O 操作顯然要比遠程主機上的 I/O 操作的響應(yīng)時間更短，畢竟 I/O 需要經(jīng)過網(wǎng)絡(luò)傳輸?shù)竭h程節(jié)點執(zhí)行，勢必會增加 I/O 操作的時延。即使網(wǎng)絡(luò)交換機的速度越來越快，依然無法完全避免時延的增加。
二、vSAN 與 ZBS I/O 路徑分析與對比
1.vSAN 的 I/O 路徑
VMware 超融合中的存儲軟件 vSAN 本質(zhì)上是對象存儲，它將虛擬機磁盤文件（.vmdk 文件）以對象（object）的形式進行存儲，并提供了包括 FTT=1（RAID1 Mirror/RAID5），F(xiàn)TT=2（RAID1 Mirror/RAID6）等多種數(shù)據(jù)冗余機制。下面以較為常用的 FTT=1（RAID1 Mirror）為例展開 I/O 路徑的討論（RAID5/6 只適用于全閃集群，實際上混合存儲在超融合環(huán)境更為常見）。
在 FTT=1 的存儲策略下，虛擬磁盤（.vmdk）的副本數(shù)量是 2，兩個副本會分別放置在 2 臺不同的服務(wù)器主機上。而 vSAN 中 object 默認大小是 255GB，條帶數(shù)為 1。舉個例子：當虛擬機創(chuàng)建了一個 200GB 的虛擬磁盤，vSAN 會創(chuàng)建一組鏡像組件，它包含 2 個 object 組件（實際上還有 1 個見證組件，但不包含業(yè)務(wù)數(shù)據(jù)，暫不討論），分別放置在 2 臺不同的主機上。如果虛擬磁盤的容量大于 255GB，則以 255GB 為單位拆分為多個 object。
圖 3
（1）寫 I/O 路徑
a. 正常狀態(tài)下的 I/O 路徑
前面提到在 SDS 當中，本地讀寫相比遠程讀寫而言是一個更優(yōu)的選擇，因為它的時延更低，網(wǎng)絡(luò)開銷更少。vSAN 對于副本（object）的放置并沒有優(yōu)先寫入本地的策略，而是隨機寫入兩個節(jié)點。下面將分析 vSAN 在不同情況下的寫 I/O 路徑。
以 4 節(jié)點的集群為例，2 個副本的放置節(jié)點位置共有 6 種可能性，當中有 3 種情況（? 的概率），虛擬機寫入的兩個 object 均不在虛擬機運行所在服務(wù)器主機，需要 100% 遠程寫入（兩個副本都需要經(jīng)過網(wǎng)絡(luò)進行寫入），其余 3 種情況都是有一個副本是本地寫入（另外一個副本經(jīng)過網(wǎng)絡(luò)進行寫入），顯然后者是更優(yōu)的路徑選擇（2 個副本，必然導致至少有 1 個副本需要經(jīng)過網(wǎng)絡(luò)寫入）。
圖 4
（2）讀 I/O 路徑
a. 正常狀態(tài)下的 I/O 路徑
根據(jù) VMware World1 的技術(shù)資料透露，vSAN 的 I/O 讀取會遵循 3 個原則：
- 副本間負載均衡讀。
- 非必然發(fā)生的本地讀（如果只剩下一個副本）。
- 確保同一數(shù)據(jù)塊從同一個副本中讀取。
vSAN 的平衡讀機制，意味著即使虛擬機所在的主機本地有數(shù)據(jù)副本（圖 4 中虛擬機本地擁有副本的概率為 ?），也將會有 50% 的讀取是通過網(wǎng)絡(luò)進行的。另外，有 ? 概率虛擬機所在的節(jié)點沒有任何一個本地副本，需要 100% 遠程讀取?？偠灾?strong>vSAN 在正常狀態(tài)下是不會發(fā)生 100% 本地讀。
圖 5
圖 6
b. 故障狀態(tài)下的 I/O 路徑
當集群中發(fā)生硬盤故障時，由于副本降級（其中 1 個副本由于硬盤故障而損失），無法再執(zhí)行平衡讀，所有讀 I/O 將發(fā)生在同一個副本內(nèi)。
其中，故障場景下將有 ? 概率發(fā)生 100% 本地讀，這是相比正常狀態(tài)更優(yōu)的 I/O 路徑。
圖 7
剩余 ? 概率都是 100% 遠程讀。
圖 8
當硬盤遭遇故障時，需通過讀?。ㄎㄒ唬┛捎酶北具M行數(shù)據(jù)恢復。由于 vSAN 中 object 的默認大小為 255GB，條帶為 1，這種設(shè)置使得虛擬機數(shù)據(jù)副本很容易集中到單一、兩塊硬盤當中。在數(shù)據(jù)恢復時觸發(fā)的讀取操作容易受限于單塊硬盤的性能瓶頸，難以利用多塊硬盤執(zhí)行并發(fā)恢復。因此，VMware 會建議在存儲策略中通過增加“條帶數(shù)”配置，以便盡量利用多塊硬盤的讀能力。
2.ZBS 的 I/O 路徑
SmartX 分布式塊存儲 ZBS 將虛擬磁盤切分為多個數(shù)據(jù)塊（extent），并為數(shù)據(jù)塊提供 2 副本或 3 副本的數(shù)據(jù)冗余保護。其中 2 副本在數(shù)據(jù)冗余保護級別與 vSAN 的 FTT=1（RAID1 Mirror）是相對應(yīng)的，下面將以 2 副本策略分析 ZBS 的 I/O 路徑。
在 2 副本存儲策略下，虛擬磁盤由多個數(shù)據(jù)塊（extent 大小為 256MB）組成，而 extent 以一組鏡像（Mirror）的方式存在，默認條帶數(shù)為 4。ZBS 支持數(shù)據(jù)本地化功能，可精準控制副本的位置：虛擬機運行所在主機放置一份虛擬磁盤的完整副本，另外一份副本則放置在遠程主機。
（1）寫 I/O 路徑
a. 正常狀態(tài)下的 I/O 路徑
同樣以 4 節(jié)點集群為例，由于 ZBS 可以保證虛擬機所在節(jié)點一定會有 1 個數(shù)據(jù)副本，寫 I/O 操作可以一直保證 50% 寫入發(fā)生在本地，50% 寫入發(fā)生在遠程，無論另外一個副本如何放置，都不會受到影響。因此，ZBS 在正常狀態(tài)下不會發(fā)生 100% 遠程寫入的情況。
b. 虛擬機遷移后的 I/O 路徑
數(shù)據(jù)本地化功能可確保虛擬機的一份數(shù)據(jù)副本完整存放在本地主機，從而降低 I/O 訪問的時延。但大家可能會思考一個問題：如果虛擬機發(fā)生了在線遷移，離開了原有主機，那么數(shù)據(jù)本地化是否失效了？通常來講，遷移后的虛擬機可能遭遇到以下 2 種情況：
情況 1：遷移后，兩個副本都不在本地，100% 遠程寫入（觸發(fā)概率 66.6%）；
情況 2：遷移后，虛擬機移動到對應(yīng)的副本位置，50% 遠程寫入（觸發(fā)概率 33.3%）；
從分析中可以看到，當虛擬機遷移后，發(fā)生 100% 遠程寫入的概率比較高。ZBS 針對這類場景提供了專門的 I/O 路徑優(yōu)化：當虛擬機遷移后，新寫入的數(shù)據(jù)將直接存放在本地新節(jié)點，并且會在 6 小時后，將虛擬機原有節(jié)點上對應(yīng)的數(shù)據(jù)副本移動到新節(jié)點，重新形成數(shù)據(jù)本地化，同時可以解決遷移后遠程讀的問題。
（2）讀 I/O 路徑
a. 正常狀態(tài)下的 I/O 路徑
虛擬機運行所在的主機總是擁有一份完整的副本，可以一直確保 100% 本地讀。
b. 數(shù)據(jù)恢復狀態(tài)下的 I/O 路徑
場景 1：虛擬機所在節(jié)點發(fā)生硬盤故障
I/O 訪問從本地快速切換到遠程節(jié)點維持正常業(yè)務(wù)的運行，同時觸發(fā)數(shù)據(jù)恢復，優(yōu)先在本地的可用空間進行恢復，并重新形成數(shù)據(jù)本地化。
場景 2：虛擬機遠程節(jié)點發(fā)生硬盤故障
I/O 讀取依然保持本地訪問，并同時觸發(fā)數(shù)據(jù)恢復。數(shù)據(jù)恢復的 I/O 流是從本地可用副本讀取，然后向遠程節(jié)點寫入恢復數(shù)據(jù)。
大家可能會意識到：在數(shù)據(jù)恢復過程中，唯一可用的副本需要同時響應(yīng)業(yè)務(wù)的正常 I/O 讀寫和數(shù)據(jù)恢復讀訪問，是否會給存儲系統(tǒng)造成較大的壓力？
ZBS 針對故障恢復場景也有專門的優(yōu)化方案：
- ZBS 的數(shù)據(jù)塊劃分相比 vSAN 更?。╲SAN object 大小為 255GB，ZBS extent 大小為 256MB），加上條帶化策略，使得虛擬機的數(shù)據(jù)更容易分散在多個硬盤，利用多個硬盤的讀取能力以及多個硬盤的寫入能力，有效提升數(shù)據(jù)恢復速度，避免單個硬盤性能成為瓶頸。
- 內(nèi)置彈性副本恢復策略：ZBS 支持自動感知當前業(yè)務(wù)壓力并根據(jù)壓力調(diào)整數(shù)據(jù)恢復速度。當節(jié)點 I/O 繁忙，恢復速度下降至最低水平；節(jié)點負載下降，系統(tǒng)會逐步提升恢復速度，以求平穩(wěn)、快速地恢復數(shù)據(jù)副本級別。
三、小結(jié)
根據(jù)上面的 I/O 路徑分析，我們匯總和對比 vSAN 與 ZBS 在不同狀態(tài)的 I/O 路徑情況，其中以 100% 本地訪問為最優(yōu)，50% 遠程訪問為次之，100% 遠程訪問為再次之。
從對比表格上看到，無論在正常還是數(shù)據(jù)恢復的狀態(tài)下，ZBS 的本地 I/O 訪問的概率都要比 vSAN 更高，理論上時延會更低；而 vSAN 在絕大部分情況下都會有遠程 I/O 發(fā)生，換言之，對網(wǎng)絡(luò)的占用要更高一些。在虛擬機發(fā)生在線遷移的場景下，ZBS 的本地 I/O 的概率有所下降，而 vSAN 的 I/O 路徑顯得要更好一些，隨著 ZBS 重新完成數(shù)據(jù)本地化，這種情況會有所改善（至少需要幾個小時）。
基于以上的分析，ZBS 在不頻繁發(fā)生虛擬機在線遷移（幾小時就發(fā)生一次遷移）的環(huán)境下具有明顯的優(yōu)勢，反之，vSAN 會有一定優(yōu)勢。而在實際生產(chǎn)環(huán)境下，頻繁的在線遷移并不常見。
1.I/O 路徑對于集群的其他影響
文章上面提到過，在超融合場景中，本地 I/O 發(fā)生概率越大，理論上存儲的性能也會更好。但同時也會有另外一種聲音：如果超融合的整體 I/O 性能是有富余的，那么是否就不需要考慮本地讀寫的優(yōu)勢呢？答案依然是否定的，因為更多的遠程 I/O，除了增加了時延，還額外占用了網(wǎng)絡(luò)資源。在集群正常狀態(tài)下，或許這些網(wǎng)絡(luò)的開銷未必會造成很大的壓力，但針對部分特定場景，這部分影響還是無法忽略的，如：
- 虛擬機高密度部署
當虛擬機發(fā)生遠程 I/O 的比例比較高的時候，虛擬機部署密度增大，遠程 I/O 的流量也會劇增，有可能最終無法滿足虛擬機的 SLA 要求。 - 數(shù)據(jù)平衡
當集群容量使用率較高時，系統(tǒng)一般會觸發(fā)數(shù)據(jù)平衡（執(zhí)行數(shù)據(jù)遷移），平衡過程中通常都會涉及主機之間的數(shù)據(jù)復制，這時候網(wǎng)絡(luò)帶寬的壓力會較大。此時，數(shù)據(jù)平衡和虛擬機的遠程 I/O 容易造成網(wǎng)絡(luò)資源爭搶的情況，使得數(shù)據(jù)平衡完成的時間延長，甚至帶來不必要的風險。 - 數(shù)據(jù)恢復數(shù)據(jù)恢復與數(shù)據(jù)平衡類似，需要依賴網(wǎng)絡(luò)完成數(shù)據(jù)復制，但通常情況下，數(shù)據(jù)恢復需要更多的網(wǎng)絡(luò)帶寬，對業(yè)務(wù)的影響更大。一旦出現(xiàn)資源爭搶的情況，將延長數(shù)據(jù)恢復時間，引入更大的風險。
最終，為了避免網(wǎng)絡(luò)資源爭搶的問題，用戶可能需要付出額外的成本（如切換至 25G 網(wǎng)絡(luò)），也許這并不是用戶所期望的。
2.寫在最后
超融合在選型和規(guī)劃上有許多值得關(guān)注的細節(jié)，充分了解和重視細節(jié)可以幫助用戶最大程度發(fā)揮超融合架構(gòu)的優(yōu)勢。后續(xù)我們將與讀者探討更多關(guān)于超融合基礎(chǔ)架構(gòu)的技術(shù)話題。
推薦閱讀：
VMware 與 SmartX 分布式存儲緩存機制淺析與性能對比