Q：EDSFF中E1.S、E1.L、E3都是怎麼劃分定位的？

Q：EDSFF的發展與PCIe規範演進之間的關系是？

Q：為什麼服務器廠商還在用U.2SSD，這背後的始作俑者是？

Q：如果EDSFF設備不隻有SSD，還能支持啥？

這兩天看到一份很不錯的技術資料，上面那幾條都有答案，趕緊寫點東西分享給大家。

關于下一代數據中心SSD規格形态，無論E1.S、E1.L還是E3（EDSFF 3英寸），我以前都曾讨論過：

《EDSFF 3英寸企業級SSD會成為下一代标準嗎？》

《下一代數據中心SSD形态之争：調查報告篇》

《下一代數據中心SSD形态之争：來自Azure架構師的觀點》

今天要給大家分享的内容，基本上可以把EDSFF比較全面、系統地呈現了。我的參考資料來自OCP（Open Compute Project）的一場Webinar，下面可以看到其演講陣容的強大：

其中Hyperscale超大規模數據中心用戶和（服務器）OEM廠商，包括：微軟、Facebook、HPE、Dell和聯想；SSD存儲廠商包括：Intel、Kioxia（前東芝）、WD、三星、Micron、SK hynix等。

與其說SNIA（存儲網絡工業協會）是EDSFF的規範制定者，不如說是Intel一直在背後推動。看看下圖的配色風格吧：）

Intel分享：EDSFF Overview

點擊圖片可放大，以下同

根據這個時間軸，E1.S（SFF-TA-1006）、E1.L（SFF-TA-1007）和E3（SFF-TA-1008）早在2018年Q1就發布了1.0規範，3年後的今天，也到了該成熟和大規模應用的時候了。

對于上述3類新的數據中心NVMe SSD尺寸和标準，E1.S定位是可擴展和靈活的性能型存儲，E1.L針對高容量存儲（如：QLC），E3則是用于2U服務器/存儲中的高性能SSD。

可能有的朋友會問，OEM大廠的服務器新品中有些還清一色沿用U.2，比如Dell PowerEdge 15G。從上面這個“Intel推薦平台設計指導”不難找到答案。

在PCIe 4.0階段之所以OEM仍青睐U.2，主要就是機箱的驅動器槽位、連接器部分能夠與2.5英寸SATA、SAS乃至HDD機械盤通用。Hyperscale大型互聯網和雲服務提供商相對沒有這個包袱，針對應用劃分出的全閃存服務器機型可以更早試水E1.S。

而最終過渡到PCIe5.0的時候，U.2和M.2應該是電氣上達不到要求了。到時2U服務器可能會普遍采用E3.S；用于服務器擴展的存儲/JBOF使用E1.L；企業級存儲陣列用E3.S和E3.L都能實現雙端口。

PCIe Gen4和Gen5作為SSD接口的普及速度可能不算快，畢竟Gen3 x4對于許多應用來說也不慢了。上圖右側應該是數據中心SSD的出貨Unit數量，M.2的占比似乎偏大？不過可以看出從2022年往後U.2/U.3的占比開始下降，E1.S和E1.L逐漸成為主流，而E.3還會晚一些。

上圖是E1.L的應用場景，這個我想已經不用太多介紹，9.5mm厚度的E1.L SSD在1U标準機箱中可以放32個。

E1.S SSD的功耗和散熱選項。上面這個圖表，其實去掉那幾張SSD圖片我在去年就給大家列出過，這裡也不想再細講了。

E1.S針對1U（存儲）性能擴展型服務器優化。對比當前機箱前部10個U.2熱插拔NVMe SSD的Baseline設計，32個E1.S 9.5mm或者24個E1.S 15mm的密度提升顯而易見。

如上圖右側紅圈：EDSFF E3的連接器具備從PCIex4擴展到x8或者x16的空間

EDSFF E3 SSD如果按照上圖中的放置方向，其高度都是76mm，E3.S和E3.L的深度分别為112.75mm、142.2mm，而寬度（厚度）都有标準（7.5mm）和2x（16.8mm）兩種。4款規格的功耗覆蓋了20-25W到70W的範圍。目标用途如下：

- E3.S：為NANDSSD主存儲服務器優化；

- E3.S, 2x：支持高功耗設備，如基于SCM的CXL（未來的Optane SSD，其實叫持久化内存盤更合适）；

- E3.L：支持高容量NAND存儲；

- E3.L, 2x：支持像FPGA和加速器那樣的高功耗設備（PCIe卡前置）。

注：關于在PCIe底層上面跑CXL等不同協議，我打算在下一篇中再跟大家讨論。

傳統2U服務器，前置U.2 SSD數量最多24個，換成E3.S, 2x/Thick（厚盤）之後可以放23個；而E3.S/Thin（薄盤）則最多可以做到46個熱插拔位。

E3 SSD在1U機箱中需要橫過來放，16.8mm的厚盤可以放10個（與U.2數量相同），7.5mm薄盤則可以放20個。

注：Intel分享的内容就先講這麼多，下面将按照廠商在Webinar資料中的出現順序來寫，當然我會挑重點的東西。

HPE分享：E3.S ENABLES NEXT-GEN DEVICES AND OPEN NVME SSD SPECS

根據HP在這裡的原型機和介紹，E3.S 2U設計可以和已有的2.5英寸驅動器共享機箱——即混用SAS/SATA/NVMe（注意背闆的連接器不通用），同時還能夠：

- 切換2個E3 thins薄盤為1個E3.S 2T（thick）厚盤；

- 混用NVMe和CXL設備；

- 共享倉位提升靈活性和降低成本。

E3.S可以支持較大的FPGA和SoC（不過前文中隻有E3.LThick才有70W功耗），未來的設備類型如：NIC網卡、TPU/GPU、ComputerStorage計算型存儲設備。

還有一點，就是E3.S的空氣流動和散熱比2.5寸驅動器更好，這樣可以支持較高性能/TDP的設備。

同樣是PCIe x4，E3設備的連接器尺寸比SFF-8639（同時還要提供向下兼容的2個SAS/SATA端口）明顯小了許多，這樣可以把背闆做的更小——降低散熱的流阻。

更好的散熱，使E3.S雙倍厚度支持到40W，從而适配PCIe Gen5和未來的Gen6性能。

Dell EMC分享：EDSFF E3 Form Facror，不隻是SSD

記得我在《1U雙路風冷350W？點評方升服務器散熱設計》中讨論過流阻對服務器中後部CPU等組件的影響。上圖就是一種設計參考，比如在1U機箱配置E3.S/E3.L SSD時空出中間一列用于空氣流動，還能保持16個SSD的密度。

在SCM（存儲級内存）配置中，2個E3薄盤位置可以替換成1個E3 FH 2x厚盤，除了支持SCM之外還可以是I/O設備（我看了第一反應就是OCP網卡，稍後會講到）。

2U E3機箱的情況類似，如果覺得放40個E3.S或者E3.L SSD對服務器進風流阻影響大，可以考慮空出中間，兩邊各保留16個仍有32盤的密度。SCM配置與前面的1U機箱同理。

如上圖，我理解這裡應該是把E3（2T厚度）的連接器部分增加19.54mm（4C ），就能允許使用OCP3網卡了，也可以支持未來的高功耗設備。

我在《下一代Xeon服務器：Ice Lake-SP通用雲平台設計預覽》介紹過“2種中闆、（前置）OCP網卡/U.2/EDSSF SSD靈活設計”。期待未來将網卡等統一到EDSFF E3，那時服務器設計将更通用模塊化。

Samsung、Micron、SK hynix和FADU的PCIe Gen5 SSD

根據三星的介紹，其PM1743 PCIe Gen5 SSD将采用E3.S 1T尺寸，預計2022年Q2上市。

在美光的介紹中，M.2在數據中心的占比沒有前文裡那麼高（這個統計應該是PB容量）。正如E1/E3在2022年之後逐漸替代U.2/U.3/2.5的趨勢那樣，“行業不能維持11種Form Factor，近期的焦點在E1.S，而長期還會有E1.L支持大容量、E3伴随PCIe Gen5增長。”

擴展閱讀：《OCP曝光NVMe/SAS RAID卡、U.3混合背闆》

SK hynix也提到了下一代E3.xPCIe Gen5 SSD，不過我覺得随着對IntelSSD的收購，海力士自己原有的數據中心産品線存在不确定性。

FADU這個品牌我還不太熟，這裡他們給出了Gen5 x4 NVMe數據中心SSD（7% OP）的性能指标：順序讀14,x00MB/s、順序寫12,000 MB/s、随機讀3,500 KIOPS（350萬）、随機寫410 KIOPS（41萬）。

更多資料

未來EDSFF規格的設備将不隻是SSD

EDSFF規範的文檔大家可以從SNIA網站下載。最後還是老規矩，我把這份OCP的參考資料也共享出來：

鍊接：（點擊文末）

提取碼：k2x4

注：本文隻代表作者個人觀點，與任何組織機構無關，如有錯誤和不足之處歡迎在留言中批評指正。進一步交流技術，可以加我的QQ/490834312。如果您想在這個公衆号上分享自己的技術幹貨，也歡迎聯系我：）

尊重知識，轉載時請保留全文。感謝您的閱讀和支持！