接下來一段時間,我會将我工作中已經落地的項目做一個分享,并最後分享中做了一些思索。保護甲方的一些信息資産,我會在項目中隐藏一些信息,但是對技術層面無所保留。
好了,幹貨開始了!
1.項目概況
1.1項目背景
本項目是江蘇某集團項目,該集團的目前業務系統衆多,都有自己獨立的系統架構,獨立硬件架構,各個廠商的設備都有,資源利用率不高,設備運行年限都超過5年以上,單節點故障存在,出現的問題可能性較大。
1.2項目需求
- 服務器需求
本項目采用2台E9000服務器,每台E9000服務器滿配置8個CH121 V3刀片。
每個刀片服務器配置
CPU:型号E5-2690 V3,規格為兩路12core,總計24物理内核
vCPU:通過超線程技術,并按找1:2分配比可将一個物理CPU内核分為4個vCPU,每台刀片共計96個vCPU
内存:6條32G内存,總計192G内存
- 存儲需求
存儲使用兩套6800 V3本地雙活,分别一個控制框配置,使用FC接口連接交換機與存儲設備。配置:SSD:600G*20 SAS:1.2TB*10 SATA:2T*10
- 業務需求
2.項目設計方案
2.1 總體方案設計
雲平台項目建設規模為2台E9000服務器,總共配置16個刀片提供計算資源。
項目使用6800 V3存儲,1個機頭帶3個硬盤框。
使用2個刀片管理集群獨立使用的計算資源。主要部署VRM、FM等管理虛拟機。
其餘14個刀片作為業務集群,運行用戶的業務虛拟機。
總體規劃方案:
網絡設計方案 :
管理集群部署方案:
集群組網:
IP地址規劃:
3.實施方案
實施步驟:
3.1 服務器配置
管理節點配置
配置兩台管理服務器,每台服務器布置一台VRM虛拟機和一台FM虛拟機服務器,配置如下:
分類
組件
CPU
内存
硬盤
備注
虛拟化軟件管理
VRM*2
12核
16G
300G
FusionCompute主備
FM*2
12核
16G
300G
FusionManager主備
計算服務器配置
E9000
管理VRM
2台
資源集群
14台
3.2存儲配置
兩台6800操作如下:
- lun與主機對應操作:
創建硬盤域-》創建存儲池-》創建LUN-》創建LUN 策略-》 創建LUN組-》創建主機-》創建主機組-》創建LUN組和主機組間的映射視圖
- 本地存儲雙活操作:
部署仲裁服務器:配置兩個不同網段固定IP地址,關閉防火牆,部署仲裁軟件
執行:
JS@king:~# qsadmin
start main!
Waiting for connecting to server..
通過add server ip添加上面不同網段固定IP地址與端口号
- 雙活設置
激活雙活License,增加遠端設備
創建仲裁服務器
創建雙活域
創建雙活Pair
創建雙活一緻性
1、 登錄DeviceManager。
2、 選擇“
數據保護 >
雙活 > 雙活 > 雙活一緻性組”。
1、 單擊“創建”。
2、 設置雙活一緻性組的名稱、描述及雙活域。
3、 單擊“下一步”。
4、 設置雙活一緻性組的屬性。
5、 單擊“下一步”。
6、 在“可選雙活Pair”中選擇需要添加至雙活一緻性組的Pair,并單擊
,将選中的雙活Pair添加至“已選雙活Pair”區域,并單擊“下一步”。
7、 在“信息彙總”頁面,确認創建的信息,并單擊“完成”。
8、 單擊“關閉”。
最後在主備存儲上點擊數據保護-》雙活-》創建雙活pair 即可完成
3.3光纖交換機配置:
兩台SNS2224 劃相應的zone即可
3.4軟件配置
軟件
版本号
位置
備注
FusionSphere
V100R005
- 虛拟化平台搭建
1、 主機安裝操作系統,登錄主機BMC系統。
2、 單擊“遠程控制”。
3、 在上方工具欄單擊
。
4、 在挂載鏡像區域框選中“鏡像文件”,單擊“浏覽”。
5、 選擇鏡像文件“FusionCompute V100R005C10SPC700_CNA.iso”,單擊“打開”。
6、 在挂載鏡像區域框單擊“連接”。
7、 在上方工具欄單擊
,選擇“重啟”,在彈出的對話框中單擊“是”。
8、 主機開始重啟時,重複按“F11”,直到進入啟動方式選擇界面,選擇從光盤啟動,如圖1所示。
進入安裝界面。
9、 在30秒内選擇“Install”,按“Enter”。
10、 選擇“Network”,再選擇管理網卡
11、 移動光标到“Manual address configuration”,按空格選中靜态IP地址方式
12、 手動配置eth0的IP地址和子網掩碼
13、 選擇“OK”,完成eth0信息的配置。
14、 在“Default Gateway”中輸入管理平面的網關
15、 選擇“OK”,完成網關的配置。
16、 選擇“Hostname”,删除已有信息,輸入新的主機名
17、 配置完成後選擇“OK”。
18、 選擇“Timezone”,進入時區選擇界面
19、 在時區選擇區域選擇當前所在時區。
20、 在“Date/Time”中輸入當前時刻,格式為“YYYY-MM-DD/HH:MM:SS”。
21、 選擇“OK”,完成時區信息的配置。
22、 配置主機root用戶的密碼
23、 選擇“OK”,完成主機root用戶密碼的設置。
24、 開始安裝主機
25、 安裝完成主機之後開始安裝vrm,通過FusionCompute V100R005C10SPC700_Tools.zip工具
26、 在本地計算機解壓FusionCompute V100R005C10SPC700_Tools.zip
27、 在“Installer”文件夾中運行“FusionComputeInstaller.exe”
28、 選擇語言,單擊“确定”。
29、 按規劃方案選擇VRM虛拟機的安裝場景。
30、 單擊“下一步”。進入“安裝組件”界面,自動安裝所需組件
31、 安裝組件成功後,單擊“下一步”。
32、 輸入主機的管理IP地址和主機root用戶的密碼。
33、 單擊“配置主機”。開始配置主機。
34、 配置主機成功後,單擊“下一步”。進入“選擇存儲類型”界面。
35、 選擇本地存儲,點擊下一步
36、 單擊“确定”開始添加主機存儲接口。
37、 單擊“下一步”。進入“配置存儲資源”
38、 選擇存儲資源(即物理存儲設備)的類型
39、 在“數據存儲”區域框選擇VRM虛拟機磁盤使用的數據存儲,單擊“下一步”。
40、 配置vrm虛拟機,在“模闆文件”後單擊“浏覽”,在彈出的對話框中選擇解壓得到的“FusionCompute_V100R005C10SPC700_VRM.ovf”文件
41、 在“網絡配置”區域框配置VRM虛拟機的管理平面IP地址。
42、 如需指定VRM所使用的管理平面VLAN,則在“VLAN”區域勾選“配置管理VLAN”,并設置“VLAN ID”。如無需指定管理平面VLAN,即使用VLAN 0作為管理平面,則無需進行配置。
43、 設置VRM虛拟機的規格。
44、 單擊“校驗配置信息”。
45、 根據操作場景選擇對應操作。
46、 單擊“下一步”,開始配置備VRM節點信息。
47、 單擊“下一步”,進入“配置主備參數”界面
設置以下參數:
主節點名稱
備節點名稱:VRM主備節點名稱不能沖突。
浮動IP:規劃的VRM節點浮動IP地址,使用與VRM主備節點管理IP地址同網段的空閑IP地址。
子網掩碼
仲裁IP01:建議設置為管理平面網關。
仲裁IP02、仲裁IP03:可選參數。建議設置為與管理平面互通的全局服務器的IP地址,如AD域服務器、DNS服務器。
48、 單擊“下一步”。進入權限管理模式配置界面。
49、 選擇需要使用的權限管理模式。
50、 單擊“下一步”,開始創建VRM虛拟機。
51、 單擊“完成”,關閉FusionCompute安裝向導。
為保證系統安全,系統不支持直接使用“root”用戶通過ssh協議登錄VRM節點。可使用“gandalf”用戶通過ssh協議登錄。如果執行的操作需要使用“root”權限,可切換到“root”用戶。
VRM虛拟機的“root”用戶默認密碼為“Huawei@CLOUD8!”,“gandalf”用戶的默認密碼為“Huawei@CLOUD8”。
52、 請及時修改默認密碼。
1.1.2 虛拟化平台初始化配置
1、 加載license
A、 登錄FusionCompute
B、 在FusionCompute中選擇“系統管理 > 系統配置 > License管理”。
C、 進入“License管理”頁面。單擊“加載License”
D、 選擇“獨立License”
E、 單擊“獲取ESN号碼”
F、 使用記錄的ESN号碼,申請License文件。
G、 在“上傳路徑”後單擊“浏覽”
H、 選擇已準備的License文件,單擊“确定”
I、 單擊“确定”,完成加載全新的License,任務結束。
2、 在站點中創建集群
A、在FusionCompute中,選擇“計算池”
B、 在左側導航樹上右鍵單擊“站點名稱”,選擇“創建集群”
C、 設置集群的名稱和描述。
D、單擊下一步,進入“基本配置”頁面
E、 選擇你所需要設置的特性
F、 單擊确定,完成創建集群操作
3、 向集群中添加主機
A、在FusionCompute中,選擇“計算池”。
B、 在左側導航樹中展開“站點名稱”,右鍵單擊待添加主機的集群,選擇“添加主機”
C、 輸入添加主機的各項參數
D、單擊确定,完成主機的添加
4、 綁定網口
登錄FC界面,選擇計算池,左側選擇主機,點擊配置,綁定網口
5、 添加存儲資源
6、 掃描存儲設備
7、 添加數據存儲
8、 創建分布式交換機
A、在FusionCompute中選擇“網絡池”
B、 單擊“創建分布式交換機”
C、 根據網絡實際規劃設置分布式交換機參數
D、是否勾選“添加上行鍊路”或“添加VLAN池”?
E、 單擊“确定”添加上行鍊路
F、 是否添加VLAN池
G、單擊“添加”
H、輸入VLAN池的參數
I、 單擊确定,完成創建分布式交換機
9、 創建端口組
A、在“網絡池”頁面左側導航樹中展開“網絡池”,右鍵單擊已創建的分布式交換機,選擇“創建端口組”
B、 根據網絡實際規劃設置端口組參數。
C、 單擊下一步,進入“網絡連接”頁面
D、根據所選的端口類型,執行相應的操作
E、 在“VLAN”輸入框中填寫端口組允許通過的VLAN範圍
F、 選擇連接方式,管理平面的端口組需設置為VLAN方式
G、在“連接方式”後選擇“VLAN”
H、輸入規劃的端口組VLAN ID
I、 單擊下一步,進入“信息核對”頁面
J、 确認信息正确後,單擊“創建”
K、繼續創建業務端口組
1.2 FusionManager搭建
1、 登錄FusionCompute。
2、 選擇“虛拟機和模闆”。進入“虛拟機和模闆入門”頁面。
3、 單擊“導入虛拟機”。進入“導入虛拟機”頁面,如圖所示。
4、 選擇模闆來源。從本地導入,單擊“下一步”。
5、 單擊“浏覽”,在彈出的對話框中選擇模闆文件“FusionManager_V100R005C10SPC700_SV.ovf”。
6、 單擊“下一步”。進入“虛拟機設置”界面,如圖所示。
7、 在創建位置中選擇“主機”,将虛拟機創建在管理集群的主機上。選擇不同主機創建用于安裝主、備VSAM節點的虛拟機。
8、 勾選“與所選主機綁定”并選擇“始終為虛拟機預留資源”。
9、 将FusionManager虛拟機網卡設置到管理平面分布式交換機和端口組。
10、 設置磁盤的數據存儲和配置模式。推薦使用非虛拟化的本地硬盤和非虛拟化的SAN存儲。優先使用非虛拟化的本地硬盤。磁盤的配置模式選擇“普通”或“普通延遲置零”。并選擇“持久”。
11、 單擊“下一步”。進入“虛拟機屬性規格”頁面,如圖所示。
12、 輸入主節點虛拟機的名稱及描述信息。
13、 在“硬件”區域框,根據系統中虛拟機規模,修改FusionManager虛拟機的規格。
14、 保持其他選項為默認值,單擊“下一步”。
15、 單擊“創建”。開始創建虛拟機。可在“任務中心”頁面查看創建進度。創建過程大約耗時40分鐘。
16、 創建成功後,在左側選擇“虛拟機”,在FusionManager的虛拟機所在行,單擊“VNC登錄”,以“galaxmanager”用戶登錄FusionManager。默認密碼:Huawei@CLOUD8。
17、 執行以下命令,切換到“root”帳戶。
su - root
root帳戶默認密碼為Huawei@CLOUD8!。
18、 執行以下命令,設置FusionManager節點類型。
19、 configNodetype Local
回顯如下信息,表示執行成功。
Install FusionManager successfully.
可以通過命令InstallState查看命令執行狀态。
20、 如果是主備部署,重複執行以上步驟,創建FusionManager備節點虛拟機。
21、 初始配置FusionManage
A、 登錄主節點
B、在第一個數據中心的FusionCompute中,使用VNC登錄方式,以“galaxmanager”用戶登錄FusionManager主節點。默認密碼:Huawei@CLOUD8。
C、 執行以下命令,進入配置向導開始界面。fmconfig
D、 選擇“OK”。
E、 選擇“Next”。進入選擇主備模式界面。
F、 根據需要選擇單節點部署或主備部署。
G、選擇“Next”。進入配置界面。
H、 配置FusionManager的信息。主備部署需要配置的信息分别如下所示 :
主備部署:
Node Name:FusionManager節點名稱。
Local IP:管理IP地址。
Local Mask:管理節點子網掩碼。
Local Gateway:管理平面網關
Float IP:管理節點浮動IP地址
Remote Node Name:對端FusionManager節點名稱。
Remote IP:對端FusionManager節點管理IP地址。
HA arbitration IP:HA仲裁IP地址(使用管理平面網關IP地址)。
I、配置完成後,選擇“Next”。進入确認配置信息界面。
J、确認配置信息無誤,選擇“Next”。開始配置。待進度條顯示100%,回顯顯示“success”時表示配置成功。
K、 FusionManager是為主備部署,根據以上的步驟完成備節點的配置
22、 加載license
A、 登錄FusionManager。具體操作請參見“FusionManager登錄和注銷”。首次登錄時默認用戶名為“admin”,默認密碼為“Huawei@CLOUD8!”。首次登錄會強制修改密碼。
B、 在FusionManager中,選擇“系統 > 系統配置 > License管理”。
C、 使用記錄的ESN号碼,申請License文件。
D、 單擊
。
E、 選擇申請的License文件,單擊“上傳”。
F、 單擊“确定”。
23、 配置時間同步和時區
A、 在FusionManager管理員視圖中,選擇“系統 > 系統配置 > 時間管理”。
B、 在頁面下方“時區”區域框查看時區信息是否與當地時區一緻?
C、 設置時區信息。
D、 單擊“保存”。
其他操作安裝 以及應用部署就不詳細說。
至此一個私有雲建設完成。
雲無止境的建議:對于是否用刀片服務器來跑自己單位業務,取決于你們單位對資源需求,如果單位的需求不大,需要資源其實并不是很大,建議考慮機架式服務器,刀片服務器最好能達到滿配才能發揮他的價值。也建議需要建立私有雲的單位要做到全架構冗餘的基本要求,還有信息安全方面要求。華為的雲技術也很成熟了,大家可以放心去使用
,