戰(zhàn)：ONTAP集群初始化與存儲(chǔ)配置全解析)
簡(jiǎn)介存儲(chǔ)系統(tǒng)是數(shù)據(jù)中心基礎(chǔ)設(shè)施的核心NetApp FAS系列作為企業(yè)級(jí)統(tǒng)一存儲(chǔ)其核心操作系統(tǒng)ONTAP提供了高可用集群、靈活的資源抽象和豐富的數(shù)據(jù)管理功能。理解聚合Aggregate、存儲(chǔ)虛擬機(jī)SVM、邏輯接口LIF等概念是管理和維護(hù)現(xiàn)代存儲(chǔ)環(huán)境的必備技能。iSCSI與NFS等協(xié)議廣泛應(yīng)用于虛擬化和數(shù)據(jù)庫(kù)場(chǎng)景而多路徑配置則保障了業(yè)務(wù)連續(xù)性。本文基于一次真實(shí)的FAS8200部署經(jīng)歷從硬件檢查、網(wǎng)絡(luò)規(guī)劃到集群初始化、存儲(chǔ)配置與主機(jī)接入系統(tǒng)梳理了部署過(guò)程中的關(guān)鍵命令與常見陷阱為存儲(chǔ)管理員和運(yùn)維人員提供一份可落地的實(shí)踐參考。 接到NetApp FAS8200的部署任務(wù)很多人一開始覺(jué)得這就是一臺(tái)大一點(diǎn)的服務(wù)器連上網(wǎng)線、裝個(gè)系統(tǒng)、再建幾個(gè)共享目錄就完事了。真上手之后才發(fā)現(xiàn)雙控HA架構(gòu)、集群初始化、SVM、聚合、Volume、LIF、多路徑這一套組合拳打下來(lái)如果前面的規(guī)劃和初始化沒(méi)做對(duì)后面返工的成本比重新部署一次還高。這篇文章我不打算寫官方手冊(cè)那種一步步截圖式的教程而是把一次真實(shí)的FAS8200從零部署過(guò)程包括每一步命令背后的思考、網(wǎng)絡(luò)規(guī)劃時(shí)容易忽略的點(diǎn)以及幾個(gè)讓我印象深刻的坑完整盤出來(lái)。適合剛接觸ONTAP的存儲(chǔ)管理員、要寫方案的售前、以及正在備考NetApp認(rèn)證的朋友看完基本能少走一圈彎路。1. 開工前的設(shè)備盤點(diǎn)與網(wǎng)絡(luò)規(guī)劃1.1 先確認(rèn)硬件狀態(tài)序列號(hào)、盤位、控制器A/B設(shè)備到手之后別急著往機(jī)柜里塞。先把FAS8200的硬件狀態(tài)摸清楚機(jī)身前面板型號(hào)標(biāo)簽、控制器A和控制器B的位置、當(dāng)前磁盤槽位里插了幾塊盤、盤的類型是SSD還是NL-SAS、每個(gè)盤槽的盤位編號(hào)是否連續(xù)。NetApp的盤位編號(hào)是有講究的后面做聚合的時(shí)候系統(tǒng)會(huì)根據(jù)盤位和控制器歸屬來(lái)分配磁盤所有權(quán)如果之前有盤被拔過(guò)盤位記錄可能和實(shí)際不符聚合一創(chuàng)建就報(bào)錯(cuò)。我習(xí)慣把每塊盤的位置、容量、型號(hào)做成一張簡(jiǎn)單表格再和storage disk show的輸出做一次核對(duì)。FAS8200出廠時(shí)一般會(huì)預(yù)裝ONTAP系統(tǒng)但系統(tǒng)版本、License狀態(tài)、是否已經(jīng)形成集群每個(gè)批次都不一樣。用串口線接入控制臺(tái)查看引導(dǎo)日志確認(rèn)有沒(méi)有報(bào)磁盤錯(cuò)誤或者節(jié)點(diǎn)未配對(duì)的問(wèn)題。這一步做好后面初始化才不會(huì)被“意外驚喜”打斷。另外序列號(hào)要拍照存檔。激活License、申請(qǐng)?jiān)瓘S支持、后續(xù)換硬件都會(huì)用到。FAS8200的序列號(hào)一般在機(jī)身側(cè)面標(biāo)簽和控制器模塊上都有控制臺(tái)里也能通過(guò)system node show -fields serial-number查到兩個(gè)來(lái)源都記一下防止貼紙磨損。1.2 IP與VLAN規(guī)劃管理、業(yè)務(wù)、集群互聯(lián)分開FAS8200是一個(gè)雙控統(tǒng)一存儲(chǔ)不是一臺(tái)普通NAS。它同一條物理鏈路上要跑管理流量、業(yè)務(wù)協(xié)議流量NFS/CIFS/iSCSI/FC、集群內(nèi)部通信流量這三類流量如果混在一個(gè)網(wǎng)段里排查問(wèn)題的時(shí)候會(huì)非常痛苦。我部署過(guò)的一個(gè)環(huán)境上一任把管理網(wǎng)和業(yè)務(wù)網(wǎng)放在同一個(gè)VLAN存儲(chǔ)告警一多管理頁(yè)面直接卡死原因就是業(yè)務(wù)流量把管理通道擠爆了。建議至少劃分三個(gè)網(wǎng)絡(luò)平面管理平面集群管理IPCluster Management LIF、Node A管理IP、Node B管理IP走e0M或獨(dú)立管理口一般是千兆網(wǎng)關(guān)可達(dá)即可。業(yè)務(wù)平面SVM的數(shù)據(jù)LIF走板載萬(wàn)兆口或擴(kuò)展網(wǎng)卡承載NFS/CIFS/iSCSI流量要VLAN隔離、聚合帶寬規(guī)劃。集群互聯(lián)平面兩個(gè)控制器之間的Interconnect鏈路一般用出廠專用端口不要和業(yè)務(wù)口混插。給每個(gè)IP寫清楚用途格式大概是這樣的用途IP地址掩碼/網(wǎng)關(guān)所屬節(jié)點(diǎn)/端口Cluster管理192.168.10.10255.255.255.0 / 192.168.10.1雙控共享Node A管理192.168.10.11同上Controller A - e0MNode B管理192.168.10.12同上Controller B - e0MSVM數(shù)據(jù)LIF110.0.20.10255.255.255.0 / 10.0.20.1Node A - e0cSVM數(shù)據(jù)LIF210.0.20.11255.255.255.0 / 10.0.20.1Node B - e0cIP地址段千萬(wàn)別靠記憶寫進(jìn)部署文檔里后續(xù)每建一個(gè)LIF、每加一個(gè)主機(jī)訪問(wèn)關(guān)系都要回來(lái)看這張表。1.3 部署工具鏈準(zhǔn)備串口、管理終端、測(cè)試虛擬機(jī)FAS8200出廠狀態(tài)沒(méi)有配置任何管理IP必須用串口線接到控制臺(tái)做初始化。我一般用USB轉(zhuǎn)RJ45的串口線配合SecureCRT或者M(jìn)obaXterm波特率115200數(shù)據(jù)位8停止位1無(wú)校驗(yàn)。虛擬機(jī)軟件里串口轉(zhuǎn)發(fā)偶爾會(huì)丟字符物理機(jī)直插更穩(wěn)。管理終端我習(xí)慣準(zhǔn)備一臺(tái)Linux虛擬機(jī)。如果手頭沒(méi)有現(xiàn)成的物理服務(wù)器直接用VirtualBox開一臺(tái)Ubuntu Server或者CentOS Stream裝的時(shí)候把雙網(wǎng)卡配好——一張NAT用來(lái)出網(wǎng)一張Host-Only用來(lái)模擬內(nèi)網(wǎng)訪問(wèn)存儲(chǔ)。主機(jī)側(cè)裝好open-iscsi、nfs-utils、multipath-tools后面測(cè)試主機(jī)接入、掛載NFS、驗(yàn)證iSCSI多路徑全在這臺(tái)虛擬機(jī)上完成。VirtualBox的性能和真實(shí)物理鏈路差得遠(yuǎn)但做連通性、權(quán)限、流程驗(yàn)證是足夠的這一點(diǎn)后面專門說(shuō)。2. 集群初始化與節(jié)點(diǎn)加入實(shí)戰(zhàn)2.1 串口接入與初始健康檢查接好串口線FAS8200上電控制臺(tái)輸出啟動(dòng)日志。系統(tǒng)引導(dǎo)完成后會(huì)停在ONTAP的命令行環(huán)境。我做的第一件事永遠(yuǎn)是健康檢查在本地節(jié)點(diǎn)上執(zhí)行system node run -node local sysconfig -v這條命令會(huì)把控制器型號(hào)、系統(tǒng)版本、內(nèi)存大小、板載網(wǎng)卡和FC卡信息、磁盤列表全部打出來(lái)。重點(diǎn)看兩個(gè)東西一是系統(tǒng)版本和后續(xù)License要求是否匹配二是磁盤狀態(tài)是不是全部顯示Present或Spare如果出現(xiàn)Failed或者Foreign先處理盤再繼續(xù)不然聚合配置到一半會(huì)卡住。健康檢查沒(méi)問(wèn)題后還要看一下兩個(gè)控制器的時(shí)間是否一致。ONTAP集群要求節(jié)點(diǎn)時(shí)間基本同步時(shí)差過(guò)大時(shí)創(chuàng)建聚合、Snapshot、SnapMirror都會(huì)出現(xiàn)奇怪問(wèn)題。我習(xí)慣在初始化階段就把NTP配上system ntp server create -address ntp.xxx.com system ntp status show2.2 用cluster create創(chuàng)建集群并加入第二個(gè)節(jié)點(diǎn)集群創(chuàng)建是整個(gè)部署里最關(guān)鍵的一步。ONTAP 9.x在出廠未初始化狀態(tài)下直接在第一個(gè)節(jié)點(diǎn)上執(zhí)行cluster create命令一次性把集群名、管理員賬號(hào)、管理子網(wǎng)都配好cluster create -cluster-name fas8200-cluster \ -admin-user admin \ -admin-password YourPassword!2024 \ -management-gateway 192.168.10.1 \ -management-subnet 192.168.10.0/24management-subnet非常關(guān)鍵系統(tǒng)會(huì)根據(jù)這個(gè)網(wǎng)段自動(dòng)為集群管理IP、節(jié)點(diǎn)管理IP分配地址。如果填錯(cuò)后面只能靠串口重新改。執(zhí)行完成后cluster show可以看到第一個(gè)節(jié)點(diǎn)已經(jīng)處于集群模式同時(shí)系統(tǒng)會(huì)生成一個(gè)用于第二個(gè)節(jié)點(diǎn)加入的密碼。第二個(gè)節(jié)點(diǎn)的加入方式把串口線切到Controller B上電引導(dǎo)進(jìn)入初始化流程后選擇“Join an existing cluster”輸入第一個(gè)節(jié)點(diǎn)的集群管理IP和管理員賬號(hào)密碼。如果錯(cuò)過(guò)了初始化向?qū)б部梢栽诘谝粋€(gè)節(jié)點(diǎn)的命令行里執(zhí)行集群添加命令把Controller B的管理IP和密碼填進(jìn)去系統(tǒng)會(huì)自動(dòng)完成兩個(gè)節(jié)點(diǎn)間的集群網(wǎng)絡(luò)協(xié)商。任何一步失敗先回到cluster show看集群狀態(tài)而不是反復(fù)重啟。2.3 License與版本先激活還是先升級(jí)集群創(chuàng)建完成不代表License已經(jīng)生效。FAS8200出廠時(shí)通常只帶基礎(chǔ)版本的許可NFS、CIFS、FlexClone、SnapMirror這些高級(jí)功能都需要單獨(dú)激活。在集群管理命令行執(zhí)行system license add -license-code AAAAA-BBBBB-CCCCC-DDDDD system license show這里有一個(gè)經(jīng)驗(yàn)如果設(shè)備出廠的ONTAP版本老而站點(diǎn)里有明確的版本基線要求我的習(xí)慣是先升級(jí)ONTAP再激活License、再創(chuàng)建業(yè)務(wù)配置。原因是版本升級(jí)過(guò)程中可能會(huì)重啟節(jié)點(diǎn)如果業(yè)務(wù)LIF、SVM、聚合都已經(jīng)建好重啟的影響面會(huì)變大。先在最干凈的狀態(tài)下升級(jí)升級(jí)完再激活License再做存儲(chǔ)配置整個(gè)流程最穩(wěn)。3. 存儲(chǔ)配置三件套聚合、SVM、Volume與LUN3.1 聚合創(chuàng)建RAID級(jí)別與磁盤選型的實(shí)際考量聚合Aggregate是FAS8200里所有Volume的物理承載層理解成一塊大的磁盤池就行。聚合用什么RAID級(jí)別、放幾塊盤、留不留熱備盤直接決定后續(xù)所有業(yè)務(wù)的性能和可用性。創(chuàng)建前先用storage disk show看一下磁盤類型的分配情況例如全部是SSD或者SSDNL-SAS混插。然后創(chuàng)建聚合storage aggregate create \ -aggregate aggr_sas_node01 \ -node node01 \ -disktype SSD \ -disk-size 960GB \ -raidtype raid_dp \ -disk-count 12RAID-DP是NetApp默認(rèn)推薦相當(dāng)于雙奇偶校驗(yàn)允許同一個(gè)RAID組里同時(shí)壞兩塊盤不丟數(shù)據(jù)。12塊960GB SSD扣除校驗(yàn)盤后實(shí)際可用空間大概在9TB左右。機(jī)械盤的話我一般建議單聚合盤數(shù)不少于8塊、不多于20塊盤數(shù)太少校驗(yàn)開銷占比高盤數(shù)太多重建時(shí)間長(zhǎng)。RAID-TEC適合大容量盤和極大數(shù)據(jù)安全需求的場(chǎng)景但FAS8200這類中端設(shè)備在普通業(yè)務(wù)場(chǎng)景下用RAID-DP就夠了沒(méi)必要犧牲性能上更強(qiáng)的校驗(yàn)。另一個(gè)必須提前定的是熱備盤。聚合創(chuàng)建不會(huì)消耗所有空閑盤默認(rèn)會(huì)預(yù)留一部分盤作為備用盤。我的習(xí)慣是每個(gè)節(jié)點(diǎn)在完成聚合規(guī)劃后至少保留1到2塊同類型盤作spare這樣任何一塊盤故障時(shí)系統(tǒng)可以立即啟動(dòng)重建而不是干等人工插盤。3.2 SVM與協(xié)議服務(wù)NFS/iSCSI共享的入口聚合是底層資源池業(yè)務(wù)真正訪問(wèn)的是SVMStorage Virtual Machine可以理解成一個(gè)虛擬化的存儲(chǔ)服務(wù)實(shí)例。一個(gè)SVM內(nèi)可以同時(shí)提供NFS、CIFS、iSCSI也可以用不同SVM來(lái)隔離不同部門的數(shù)據(jù)訪問(wèn)。創(chuàng)建SVM時(shí)系統(tǒng)會(huì)要求指定root volume所在的聚合。root volume不存放業(yè)務(wù)數(shù)據(jù)但要有足夠空間裝SVM的元數(shù)據(jù)vserver create \ -vserver svm_nfs_prod \ -rootvolume vol0_root \ -rootvolume-security-style unix \ -aggregate aggr_sas_node01 \ -rootvolume-aggregate aggr_sas_node01SVM創(chuàng)建后第一步是創(chuàng)建數(shù)據(jù)LIF也就是給SVM一個(gè)對(duì)外服務(wù)的IP。數(shù)據(jù)LIF要綁定到某個(gè)節(jié)點(diǎn)的物理端口還要指定對(duì)應(yīng)的VLAN。比如在Node A的e0c端口上建一個(gè)屬于VLAN100的數(shù)據(jù)LIFnetwork interface create \ -vserver svm_nfs_prod \ -lif data1 \ -role data \ -data-protocol nfs,cifs,iscsi \ -home-node node01 \ -home-port e0c \ -address 10.0.20.10 \ -netmask 255.255.255.0 \ -firewall-policy data一個(gè)SVM至少要建兩個(gè)數(shù)據(jù)LIF分別落在兩個(gè)控制器上主機(jī)側(cè)做多路徑或者DNS輪詢時(shí)才能實(shí)現(xiàn)故障切換。只建一個(gè)LIF節(jié)點(diǎn)故障時(shí)業(yè)務(wù)雖能通過(guò)LIF遷移恢復(fù)但切換期間會(huì)中斷體驗(yàn)遠(yuǎn)不如雙LIF同時(shí)在線好。協(xié)議服務(wù)開啟例如NFS以SVM為維度啟用vserver nfs create -vserver svm_nfs_prod -v3 enabled -v4.0 enabled -v4.1 enabled -v4.2 enabledCIFS、iSCSI也是類似的命令。很多人在這里忽略了一個(gè)細(xì)節(jié)NFS雖然啟用了但沒(méi)配導(dǎo)出策略掛載時(shí)依然會(huì)報(bào)Permission denied。導(dǎo)出策略相當(dāng)于存儲(chǔ)側(cè)的訪問(wèn)控制列表規(guī)則沒(méi)建好后面主機(jī)側(cè)再怎么折騰也是白搭。3.3 Volume與LUN空間規(guī)劃、協(xié)議映射、權(quán)限控制SVM提供的是服務(wù)入口真正的數(shù)據(jù)空間在Volume。創(chuàng)建Volume時(shí)指定SVM、聚合、大小、掛載點(diǎn)即可volume create \ -vserver svm_nfs_prod \ -volume share01 \ -aggregate aggr_sas_node01 \ -size 2TB \ -junction-path /share01 \ -space-reserve disabledspace-reserve是精簡(jiǎn)配置的開關(guān)disabled表示用戶寫多少占多少適合絕大多數(shù)業(yè)務(wù)。數(shù)據(jù)庫(kù)、虛擬化核心存儲(chǔ)這類對(duì)性能抖動(dòng)敏感的場(chǎng)景我會(huì)用enabled厚配置提前鎖定空間避免后期磁盤空間被其他Volume搶占。如果走iSCSI協(xié)議就要在Volume上創(chuàng)建LUN。LUN創(chuàng)建本身不復(fù)雜難點(diǎn)在于映射lun create \ -vserver svm_nfs_prod \ -volume share01 \ -lun lun_db01 \ -size 500GB \ -ostype linux \ -space-reserve disabled創(chuàng)建完LUN主機(jī)側(cè)還是看不到的必須先建igroup主機(jī)組再把LUN映射給這個(gè)組igroup create \ -vserver svm_nfs_prod \ -igroup igroup_linux_db \ -protocol iscsi \ -ostype linux lun map \ -vserver svm_nfs_prod \ -volume share01 \ -lun lun_db01 \ -igroup igroup_linux_db映射完成后用lun show確認(rèn)LUN狀態(tài)為online、映射關(guān)系正確。CIFS共享同理先建共享再配置權(quán)限CIFS的權(quán)限涉及Windows域配置建議在正式業(yè)務(wù)前把DNS和AD域加入SVM避免后面賬密認(rèn)證出問(wèn)題。4. 主機(jī)接入、多路徑驗(yàn)證與故障排障實(shí)錄4.1 Linux主機(jī)iSCSI接入從discovery到multipath存儲(chǔ)側(cè)配好LUNLinux主機(jī)側(cè)接入是另一個(gè)必經(jīng)環(huán)節(jié)。以CentOS/RHEL系為例需要安裝open-iscsi和device-mapper-multipathyum install -y iscsi-initiator-utils device-mapper-multipath先讓主機(jī)發(fā)現(xiàn)存儲(chǔ)上的iSCSI targetiscsiadm -m discovery -t sendtargets -p 10.0.20.10發(fā)現(xiàn)后會(huì)輸出一串IQN比如iqn.1992-08.com.netapp:sn.xxxxxxxx。然后登錄這個(gè)targetiscsiadm -m node -T iqn.1992-08.com.netapp:sn.xxxxxxxx -p 10.0.20.10 -l登錄成功后lsblk能看到新的磁盤設(shè)備但此時(shí)還只是單路徑。開啟multipath后系統(tǒng)會(huì)把同一條LUN的多條路徑合并成一個(gè)設(shè)備systemctl enable --now multipathd multipath -ll正常情況會(huì)看到兩個(gè)路徑指向同一個(gè)dm設(shè)備例如mpatha。設(shè)備映射好之后分區(qū)、格式化、掛載就按普通磁盤處理mkfs.xfs /dev/mapper/mpatha mkdir /data/db mount -o _netdev /dev/mapper/mpatha /data/db寫/etc/fstab的時(shí)候建議用UUID而不是設(shè)備名避免重啟后盤符漂移。_netdev參數(shù)必須加否則系統(tǒng)啟動(dòng)時(shí)網(wǎng)絡(luò)存儲(chǔ)還沒(méi)就緒掛載流程會(huì)卡住。4.2 多路徑與LIF高可用驗(yàn)證存儲(chǔ)部署完成后最不能省的一步是故障切換演練。很多時(shí)候管理員配置完了就算完事結(jié)果真到控制器重啟、鏈路斷開時(shí)才暴露問(wèn)題。我的驗(yàn)證方法很簡(jiǎn)單先multipath -ll確認(rèn)兩個(gè)路徑都是active然后拔掉其中一個(gè)節(jié)點(diǎn)的數(shù)據(jù)網(wǎng)線再執(zhí)行multipath -ll。正常情況是dm設(shè)備依然在只是active路徑從兩條變成一條主機(jī)側(cè)業(yè)務(wù)不中斷。插回網(wǎng)線后等一會(huì)兒路徑會(huì)自動(dòng)恢復(fù)。存儲(chǔ)側(cè)的LIF高可用也需要驗(yàn)證。數(shù)據(jù)LIF要設(shè)置歸屬節(jié)點(diǎn)默認(rèn)情況下LIF會(huì)運(yùn)行在home-node上。把LIF手動(dòng)遷移到另一個(gè)節(jié)點(diǎn)測(cè)試切換network interface modify -vserver svm_nfs_prod -lif data1 -home-node node02 -home-port e0c network interface revert -vserver svm_nfs_prod -lif data1然后從主機(jī)側(cè)ping一下這個(gè)LIF的IP看切換過(guò)程中是丟幾個(gè)包還是完全無(wú)感。這里我踩過(guò)一個(gè)大坑LIF遷移成功了但主機(jī)側(cè)到存儲(chǔ)的會(huì)話沒(méi)重連原因是主機(jī)側(cè)沒(méi)啟用nodev相關(guān)的多路徑輪詢策略。Linux下把multipath的path_checker設(shè)為tur或rdac能顯著加快路徑切換識(shí)別速度。4.3 外來(lái)磁盤處理的正確姿勢(shì)這里單獨(dú)說(shuō)下外來(lái)磁盤屬于實(shí)際運(yùn)維中很容易出問(wèn)題的事。所謂外來(lái)磁盤一般是指從其他NetApp設(shè)備上拆下來(lái)的盤或者新采購(gòu)的備件盤插到FAS8200后系統(tǒng)不認(rèn)得它的歸屬。插上外來(lái)盤之后先不要急著建聚合。執(zhí)行一下storage disk show -fields node,state,disk-type,size如果顯示狀態(tài)為Unowned或Foreign說(shuō)明磁盤還沒(méi)分配給任何一個(gè)節(jié)點(diǎn)。對(duì)于完全空白的外來(lái)盤直接分配所有權(quán)即可storage disk assign -disk 1.0.5 -owner node01如果磁盤是從其他控制器帶數(shù)據(jù)拔下來(lái)的系統(tǒng)會(huì)檢測(cè)到磁盤上的舊Owner信息。此時(shí)貿(mào)然分配所有權(quán)有可能造成聚合信息混亂需要謹(jǐn)慎處理。我的做法是先確認(rèn)這塊盤是否屬于某個(gè)已失效的聚合能不能作為備件盤直接加入spare池如果盤上有舊數(shù)據(jù)且已確認(rèn)不需要保留先做storage disk initialize初始化再重新分配。另一種情況是擴(kuò)容聚合時(shí)插入了外來(lái)盤直接執(zhí)行storage aggregate add-disks -aggregate aggr_sas_node01 -diskcount 4系統(tǒng)會(huì)從spare盤里自動(dòng)選擇合適的盤加入聚合。如果一直提示沒(méi)有合適的spare盤大概率就是外來(lái)盤沒(méi)完成所有權(quán)分配或者盤類型與聚合不匹配。盤類型不一致時(shí)FAS8200會(huì)拒絕擴(kuò)容這個(gè)機(jī)制是為了避免混插盤導(dǎo)致性能不均。4.4 用VirtualBox搭測(cè)試環(huán)境驗(yàn)證連通性沒(méi)有現(xiàn)成物理測(cè)試機(jī)的場(chǎng)景VirtualBox是我最常用的臨時(shí)環(huán)境工具。部署FAS8200之后我習(xí)慣順手在本地開一臺(tái)Linux虛擬機(jī)用來(lái)驗(yàn)證NFS掛載、iSCSI發(fā)現(xiàn)、multipath聚合、權(quán)限控制這些流程。VirtualBox開Linux虛擬機(jī)的要點(diǎn)是創(chuàng)建虛擬機(jī)時(shí)選Linux類型內(nèi)存給2GB以上磁盤20GB就夠網(wǎng)絡(luò)適配器設(shè)置兩張一張NAT用于基礎(chǔ)通信一張Host-Only或者內(nèi)部網(wǎng)絡(luò)用來(lái)和存儲(chǔ)的業(yè)務(wù)網(wǎng)段互通。裝好系統(tǒng)后安裝open-iscsi和nfs-utils即可開始測(cè)試showmount -e 10.0.20.10 mount -t nfs 10.0.20.10:/share01 /mnt/storage注意VirtualBox模擬出來(lái)的網(wǎng)卡是虛擬設(shè)備發(fā)送的流量和真實(shí)物理網(wǎng)卡存在差異存儲(chǔ)側(cè)看到的主機(jī)名、MAC地址也是虛擬的。用來(lái)驗(yàn)證協(xié)議、配置步驟、權(quán)限規(guī)則足夠了但做性能基準(zhǔn)測(cè)試、壓測(cè)存儲(chǔ)極限的時(shí)候還是老老實(shí)實(shí)找一臺(tái)物理機(jī)上真實(shí)萬(wàn)兆網(wǎng)卡不要拿虛擬機(jī)數(shù)據(jù)當(dāng)參考。4.5 常見問(wèn)題速查表把部署中常見的報(bào)錯(cuò)和排查命令整理成了一張表方便遇到問(wèn)題時(shí)快速定位現(xiàn)象可能原因排查命令與處理思路主機(jī)無(wú)法發(fā)現(xiàn)iSCSI targetSVM未啟用iSCSI、LIF協(xié)議不對(duì)、防火墻攔截vserver iscsi show確認(rèn)服務(wù)啟用network interface show確認(rèn)LIF的data-protocol包含iscsiLUN映射后主機(jī)側(cè)不可見igroup協(xié)議類型錯(cuò)誤、主機(jī)IQN寫錯(cuò)iscsiadm -m session確認(rèn)主機(jī)已登錄igroup show -vserver xxx核對(duì)IQNNFS掛載提示Permission denied導(dǎo)出策略未設(shè)置或規(guī)則未生效vserver export-policy rule show檢查規(guī)則確認(rèn)訪問(wèn)IP在rule的客戶端網(wǎng)段內(nèi)聚合擴(kuò)容提示無(wú)可用盤外來(lái)盤未分配所有權(quán)、盤類型不匹配storage disk show -fields state,owner使用storage disk assign分配給目標(biāo)節(jié)點(diǎn)多路徑只有一條active另一條鏈路故障、SVM只有單LIF、multipath配置異常檢查物理鏈路network interface show確認(rèn)雙節(jié)點(diǎn)均有LIFmultipath -ll驗(yàn)證路徑狀態(tài)LIF遷移后業(yè)務(wù)中斷主機(jī)側(cè)未配置路徑輪詢、協(xié)議會(huì)話未重連在multipath.conf中配置path_checker turpath_grouping_policy multibus后重啟multipathd節(jié)點(diǎn)時(shí)間偏差大未配置NTP或時(shí)間源不可達(dá)system ntp status show檢查同步狀態(tài)配置正確的時(shí)間源后等待同步排障時(shí)有一個(gè)通用原則先把存儲(chǔ)側(cè)狀態(tài)和主機(jī)側(cè)狀態(tài)分開看再用一條ping命令打通鏈路。不要在同一臺(tái)設(shè)備上反復(fù)重試相同的操作FAS8200的控制臺(tái)很多命令執(zhí)行很快但如果是鏈路層問(wèn)題存儲(chǔ)側(cè)永遠(yuǎn)不會(huì)有主動(dòng)報(bào)錯(cuò)必須先驗(yàn)證網(wǎng)絡(luò)再懷疑存儲(chǔ)。這個(gè)內(nèi)容后續(xù)還可以做很多擴(kuò)展比如SnapMirror容災(zāi)復(fù)制、FlexClone克隆、Storage QoS限速、CIFS域認(rèn)證接入以及和VMware環(huán)境整合的VSC配置。不過(guò)這些都在FAS8200基礎(chǔ)部署穩(wěn)定之后才值得研究。我自己的習(xí)慣是每次部署完都會(huì)把命令記錄歸檔尤其是那些在初始化階段踩過(guò)坑的點(diǎn)隔幾個(gè)月再看價(jià)值比任何官方文檔都大。本文還有配套的精品資源點(diǎn)擊獲取 NetApp FAS8200從零部署實(shí)戰(zhàn)：ONTAP集群初始化與存儲(chǔ)配置全解析
簡(jiǎn)介存儲(chǔ)系統(tǒng)是數(shù)據(jù)中心基礎(chǔ)設(shè)施的核心NetApp FAS系列作為企業(yè)級(jí)統(tǒng)一存儲(chǔ)其核心操作系統(tǒng)ONTAP提供了高可用集群、靈活的資源抽象和豐富的數(shù)據(jù)管理功能。理解聚合Aggregate、存儲(chǔ)虛擬機(jī)SVM、邏輯接口LIF等概念是管理和維護(hù)現(xiàn)代存儲(chǔ)環(huán)境的必備技能。iSCSI與NFS等協(xié)議廣泛應(yīng)用于虛擬化和數(shù)據(jù)庫(kù)場(chǎng)景而多路徑配置則保障了業(yè)務(wù)連續(xù)性。本文基于一次真實(shí)的FAS8200部署經(jīng)歷從硬件檢查、網(wǎng)絡(luò)規(guī)劃到集群初始化、存儲(chǔ)配置與主機(jī)接入系統(tǒng)梳理了部署過(guò)程中的關(guān)鍵命令與常見陷阱為存儲(chǔ)管理員和運(yùn)維人員提供一份可落地的實(shí)踐參考。 接到NetApp FAS8200的部署任務(wù)很多人一開始覺(jué)得這就是一臺(tái)大一點(diǎn)的服務(wù)器連上網(wǎng)線、裝個(gè)系統(tǒng)、再建幾個(gè)共享目錄就完事了。真上手之后才發(fā)現(xiàn)雙控HA架構(gòu)、集群初始化、SVM、聚合、Volume、LIF、多路徑這一套組合拳打下來(lái)如果前面的規(guī)劃和初始化沒(méi)做對(duì)后面返工的成本比重新部署一次還高。這篇文章我不打算寫官方手冊(cè)那種一步步截圖式的教程而是把一次真實(shí)的FAS8200從零部署過(guò)程包括每一步命令背后的思考、網(wǎng)絡(luò)規(guī)劃時(shí)容易忽略的點(diǎn)以及幾個(gè)讓我印象深刻的坑完整盤出來(lái)。適合剛接觸ONTAP的存儲(chǔ)管理員、要寫方案的售前、以及正在備考NetApp認(rèn)證的朋友看完基本能少走一圈彎路。1. 開工前的設(shè)備盤點(diǎn)與網(wǎng)絡(luò)規(guī)劃1.1 先確認(rèn)硬件狀態(tài)序列號(hào)、盤位、控制器A/B設(shè)備到手之后別急著往機(jī)柜里塞。先把FAS8200的硬件狀態(tài)摸清楚機(jī)身前面板型號(hào)標(biāo)簽、控制器A和控制器B的位置、當(dāng)前磁盤槽位里插了幾塊盤、盤的類型是SSD還是NL-SAS、每個(gè)盤槽的盤位編號(hào)是否連續(xù)。NetApp的盤位編號(hào)是有講究的后面做聚合的時(shí)候系統(tǒng)會(huì)根據(jù)盤位和控制器歸屬來(lái)分配磁盤所有權(quán)如果之前有盤被拔過(guò)盤位記錄可能和實(shí)際不符聚合一創(chuàng)建就報(bào)錯(cuò)。我習(xí)慣把每塊盤的位置、容量、型號(hào)做成一張簡(jiǎn)單表格再和storage disk show的輸出做一次核對(duì)。FAS8200出廠時(shí)一般會(huì)預(yù)裝ONTAP系統(tǒng)但系統(tǒng)版本、License狀態(tài)、是否已經(jīng)形成集群每個(gè)批次都不一樣。用串口線接入控制臺(tái)查看引導(dǎo)日志確認(rèn)有沒(méi)有報(bào)磁盤錯(cuò)誤或者節(jié)點(diǎn)未配對(duì)的問(wèn)題。這一步做好后面初始化才不會(huì)被“意外驚喜”打斷。另外序列號(hào)要拍照存檔。激活License、申請(qǐng)?jiān)瓘S支持、后續(xù)換硬件都會(huì)用到。FAS8200的序列號(hào)一般在機(jī)身側(cè)面標(biāo)簽和控制器模塊上都有控制臺(tái)里也能通過(guò)system node show -fields serial-number查到兩個(gè)來(lái)源都記一下防止貼紙磨損。1.2 IP與VLAN規(guī)劃管理、業(yè)務(wù)、集群互聯(lián)分開FAS8200是一個(gè)雙控統(tǒng)一存儲(chǔ)不是一臺(tái)普通NAS。它同一條物理鏈路上要跑管理流量、業(yè)務(wù)協(xié)議流量NFS/CIFS/iSCSI/FC、集群內(nèi)部通信流量這三類流量如果混在一個(gè)網(wǎng)段里排查問(wèn)題的時(shí)候會(huì)非常痛苦。我部署過(guò)的一個(gè)環(huán)境上一任把管理網(wǎng)和業(yè)務(wù)網(wǎng)放在同一個(gè)VLAN存儲(chǔ)告警一多管理頁(yè)面直接卡死原因就是業(yè)務(wù)流量把管理通道擠爆了。建議至少劃分三個(gè)網(wǎng)絡(luò)平面管理平面集群管理IPCluster Management LIF、Node A管理IP、Node B管理IP走e0M或獨(dú)立管理口一般是千兆網(wǎng)關(guān)可達(dá)即可。業(yè)務(wù)平面SVM的數(shù)據(jù)LIF走板載萬(wàn)兆口或擴(kuò)展網(wǎng)卡承載NFS/CIFS/iSCSI流量要VLAN隔離、聚合帶寬規(guī)劃。集群互聯(lián)平面兩個(gè)控制器之間的Interconnect鏈路一般用出廠專用端口不要和業(yè)務(wù)口混插。給每個(gè)IP寫清楚用途格式大概是這樣的用途IP地址掩碼/網(wǎng)關(guān)所屬節(jié)點(diǎn)/端口Cluster管理192.168.10.10255.255.255.0 / 192.168.10.1雙控共享Node A管理192.168.10.11同上Controller A - e0MNode B管理192.168.10.12同上Controller B - e0MSVM數(shù)據(jù)LIF110.0.20.10255.255.255.0 / 10.0.20.1Node A - e0cSVM數(shù)據(jù)LIF210.0.20.11255.255.255.0 / 10.0.20.1Node B - e0cIP地址段千萬(wàn)別靠記憶寫進(jìn)部署文檔里后續(xù)每建一個(gè)LIF、每加一個(gè)主機(jī)訪問(wèn)關(guān)系都要回來(lái)看這張表。1.3 部署工具鏈準(zhǔn)備串口、管理終端、測(cè)試虛擬機(jī)FAS8200出廠狀態(tài)沒(méi)有配置任何管理IP必須用串口線接到控制臺(tái)做初始化。我一般用USB轉(zhuǎn)RJ45的串口線配合SecureCRT或者M(jìn)obaXterm波特率115200數(shù)據(jù)位8停止位1無(wú)校驗(yàn)。虛擬機(jī)軟件里串口轉(zhuǎn)發(fā)偶爾會(huì)丟字符物理機(jī)直插更穩(wěn)。管理終端我習(xí)慣準(zhǔn)備一臺(tái)Linux虛擬機(jī)。如果手頭沒(méi)有現(xiàn)成的物理服務(wù)器直接用VirtualBox開一臺(tái)Ubuntu Server或者CentOS Stream裝的時(shí)候把雙網(wǎng)卡配好——一張NAT用來(lái)出網(wǎng)一張Host-Only用來(lái)模擬內(nèi)網(wǎng)訪問(wèn)存儲(chǔ)。主機(jī)側(cè)裝好open-iscsi、nfs-utils、multipath-tools后面測(cè)試主機(jī)接入、掛載NFS、驗(yàn)證iSCSI多路徑全在這臺(tái)虛擬機(jī)上完成。VirtualBox的性能和真實(shí)物理鏈路差得遠(yuǎn)但做連通性、權(quán)限、流程驗(yàn)證是足夠的這一點(diǎn)后面專門說(shuō)。2. 集群初始化與節(jié)點(diǎn)加入實(shí)戰(zhàn)2.1 串口接入與初始健康檢查接好串口線FAS8200上電控制臺(tái)輸出啟動(dòng)日志。系統(tǒng)引導(dǎo)完成后會(huì)停在ONTAP的命令行環(huán)境。我做的第一件事永遠(yuǎn)是健康檢查在本地節(jié)點(diǎn)上執(zhí)行system node run -node local sysconfig -v這條命令會(huì)把控制器型號(hào)、系統(tǒng)版本、內(nèi)存大小、板載網(wǎng)卡和FC卡信息、磁盤列表全部打出來(lái)。重點(diǎn)看兩個(gè)東西一是系統(tǒng)版本和后續(xù)License要求是否匹配二是磁盤狀態(tài)是不是全部顯示Present或Spare如果出現(xiàn)Failed或者Foreign先處理盤再繼續(xù)不然聚合配置到一半會(huì)卡住。健康檢查沒(méi)問(wèn)題后還要看一下兩個(gè)控制器的時(shí)間是否一致。ONTAP集群要求節(jié)點(diǎn)時(shí)間基本同步時(shí)差過(guò)大時(shí)創(chuàng)建聚合、Snapshot、SnapMirror都會(huì)出現(xiàn)奇怪問(wèn)題。我習(xí)慣在初始化階段就把NTP配上system ntp server create -address ntp.xxx.com system ntp status show2.2 用cluster create創(chuàng)建集群并加入第二個(gè)節(jié)點(diǎn)集群創(chuàng)建是整個(gè)部署里最關(guān)鍵的一步。ONTAP 9.x在出廠未初始化狀態(tài)下直接在第一個(gè)節(jié)點(diǎn)上執(zhí)行cluster create命令一次性把集群名、管理員賬號(hào)、管理子網(wǎng)都配好cluster create -cluster-name fas8200-cluster \ -admin-user admin \ -admin-password YourPassword!2024 \ -management-gateway 192.168.10.1 \ -management-subnet 192.168.10.0/24management-subnet非常關(guān)鍵系統(tǒng)會(huì)根據(jù)這個(gè)網(wǎng)段自動(dòng)為集群管理IP、節(jié)點(diǎn)管理IP分配地址。如果填錯(cuò)后面只能靠串口重新改。執(zhí)行完成后cluster show可以看到第一個(gè)節(jié)點(diǎn)已經(jīng)處于集群模式同時(shí)系統(tǒng)會(huì)生成一個(gè)用于第二個(gè)節(jié)點(diǎn)加入的密碼。第二個(gè)節(jié)點(diǎn)的加入方式把串口線切到Controller B上電引導(dǎo)進(jìn)入初始化流程后選擇“Join an existing cluster”輸入第一個(gè)節(jié)點(diǎn)的集群管理IP和管理員賬號(hào)密碼。如果錯(cuò)過(guò)了初始化向?qū)б部梢栽诘谝粋€(gè)節(jié)點(diǎn)的命令行里執(zhí)行集群添加命令把Controller B的管理IP和密碼填進(jìn)去系統(tǒng)會(huì)自動(dòng)完成兩個(gè)節(jié)點(diǎn)間的集群網(wǎng)絡(luò)協(xié)商。任何一步失敗先回到cluster show看集群狀態(tài)而不是反復(fù)重啟。2.3 License與版本先激活還是先升級(jí)集群創(chuàng)建完成不代表License已經(jīng)生效。FAS8200出廠時(shí)通常只帶基礎(chǔ)版本的許可NFS、CIFS、FlexClone、SnapMirror這些高級(jí)功能都需要單獨(dú)激活。在集群管理命令行執(zhí)行system license add -license-code AAAAA-BBBBB-CCCCC-DDDDD system license show這里有一個(gè)經(jīng)驗(yàn)如果設(shè)備出廠的ONTAP版本老而站點(diǎn)里有明確的版本基線要求我的習(xí)慣是先升級(jí)ONTAP再激活License、再創(chuàng)建業(yè)務(wù)配置。原因是版本升級(jí)過(guò)程中可能會(huì)重啟節(jié)點(diǎn)如果業(yè)務(wù)LIF、SVM、聚合都已經(jīng)建好重啟的影響面會(huì)變大。先在最干凈的狀態(tài)下升級(jí)升級(jí)完再激活License再做存儲(chǔ)配置整個(gè)流程最穩(wěn)。3. 存儲(chǔ)配置三件套聚合、SVM、Volume與LUN3.1 聚合創(chuàng)建RAID級(jí)別與磁盤選型的實(shí)際考量聚合Aggregate是FAS8200里所有Volume的物理承載層理解成一塊大的磁盤池就行。聚合用什么RAID級(jí)別、放幾塊盤、留不留熱備盤直接決定后續(xù)所有業(yè)務(wù)的性能和可用性。創(chuàng)建前先用storage disk show看一下磁盤類型的分配情況例如全部是SSD或者SSDNL-SAS混插。然后創(chuàng)建聚合storage aggregate create \ -aggregate aggr_sas_node01 \ -node node01 \ -disktype SSD \ -disk-size 960GB \ -raidtype raid_dp \ -disk-count 12RAID-DP是NetApp默認(rèn)推薦相當(dāng)于雙奇偶校驗(yàn)允許同一個(gè)RAID組里同時(shí)壞兩塊盤不丟數(shù)據(jù)。12塊960GB SSD扣除校驗(yàn)盤后實(shí)際可用空間大概在9TB左右。機(jī)械盤的話我一般建議單聚合盤數(shù)不少于8塊、不多于20塊盤數(shù)太少校驗(yàn)開銷占比高盤數(shù)太多重建時(shí)間長(zhǎng)。RAID-TEC適合大容量盤和極大數(shù)據(jù)安全需求的場(chǎng)景但FAS8200這類中端設(shè)備在普通業(yè)務(wù)場(chǎng)景下用RAID-DP就夠了沒(méi)必要犧牲性能上更強(qiáng)的校驗(yàn)。另一個(gè)必須提前定的是熱備盤。聚合創(chuàng)建不會(huì)消耗所有空閑盤默認(rèn)會(huì)預(yù)留一部分盤作為備用盤。我的習(xí)慣是每個(gè)節(jié)點(diǎn)在完成聚合規(guī)劃后至少保留1到2塊同類型盤作spare這樣任何一塊盤故障時(shí)系統(tǒng)可以立即啟動(dòng)重建而不是干等人工插盤。3.2 SVM與協(xié)議服務(wù)NFS/iSCSI共享的入口聚合是底層資源池業(yè)務(wù)真正訪問(wèn)的是SVMStorage Virtual Machine可以理解成一個(gè)虛擬化的存儲(chǔ)服務(wù)實(shí)例。一個(gè)SVM內(nèi)可以同時(shí)提供NFS、CIFS、iSCSI也可以用不同SVM來(lái)隔離不同部門的數(shù)據(jù)訪問(wèn)。創(chuàng)建SVM時(shí)系統(tǒng)會(huì)要求指定root volume所在的聚合。root volume不存放業(yè)務(wù)數(shù)據(jù)但要有足夠空間裝SVM的元數(shù)據(jù)vserver create \ -vserver svm_nfs_prod \ -rootvolume vol0_root \ -rootvolume-security-style unix \ -aggregate aggr_sas_node01 \ -rootvolume-aggregate aggr_sas_node01SVM創(chuàng)建后第一步是創(chuàng)建數(shù)據(jù)LIF也就是給SVM一個(gè)對(duì)外服務(wù)的IP。數(shù)據(jù)LIF要綁定到某個(gè)節(jié)點(diǎn)的物理端口還要指定對(duì)應(yīng)的VLAN。比如在Node A的e0c端口上建一個(gè)屬于VLAN100的數(shù)據(jù)LIFnetwork interface create \ -vserver svm_nfs_prod \ -lif data1 \ -role data \ -data-protocol nfs,cifs,iscsi \ -home-node node01 \ -home-port e0c \ -address 10.0.20.10 \ -netmask 255.255.255.0 \ -firewall-policy data一個(gè)SVM至少要建兩個(gè)數(shù)據(jù)LIF分別落在兩個(gè)控制器上主機(jī)側(cè)做多路徑或者DNS輪詢時(shí)才能實(shí)現(xiàn)故障切換。只建一個(gè)LIF節(jié)點(diǎn)故障時(shí)業(yè)務(wù)雖能通過(guò)LIF遷移恢復(fù)但切換期間會(huì)中斷體驗(yàn)遠(yuǎn)不如雙LIF同時(shí)在線好。協(xié)議服務(wù)開啟例如NFS以SVM為維度啟用vserver nfs create -vserver svm_nfs_prod -v3 enabled -v4.0 enabled -v4.1 enabled -v4.2 enabledCIFS、iSCSI也是類似的命令。很多人在這里忽略了一個(gè)細(xì)節(jié)NFS雖然啟用了但沒(méi)配導(dǎo)出策略掛載時(shí)依然會(huì)報(bào)Permission denied。導(dǎo)出策略相當(dāng)于存儲(chǔ)側(cè)的訪問(wèn)控制列表規(guī)則沒(méi)建好后面主機(jī)側(cè)再怎么折騰也是白搭。3.3 Volume與LUN空間規(guī)劃、協(xié)議映射、權(quán)限控制SVM提供的是服務(wù)入口真正的數(shù)據(jù)空間在Volume。創(chuàng)建Volume時(shí)指定SVM、聚合、大小、掛載點(diǎn)即可volume create \ -vserver svm_nfs_prod \ -volume share01 \ -aggregate aggr_sas_node01 \ -size 2TB \ -junction-path /share01 \ -space-reserve disabledspace-reserve是精簡(jiǎn)配置的開關(guān)disabled表示用戶寫多少占多少適合絕大多數(shù)業(yè)務(wù)。數(shù)據(jù)庫(kù)、虛擬化核心存儲(chǔ)這類對(duì)性能抖動(dòng)敏感的場(chǎng)景我會(huì)用enabled厚配置提前鎖定空間避免后期磁盤空間被其他Volume搶占。如果走iSCSI協(xié)議就要在Volume上創(chuàng)建LUN。LUN創(chuàng)建本身不復(fù)雜難點(diǎn)在于映射lun create \ -vserver svm_nfs_prod \ -volume share01 \ -lun lun_db01 \ -size 500GB \ -ostype linux \ -space-reserve disabled創(chuàng)建完LUN主機(jī)側(cè)還是看不到的必須先建igroup主機(jī)組再把LUN映射給這個(gè)組igroup create \ -vserver svm_nfs_prod \ -igroup igroup_linux_db \ -protocol iscsi \ -ostype linux lun map \ -vserver svm_nfs_prod \ -volume share01 \ -lun lun_db01 \ -igroup igroup_linux_db映射完成后用lun show確認(rèn)LUN狀態(tài)為online、映射關(guān)系正確。CIFS共享同理先建共享再配置權(quán)限CIFS的權(quán)限涉及Windows域配置建議在正式業(yè)務(wù)前把DNS和AD域加入SVM避免后面賬密認(rèn)證出問(wèn)題。4. 主機(jī)接入、多路徑驗(yàn)證與故障排障實(shí)錄4.1 Linux主機(jī)iSCSI接入從discovery到multipath存儲(chǔ)側(cè)配好LUNLinux主機(jī)側(cè)接入是另一個(gè)必經(jīng)環(huán)節(jié)。以CentOS/RHEL系為例需要安裝open-iscsi和device-mapper-multipathyum install -y iscsi-initiator-utils device-mapper-multipath先讓主機(jī)發(fā)現(xiàn)存儲(chǔ)上的iSCSI targetiscsiadm -m discovery -t sendtargets -p 10.0.20.10發(fā)現(xiàn)后會(huì)輸出一串IQN比如iqn.1992-08.com.netapp:sn.xxxxxxxx。然后登錄這個(gè)targetiscsiadm -m node -T iqn.1992-08.com.netapp:sn.xxxxxxxx -p 10.0.20.10 -l登錄成功后lsblk能看到新的磁盤設(shè)備但此時(shí)還只是單路徑。開啟multipath后系統(tǒng)會(huì)把同一條LUN的多條路徑合并成一個(gè)設(shè)備systemctl enable --now multipathd multipath -ll正常情況會(huì)看到兩個(gè)路徑指向同一個(gè)dm設(shè)備例如mpatha。設(shè)備映射好之后分區(qū)、格式化、掛載就按普通磁盤處理mkfs.xfs /dev/mapper/mpatha mkdir /data/db mount -o _netdev /dev/mapper/mpatha /data/db寫/etc/fstab的時(shí)候建議用UUID而不是設(shè)備名避免重啟后盤符漂移。_netdev參數(shù)必須加否則系統(tǒng)啟動(dòng)時(shí)網(wǎng)絡(luò)存儲(chǔ)還沒(méi)就緒掛載流程會(huì)卡住。4.2 多路徑與LIF高可用驗(yàn)證存儲(chǔ)部署完成后最不能省的一步是故障切換演練。很多時(shí)候管理員配置完了就算完事結(jié)果真到控制器重啟、鏈路斷開時(shí)才暴露問(wèn)題。我的驗(yàn)證方法很簡(jiǎn)單先multipath -ll確認(rèn)兩個(gè)路徑都是active然后拔掉其中一個(gè)節(jié)點(diǎn)的數(shù)據(jù)網(wǎng)線再執(zhí)行multipath -ll。正常情況是dm設(shè)備依然在只是active路徑從兩條變成一條主機(jī)側(cè)業(yè)務(wù)不中斷。插回網(wǎng)線后等一會(huì)兒路徑會(huì)自動(dòng)恢復(fù)。存儲(chǔ)側(cè)的LIF高可用也需要驗(yàn)證。數(shù)據(jù)LIF要設(shè)置歸屬節(jié)點(diǎn)默認(rèn)情況下LIF會(huì)運(yùn)行在home-node上。把LIF手動(dòng)遷移到另一個(gè)節(jié)點(diǎn)測(cè)試切換network interface modify -vserver svm_nfs_prod -lif data1 -home-node node02 -home-port e0c network interface revert -vserver svm_nfs_prod -lif data1然后從主機(jī)側(cè)ping一下這個(gè)LIF的IP看切換過(guò)程中是丟幾個(gè)包還是完全無(wú)感。這里我踩過(guò)一個(gè)大坑LIF遷移成功了但主機(jī)側(cè)到存儲(chǔ)的會(huì)話沒(méi)重連原因是主機(jī)側(cè)沒(méi)啟用nodev相關(guān)的多路徑輪詢策略。Linux下把multipath的path_checker設(shè)為tur或rdac能顯著加快路徑切換識(shí)別速度。4.3 外來(lái)磁盤處理的正確姿勢(shì)這里單獨(dú)說(shuō)下外來(lái)磁盤屬于實(shí)際運(yùn)維中很容易出問(wèn)題的事。所謂外來(lái)磁盤一般是指從其他NetApp設(shè)備上拆下來(lái)的盤或者新采購(gòu)的備件盤插到FAS8200后系統(tǒng)不認(rèn)得它的歸屬。插上外來(lái)盤之后先不要急著建聚合。執(zhí)行一下storage disk show -fields node,state,disk-type,size如果顯示狀態(tài)為Unowned或Foreign說(shuō)明磁盤還沒(méi)分配給任何一個(gè)節(jié)點(diǎn)。對(duì)于完全空白的外來(lái)盤直接分配所有權(quán)即可storage disk assign -disk 1.0.5 -owner node01如果磁盤是從其他控制器帶數(shù)據(jù)拔下來(lái)的系統(tǒng)會(huì)檢測(cè)到磁盤上的舊Owner信息。此時(shí)貿(mào)然分配所有權(quán)有可能造成聚合信息混亂需要謹(jǐn)慎處理。我的做法是先確認(rèn)這塊盤是否屬于某個(gè)已失效的聚合能不能作為備件盤直接加入spare池如果盤上有舊數(shù)據(jù)且已確認(rèn)不需要保留先做storage disk initialize初始化再重新分配。另一種情況是擴(kuò)容聚合時(shí)插入了外來(lái)盤直接執(zhí)行storage aggregate add-disks -aggregate aggr_sas_node01 -diskcount 4系統(tǒng)會(huì)從spare盤里自動(dòng)選擇合適的盤加入聚合。如果一直提示沒(méi)有合適的spare盤大概率就是外來(lái)盤沒(méi)完成所有權(quán)分配或者盤類型與聚合不匹配。盤類型不一致時(shí)FAS8200會(huì)拒絕擴(kuò)容這個(gè)機(jī)制是為了避免混插盤導(dǎo)致性能不均。4.4 用VirtualBox搭測(cè)試環(huán)境驗(yàn)證連通性沒(méi)有現(xiàn)成物理測(cè)試機(jī)的場(chǎng)景VirtualBox是我最常用的臨時(shí)環(huán)境工具。部署FAS8200之后我習(xí)慣順手在本地開一臺(tái)Linux虛擬機(jī)用來(lái)驗(yàn)證NFS掛載、iSCSI發(fā)現(xiàn)、multipath聚合、權(quán)限控制這些流程。VirtualBox開Linux虛擬機(jī)的要點(diǎn)是創(chuàng)建虛擬機(jī)時(shí)選Linux類型內(nèi)存給2GB以上磁盤20GB就夠網(wǎng)絡(luò)適配器設(shè)置兩張一張NAT用于基礎(chǔ)通信一張Host-Only或者內(nèi)部網(wǎng)絡(luò)用來(lái)和存儲(chǔ)的業(yè)務(wù)網(wǎng)段互通。裝好系統(tǒng)后安裝open-iscsi和nfs-utils即可開始測(cè)試showmount -e 10.0.20.10 mount -t nfs 10.0.20.10:/share01 /mnt/storage注意VirtualBox模擬出來(lái)的網(wǎng)卡是虛擬設(shè)備發(fā)送的流量和真實(shí)物理網(wǎng)卡存在差異存儲(chǔ)側(cè)看到的主機(jī)名、MAC地址也是虛擬的。用來(lái)驗(yàn)證協(xié)議、配置步驟、權(quán)限規(guī)則足夠了但做性能基準(zhǔn)測(cè)試、壓測(cè)存儲(chǔ)極限的時(shí)候還是老老實(shí)實(shí)找一臺(tái)物理機(jī)上真實(shí)萬(wàn)兆網(wǎng)卡不要拿虛擬機(jī)數(shù)據(jù)當(dāng)參考。4.5 常見問(wèn)題速查表把部署中常見的報(bào)錯(cuò)和排查命令整理成了一張表方便遇到問(wèn)題時(shí)快速定位現(xiàn)象可能原因排查命令與處理思路主機(jī)無(wú)法發(fā)現(xiàn)iSCSI targetSVM未啟用iSCSI、LIF協(xié)議不對(duì)、防火墻攔截vserver iscsi show確認(rèn)服務(wù)啟用network interface show確認(rèn)LIF的data-protocol包含iscsiLUN映射后主機(jī)側(cè)不可見igroup協(xié)議類型錯(cuò)誤、主機(jī)IQN寫錯(cuò)iscsiadm -m session確認(rèn)主機(jī)已登錄igroup show -vserver xxx核對(duì)IQNNFS掛載提示Permission denied導(dǎo)出策略未設(shè)置或規(guī)則未生效vserver export-policy rule show檢查規(guī)則確認(rèn)訪問(wèn)IP在rule的客戶端網(wǎng)段內(nèi)聚合擴(kuò)容提示無(wú)可用盤外來(lái)盤未分配所有權(quán)、盤類型不匹配storage disk show -fields state,owner使用storage disk assign分配給目標(biāo)節(jié)點(diǎn)多路徑只有一條active另一條鏈路故障、SVM只有單LIF、multipath配置異常檢查物理鏈路network interface show確認(rèn)雙節(jié)點(diǎn)均有LIFmultipath -ll驗(yàn)證路徑狀態(tài)LIF遷移后業(yè)務(wù)中斷主機(jī)側(cè)未配置路徑輪詢、協(xié)議會(huì)話未重連在multipath.conf中配置path_checker turpath_grouping_policy multibus后重啟multipathd節(jié)點(diǎn)時(shí)間偏差大未配置NTP或時(shí)間源不可達(dá)system ntp status show檢查同步狀態(tài)配置正確的時(shí)間源后等待同步排障時(shí)有一個(gè)通用原則先把存儲(chǔ)側(cè)狀態(tài)和主機(jī)側(cè)狀態(tài)分開看再用一條ping命令打通鏈路。不要在同一臺(tái)設(shè)備上反復(fù)重試相同的操作FAS8200的控制臺(tái)很多命令執(zhí)行很快但如果是鏈路層問(wèn)題存儲(chǔ)側(cè)永遠(yuǎn)不會(huì)有主動(dòng)報(bào)錯(cuò)必須先驗(yàn)證網(wǎng)絡(luò)再懷疑存儲(chǔ)。這個(gè)內(nèi)容后續(xù)還可以做很多擴(kuò)展比如SnapMirror容災(zāi)復(fù)制、FlexClone克隆、Storage QoS限速、CIFS域認(rèn)證接入以及和VMware環(huán)境整合的VSC配置。不過(guò)這些都在FAS8200基礎(chǔ)部署穩(wěn)定之后才值得研究。我自己的習(xí)慣是每次部署完都會(huì)把命令記錄歸檔尤其是那些在初始化階段踩過(guò)坑的點(diǎn)隔幾個(gè)月再看價(jià)值比任何官方文檔都大。本文還有配套的精品資源點(diǎn)擊獲取