導(dǎo)讀
中國(guó)移動(dòng)自2019年正式啟動(dòng)了核心網(wǎng)系統(tǒng)的NFV云化轉(zhuǎn)型，已建成全球規(guī)模最大的網(wǎng)絡(luò)云，目前核心網(wǎng)云化比例超80%。與傳統(tǒng)由廠商提供軟硬一體化的網(wǎng)絡(luò)設(shè)備不同，NFV云化轉(zhuǎn)型通過(guò)軟硬解耦提高網(wǎng)絡(luò)靈活性和開(kāi)放度的同時(shí)，也帶來(lái)大規(guī)模、多廠商產(chǎn)品集成與互操作難的問(wèn)題，成為運(yùn)營(yíng)商推進(jìn)網(wǎng)絡(luò)云化所必須突破的巨大挑戰(zhàn)。
為了應(yīng)對(duì)這一挑戰(zhàn)，中國(guó)移動(dòng)在實(shí)施網(wǎng)絡(luò)云化轉(zhuǎn)型的過(guò)程中，充分認(rèn)識(shí)到必須以更加自動(dòng)化、智能化的手段破解NFV帶來(lái)的復(fù)雜度，以工具能力的提升破解人工所無(wú)法應(yīng)對(duì)的網(wǎng)絡(luò)從建設(shè)到運(yùn)維的挑戰(zhàn)。按照公司自智網(wǎng)絡(luò)的總體發(fā)展要求，通過(guò)提供大規(guī)模資源池內(nèi)服務(wù)器及交換機(jī)等設(shè)備的自動(dòng)化配置能力，在網(wǎng)絡(luò)云落地中的硬件集成建設(shè)環(huán)節(jié)實(shí)現(xiàn)了“零接觸自配置”，使得大規(guī)模資源池建設(shè)交付效率大幅提升。
什么是零接觸自配置
傳統(tǒng)大規(guī)模資源池集成硬件配置階段，多采取運(yùn)營(yíng)商提供標(biāo)準(zhǔn)、廠商提供技術(shù)的方式，這種傳統(tǒng)方案主要有以下問(wèn)題：
1、雖然廠商可以提供部分自動(dòng)化配置工具，但是由于現(xiàn)場(chǎng)設(shè)備數(shù)量及型號(hào)種類(lèi)多，涉及到多個(gè)廠家之間對(duì)接適配，導(dǎo)致現(xiàn)場(chǎng)仍然需要大量人工操作，配置進(jìn)度整體較慢，且人工配置出錯(cuò)率也比較高。
2、當(dāng)多個(gè)資源池同時(shí)建設(shè)時(shí)，配置信息和設(shè)備信息需雙方確認(rèn)好具體資源池后，才能執(zhí)行相關(guān)硬件設(shè)備配置，其中涉及的人工溝通成本較高，無(wú)法保證信息的實(shí)時(shí)性及準(zhǔn)確性。配置階段各資源池系統(tǒng)獨(dú)立運(yùn)行，相關(guān)硬件配置結(jié)果數(shù)據(jù)無(wú)法自動(dòng)化進(jìn)行匯總、統(tǒng)計(jì)及分析。
3、當(dāng)硬件設(shè)備的配置項(xiàng)有改動(dòng)時(shí)，需要現(xiàn)場(chǎng)人工觸發(fā)再次配置，當(dāng)硬件資源池規(guī)模較大、數(shù)量較多時(shí)，引入的工作量較大且容易出現(xiàn)錯(cuò)誤。
網(wǎng)絡(luò)云資源池硬件集成零接觸自配置的技術(shù)方案，就是針對(duì)集成過(guò)程中運(yùn)營(yíng)商自身需求和跨廠商集成痛點(diǎn)進(jìn)行設(shè)計(jì)，在設(shè)備上架上電后，即可自動(dòng)確認(rèn)資源池信息、設(shè)備信息及配置內(nèi)容，自動(dòng)下發(fā)配置到待配設(shè)備。整個(gè)過(guò)程無(wú)需人工參與（零接觸）、全自動(dòng)化持續(xù)進(jìn)行（自配置），實(shí)現(xiàn)現(xiàn)場(chǎng)隨建隨配、“即插即用”的效果。
解決方案介紹
中國(guó)移動(dòng)網(wǎng)絡(luò)云零接觸自配置技術(shù)架構(gòu)由中央服務(wù)器和分布于各個(gè)硬件資源池的本地服務(wù)器組成。中央服務(wù)器集成了各硬件資源池的數(shù)據(jù)，控制資源池信息的統(tǒng)一下發(fā)，并匯總分析配置結(jié)果，進(jìn)行全局信息的可視化展示；各資源池本地服務(wù)器則完成硬件設(shè)備配置、上傳單資源池測(cè)試結(jié)果至中央服務(wù)器的功能。
本地配置服務(wù)器采用模塊化設(shè)計(jì)，其中包括資源池自動(dòng)化識(shí)別模塊、DHCP服務(wù)模塊、PXE鏡像模塊、交換機(jī)配置模塊、服務(wù)器配置模塊，相關(guān)配置功能基于SSH、Redfish、IPMI等業(yè)界標(biāo)準(zhǔn)技術(shù)接口實(shí)現(xiàn)。
以中國(guó)移動(dòng)網(wǎng)絡(luò)云三期資源池網(wǎng)絡(luò)架構(gòu)為例，整個(gè)技術(shù)應(yīng)用流程包括：
（1）本地服務(wù)器接入到硬件資源池后，各功能模塊開(kāi)始自動(dòng)運(yùn)行，通過(guò)DHCP模塊為當(dāng)前連接的交換機(jī)設(shè)備分配臨時(shí)IP地址。
（2）資源池自動(dòng)化識(shí)別模塊通過(guò)臨時(shí)IP地址登錄設(shè)備，獲取設(shè)備SN等相關(guān)信息，并以此為依據(jù)向中央服務(wù)器請(qǐng)求，獲取當(dāng)前資源池的設(shè)備信息和預(yù)先定義、需要配置的各類(lèi)參數(shù)數(shù)據(jù)。
（3）交換機(jī)配置模塊根據(jù)預(yù)先定義的配置參數(shù)，通過(guò)相關(guān)命令對(duì)可訪問(wèn)的設(shè)備進(jìn)行配置。根據(jù)不同的交換機(jī)類(lèi)別和型號(hào)，可能需要執(zhí)行多輪不同的參數(shù)配置和狀態(tài)檢查，并將配置結(jié)果上傳至中央服務(wù)器。
（4）在交換機(jī)逐步完成配置、放通網(wǎng)絡(luò)的過(guò)程中，PXE鏡像模塊會(huì)陸續(xù)收到服務(wù)器的PXE啟動(dòng)請(qǐng)求，并根據(jù)預(yù)定義配置信息完成BMC IP地址、網(wǎng)關(guān)等初始化配置。
（5）服務(wù)器BMC IP配置成功后，服務(wù)器配置模塊將通過(guò)帶外方式登錄服務(wù)器，對(duì)服務(wù)器狀態(tài)進(jìn)行檢查，并對(duì)不滿足預(yù)定義要求的BMC、BIOS等相關(guān)參數(shù)進(jìn)行配置更新。如果發(fā)現(xiàn)有新版本的BMC固件，也會(huì)自動(dòng)進(jìn)行更新。
（6）以上所有模塊循環(huán)持續(xù)執(zhí)行，如果設(shè)備存在當(dāng)前未到貨、未開(kāi)機(jī)、未連線等情況，或者更改了資源池設(shè)計(jì)信息，所有配置參數(shù)都會(huì)自動(dòng)更新，直至所有交換機(jī)和服務(wù)器配置驗(yàn)收完成。
方案亮點(diǎn)總結(jié)
中國(guó)移動(dòng)零接觸自配置方案結(jié)合自身大規(guī)模云資源池建設(shè)方式、組網(wǎng)方案和驗(yàn)收要求等進(jìn)行了定制優(yōu)化，具有以下亮點(diǎn)：
1、與現(xiàn)場(chǎng)施工低耦合：硬件設(shè)備配置模塊處于持續(xù)運(yùn)行模式，會(huì)持續(xù)對(duì)被發(fā)現(xiàn)設(shè)備進(jìn)行自動(dòng)配置及檢查，對(duì)現(xiàn)場(chǎng)施工方式和進(jìn)度沒(méi)有特殊要求，實(shí)現(xiàn)了一種契合現(xiàn)場(chǎng)硬件設(shè)備施工的“隨建隨驗(yàn)”模式。配置整改報(bào)告會(huì)通過(guò)郵件自動(dòng)發(fā)送給現(xiàn)場(chǎng)施工負(fù)責(zé)人，可第一時(shí)間對(duì)施工及設(shè)備問(wèn)題進(jìn)行整改，減少現(xiàn)場(chǎng)人工溝通和操作，大大提升效率。
2、多廠商設(shè)備適配：基于前期與相關(guān)設(shè)備廠商的合作，自動(dòng)化配置功能能夠支持中國(guó)移動(dòng)集采的各個(gè)廠商和型號(hào)的服務(wù)器、交換機(jī)設(shè)備。針對(duì)不同交換機(jī)設(shè)備出廠預(yù)配置、ZTP實(shí)現(xiàn)細(xì)節(jié)的少量差別，也提前設(shè)計(jì)了不同的流程，結(jié)合設(shè)備命令進(jìn)行適配，確保現(xiàn)場(chǎng)能夠配置成功。
3、配置流程和內(nèi)容精準(zhǔn)控制。網(wǎng)絡(luò)云硬集單資源池包含帶內(nèi)、帶外兩張網(wǎng)絡(luò)，最多包括上百臺(tái)交換機(jī)設(shè)備，上千臺(tái)服務(wù)器設(shè)備，各類(lèi)網(wǎng)絡(luò)設(shè)備的配置相互關(guān)聯(lián)，配置時(shí)序不當(dāng)會(huì)導(dǎo)致干擾和異常，需要精準(zhǔn)控制配置邏輯。例如交換機(jī)配置模塊按照不同功能的交換機(jī)進(jìn)行分層配置，對(duì)配置內(nèi)容和順序進(jìn)行編排，采取多種措施防環(huán)、防網(wǎng)絡(luò)風(fēng)暴避免設(shè)備出現(xiàn)托管的情況。
應(yīng)用效果及未來(lái)展望：
2021-2022年中國(guó)移動(dòng)網(wǎng)絡(luò)云三期項(xiàng)目建設(shè)的硬件集成階段，零接觸自配置技術(shù)方案在10多個(gè)省公司的數(shù)十個(gè)資源池規(guī)模應(yīng)用。累計(jì)完成自動(dòng)配置40余萬(wàn)項(xiàng)，與傳統(tǒng)人工配置可能需耗時(shí)5-7天相比，單資源池零接觸自配置的平均耗時(shí)僅1-2個(gè)小時(shí)，且一次正確率從傳統(tǒng)的70%左右提升到100%，達(dá)到業(yè)界先進(jìn)水平。
也正是因?yàn)椴捎昧肆憬佑|自配置的模式，中國(guó)移動(dòng)研究院的自動(dòng)化集成技術(shù)支撐團(tuán)隊(duì)，才能夠在投入人員很少的情況下，通過(guò)部署在現(xiàn)場(chǎng)的自動(dòng)化工具，7x24不間斷地支撐網(wǎng)絡(luò)云三期各資源池的建設(shè)，為確保交付進(jìn)度發(fā)揮了重要作用。
中國(guó)移動(dòng)網(wǎng)絡(luò)云零接觸自配置是全球運(yùn)營(yíng)商大規(guī)模網(wǎng)絡(luò)云資源池建設(shè)中首次實(shí)現(xiàn)硬件集成的零接觸自配置，為NFV云化轉(zhuǎn)型樹(shù)立了技術(shù)創(chuàng)新標(biāo)桿。未來(lái)技術(shù)團(tuán)隊(duì)還將進(jìn)一步完善包含虛擬層、分布式存儲(chǔ)、MANO和網(wǎng)元等在內(nèi)的軟件零接觸自配置方案，并在更多場(chǎng)景推廣應(yīng)用。
作者：
袁昕 中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所
張璞 中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所
馬換 中國(guó)移動(dòng)研究院網(wǎng)絡(luò)與IT技術(shù)研究所
