郝晴，黃浩，趙海濤，談宇浩，朱春
（南京郵電大學通信與信息工程學院，江蘇 南京 210003）
0 引言
無人機（UAV,Unmanned Aerial Vehicle）由于具有高度的靈活性，在貨物運輸、空中視頻流、虛擬現實以及增強現實等領域得到了廣泛的應用。通過將無人機與地面基站（GBS,Ground Base Station）進行深度整合，蜂窩連接無人機能夠高效地進行智能網絡控制和數據處理。此外，蜂窩連接無人機還能夠實現密集的蜂窩通信覆蓋，從而滿足通信網絡服務需求。首先，對于無人機輔助的蜂窩通信系統，無人機可以充當中繼進行通信連接。例如，在地面基站出現故障時，可以快速部署無人機為地面用戶提供緊急通信支持[1-4]。其次，對于蜂窩網絡支持的無人機系統，無人機可以通過與地面基站保持通信來完成飛行任務。考慮到無人機的高機動性和高速飛行，以及無人機與地面用戶之間大量的數據傳輸活動，建立高質量的空地通信連接是至關重要的[5]。
然而，由于無人機通常由電池為其電機以及機載電子設備進行供電，無人機的飛行時間是相當有限的[6]。為了保證無人機與地面基站穩定和持續的通信連接，以及無人機飛行任務的可靠完成，必須研究高能效的蜂窩連接無人機系統。本文考慮無人機在任務執行過程中飛行能耗的最小化問題，其中無人機從隨機的初始位置飛行到固定的目的地以完成任務。在保證飛行過程中與蜂窩網絡保持可靠通信連接的情況下，通過優化無人機的飛行路徑來最小化無人機的能量消耗。
本文提出了一種基于無線電地圖重構的路徑規劃方法，無線電地圖通過對小尺度信道衰落及其誘導效應進行平均，從而能夠描述目標區域內空間和頻率上的頻譜活動以及傳輸信道的信息[7]。本文提出了一種新的無線電地圖重構方法，無人機首先對無線環境進行稀疏采樣，進而基于采樣得到的數據對無線電地圖進行重構，即能估計出目標區域中所有位置的中斷概率，從而大大降低無人機地圖采樣的開銷。進一步地，本文提出了一種基于深度強化學習（DRL,Deep Reinforcement Learning）的路徑規劃算法。利用重構得到的無線電地圖，無人機在目標區域內多次飛行，在此過程中利用DRL 得到最優的路徑規劃策略，從而提高無人機任務執行的效率，減少無人機飛行時間和能耗。
1 相關研究工作
為了解決無人機路徑規劃復雜度高的問題，已有基于深度強化學習和無線電地圖的無人機路徑規劃方法研究。在聯合優化無人機的最短飛行路徑，并最大化從地面設備收集的數據量問題上，文獻[8]提出了一種無人機輔助的物聯網架構，并利用基于DRL 的算法得到無人機的最優路徑和吞吐量。為了避開障礙物，文獻[9]利用深度確定性策略梯度（DDPG,Deep,Deterministic,Policy Gradient）算法，使無人機可以獨立進行決策。提出了連通面積和威脅函數的概念，并將其應用于DRL 的獎勵中。在基于DRL 的路徑規劃算法上，文獻[10]利用優先級經驗回放（PER,Prioritized Experience Replay）加速訓練過程。通過關注系統的狀態，無人機選擇最佳飛行方向，從而最大限度地為用戶提供服務，文獻[11]通過最大化覆蓋用戶數并最小化無人機能耗來進行路徑規劃。在考慮多架無人機沿不同路徑在目標空域內飛行并為地面用戶設備提供服務的場景下，文獻[12]提出了一種基于多智能體DRL 的路徑規劃算法，對每架無人機的路徑進行獨立管理，目標是優化每架無人機的地理公平性、用戶容量的公平性和用戶的總能耗。在最大化地面用戶平均傳輸速率為目標下，文獻[13]提出了一種基于多智能體深度Q 學習（MADQL,Multiagent Deep Reinforcement Learning）的算法，從而解決路徑規劃和信道分配聯合優化問題。在基于密集部署的無人機的以內容為中心的無線傳輸網絡場景中，文獻[14]通過部署大規模的無人機來將緩存的內容傳輸到隨機分布的地面客戶端，并提出了一種路徑規劃和通信調度聯合優化方法，采用動態神經網絡學習最優控制策略。針對多無人機通信系統，文獻[15]提出了一種新的路徑規劃和資源分配聯合優化方法，該方法采用多智能體DRL 算法進行分布式部署，不需要事先知道網絡的動態特性。然而，上述文獻并未涉及到利用重構得到的無線電地圖進行無人機路徑規劃，以及在UAV-GBS 通信約束下進行無人機的能效優化。
2 系統模型
系統中包括一個無人機以及多個地面蜂窩基站，無人機在目標空域中飛行，基站則為無人機提供通信服務。假設無人機的飛行區域為立方體，表示為 [x1,x2]×[y1,y2]×[z1,z2]，其中1 和2 分別表示區域的下邊界和上邊界。無人機的任務是基于無線電地圖，從一個隨機的初始位置飛行到固定的最終位置。系統模型如圖1 所示：
圖1 系統模型
無人機在t時刻的位置表示為l(t)，0 ≤t≤T，分別用lI和lF表示無人機的初始位置和最終位置，于是有l(0)=lI，l(t)=lF。假設目標區域內共有C個蜂窩基站，用hc(t),1≤c≤C表示t時刻從基站c到無人機的等效信道增益，因此無人機在t時刻從基站c接收到的信號功率表示為：
其中Pc表示基站c的發射功率，為固定值；βc(·) 和Gc(·)分別表示基站c的大尺度信道增益和天線增益；隨機變量(t)表示小尺度衰落。用c′(t) ∈ {1,...,C}表示在t時刻與無人機連接的蜂窩基站。當無人機的接收信干比（SIR,Signal to Interference Ratio）小于閾值γth，即S IR(t)＜γth，則判斷無人機與蜂窩網絡的連接處于中斷狀態。無人機在t時刻的接收信干比表示為：
由于小規模衰落的隨機性，在t時刻時，對于任意無人機位置和與無人機關聯的蜂窩，接收信干比是一個隨機數，所以中斷概率是l(t)和c′(t)的函數，表示為：
根據無人機的中斷概率，可以得到任務執行過程中的中斷時間為：
設無人機的時間成本為任務完成時間和中斷時間的加權和，即：
其中，α和β分別表示無人機總任務完成時間和總任務完成時間內的中斷時間權重。由于要求無人機在飛行過程中與基站保持良好的通信質量，所以將β定義為一個數值較大的常數，從而保證與基站穩定的通信連接。
無人機在任務執行過程中的能量消耗通常包含飛行推進能耗和通信能耗。由于無人機的通信能耗比推進能耗小得多，所以本文只考慮無人機的推進能耗。固定翼無人機的推進能量可以表示為[16]：
其中，c1和c2是與空氣密度、無人機重量以及機翼面積等有關的固定參數；v(t)和a(t)分別表示無人機在t時刻的速度和加速度；g=9.8 m/s2為重力加速度。因此，無人機的飛行能耗取決于其速度和加速度。在本文中，假設無人機勻速飛行，加速度為0，因此無人機的推進功率為[17]：
推進能量可以進一步表示為：
在無線電地圖重構過程中，無人機首先從實際環境中稀疏采樣，并計算采樣點中斷概率，最后對目標區域無線電地圖進行重構恢復。假設無人機首先在目標空域隨機采樣N個數據點，記為xi(i=1,2,3…,N)。將稀疏采樣后得到的無線電地圖表示為y0，稱為等待重構的退化的圖像。隨后，無人機基于y0重構無線電地圖。將無線電地圖重構表示為誤差最小化優化問題，表示為：
新課程標準明確指出，讀是小學語文教學的重要任務，有感情地朗讀課文能夠使學生受到情感的熏陶，這也是語文學習的重中之重。課堂教學是開展教學工作的主要場所，教師應結合誦讀內容，采取豐富的教學形式，指導學生進行有感情誦讀，不斷提升學生的誦讀能力。
其中e(·) 為與重構有關的數據項，y表示重構的無線電地圖。R(y) 是一個正則化項，用以表示自然圖像上的一般先驗。地圖重構的目標是找到問題（9）的最優解y*。在本文中，用神經網絡隱含的先驗信息代替正則化函數，用神經網絡fθ(·) 映射代替待重構的地圖y，即：
優化變量θ*可以通過參數隨機初始化的隨機梯度下降來求得。其中，z是一個固定的包含32 個特征圖的三維張量，其空間大小與y相同；網絡的輸入是隨機初始化的z；θ是網絡參數，通過訓練得到最優值。得到最優參數θ后，輸入z得到最優的y，然后得到重構的無線電地圖。
為了求得最優的無人機飛行路徑，無人機在滿足良好的UAV-GBS 連接質量的約束前提下，最小化任務執行過程中的飛行能耗，于是優化問題可以表示為：
由于優化問題的非凸性和較大的搜索空間，傳統的優化方法很難得到最優解。為了求解該問題，在下一節中提出了一種基于地圖重構的深度強化學習路徑規劃方法。
3 基于地圖重構的深度強化學習路徑規劃方法
在本節中，首先提出了基于深度圖像先驗（DIP,Deep Image Prior）的地圖重構算法。隨后基于重構地圖利用D3QN 算法進行路徑規劃。無人機通過嘗試不同的動作（action），從反饋（reward）中學習，然后加強動作，直到動作產生最佳的反饋。本文所提出的基于地圖重構的深度強化學習路徑規劃方法流程如圖2 所示。
圖2 DIPRMR-D3QN路徑規劃方法流程圖
3.1 基于深度圖像先驗的地圖重構算法
卷積神經網絡在圖像重構方面具有較好的性能，它通過從大量的訓練樣本中進行學習來逼近原圖像。然而，生成器網絡在未經學習的情況下也能包含大量的低級圖像信息，即生成器網絡具有先驗特性，不需要訓練集和未損壞的原始圖像并訓練，只需要通過一張待重構的退化圖像作為輸入，便可以對其進行恢復。在此基礎上，本文提出了一種基于深度圖像先驗的無線電地圖重構（DIPRMR，Deep Image Prior based Radio Map Reconstruction）算法。待重構的無線電地圖定義為R∈Cm×n，即：
在DIPRMR 算法中，低分辨的輸入圖像為無人機采樣得到的稀疏無線電地圖。將采樣倍率（需重構的地圖的長和寬上像素點數量減少的倍數）定義為s，于是采樣得到的地圖表示為y0∈R(m/s)×(n/s)。將重構倍率（重構后的地圖像素點數量與重構前的比值）定義為u，則重構得到的地圖y表示為y∈Ru(m/s)×u(n/s)。因此，重構任務中的數據項為：
其中d(·) :y∈ Ru×(m/s)×u×(n/s)→y0∈R(m/s)×(n/s)將 圖像大小 調整為(m/s) ×(n/s)。最后，通過迭代求解找到重構后與低分辨圖像y0相似的高分辨圖像y，即：
算法具體步驟如算法1 所示。
算法1 基于深度圖像先驗的地圖重構算法（DIPRMR）
3.2 基于D3QN的無人機路徑規劃方法
在本文所考慮場景中，無人機的路徑規劃問題可以表示為一個馬爾可夫決策過程（MDP,Markov Decision Process）。用一個四元組變量表示MDP：狀態S，動作A，狀態轉移概率P和反饋R。其中，狀態空間包含了無人機在給定飛行區域內的所有可能的位置；動作空間A包含無人機的飛行方向；狀態轉移概率P根據當前狀態和后續飛行方向確定；反饋函數R定義為，其中μ是無人機在停機時產生的懲罰，設置為一個較大的常數。算法具體步驟如算法2 所示。
算法2 基于D3QN 的無人機在線路徑規劃方法（DIPRMR-D3QN）
不同于傳統方法，算法2 中無人機不需要直接與環境交互，而是在無人機執行任務前就重建一個與實際環境高度吻合的無線電地圖。在強化學習中，智能體直接從無線電地圖中提取數據，獲得經驗中斷概率，從而獲得反饋值，利用訓練數據調整無人機的飛行路徑。
由于該問題中的狀態空間和動作空間是連續的，本文在保持狀態空間連續的同時，將動作空間A離散為四個飛行方向，即。動作空間的離散化使得動作值函數的狀態輸入是連續的，動作輸出是離散的。本文采用Dueling Double DQN（D3QN）網絡架構。在每一集的每一步中，將無人機的狀態，即無人機的當前位置設置為神經網絡的輸入，輸出為無人機的飛行方向。最終基于訓練得到的神經網絡，無人機能夠根據無線電地圖，在任意位置選擇出最佳飛行方向，從而完成路徑規劃。
4 仿真結果與分析
在本節中，對所提出的算法進行仿真實驗。考慮一個2 km×2 km 包含高層建筑的區域。假設在該區域內部署了2 個GBS，其天線高度設為25 m。為了計算無人機從每個基站接收到的信號強度，首先根據建筑遮擋情況判斷無人機與每個BS 之間是否存在LoS 鏈路，然后計算UAV-GBS 的路徑損耗。為了準確模擬給定環境下的UAV-GBS 信道，基于國際電信聯盟（ITU）提出的統計模型來生成建筑物的位置和高度。假設建筑物覆蓋的土地面積占總土地面積的比例αbd=0.3；單位面積建筑的平均數βbd=300；建筑高度分布的參量γbd=50 m，且建筑高度不超過90 m。將與基站的連通性權重設置為一個較大的值，以保證無人機與地面良好的通信連接。最后，假設該區域的每個維度上有201 個數據點，即m=n=201。因此數據點總數為201×201。
圖3 比較了采樣倍率分別為s=2,4,8,16 時基于DIPRMR 重構得到的地圖（分別用DIP2、DIP4、DIP8 和DIP16 表示）和s=4 時基于球面變異函數模型的Kriging 算法重構得到的地圖（用SPH4 表示）的峰值信噪比（PSNR,Peak Signal to Noise Ratio）。結果表明PSNR 隨著采樣倍率的增加而降低。采樣倍率相同時，DIPRMR 算法重構的無線電地圖的PSNR 明顯高于Kriging 算法。因此，與Kriging 算法相比，本文所提方法能夠達到更好的地圖重構效果，且采樣點越多，重構效果越好。
圖3 不同采樣倍率下重構地圖的峰值信噪比
圖4 比較了不同采樣倍率下，基于不同重構方法得到的地圖飛行的平均中斷概率與實際平均中斷概率的歸一化均方誤差（NMSE）。結果表明NMSE 隨著采樣倍率的增加而增加。并且，在相同采樣倍率下，所提出的DIPRMR 重構算法的NMSE 最小。因此，本文所提方法較對比算法而言，能夠更加準確地還原實際環境中的中斷概率分布情況，并且采樣點越多，重構得到的地圖與原地圖的誤差越小。
圖4 不同采樣倍率下各重構方法平均中斷概率與實際值的NMSE
圖5 比較了不同采樣倍率和重構方法下無人機到達目的地的每條路徑的總中斷時間，單位為秒（s）。結果表明，在本文所提方法下無人機成功到達目的地的中斷時間與重構的無線電地圖密切相關，中斷時間隨著采樣倍率的增加而增加。在采樣倍率相同時，基于DIPRMR算法重構的無線電地圖訓練的無人機軌跡的中斷時間比Kriging 算法短。因此，由本文所提方法重構得到的無線電地圖能夠更加準確地反映真實的無線環境，從而使得無人機在飛行中能夠與基站保持更好的通信連接。
圖5 不同采樣倍率下無人機到達目的地的總中斷時間
圖6 為通過D3QN 算法得到的無人機路徑。其中對比了無人機在基于無線電地圖情況下的飛行路徑（圖6（a））和在實際環境直接飛行的飛行路徑（圖6（b））。結果表明，兩種訓練情況下的路徑趨勢是一致的。在選擇路徑時，無人機往往會經由通信覆蓋率大的區域到達目的地，并且幾乎不浪費步數。因此，本文所提地圖重構方法能夠使得無人機學得接近最優的路徑，并保持與蜂窩基站的良好連接，降低飛行能耗。
圖6 D3QN算法下無人機基于重構地圖的飛行路徑與直接飛行路徑比較
5 結束語
本文研究了無線電地圖重構以及基于重構的地圖進行無人機路徑規劃的問題。考慮到無人機在任務執行過程中復雜的城市通信環境，無人機通過所提的DIPRMR算法重構無線電地圖，進而基于D3QN 算法學習最優路徑規劃策略，從而在保證任務期間與相關基站可靠連接的情況下，最小化總飛行能耗。為了克服傳統的基于優化的路徑規劃方法的局限性，本文提出了基于DRL 的路徑規劃算法，該算法只需要無人機的信號測量作為輸入。仿真結果表明，無人機可以基于重構的無線電地圖進行路徑規劃，從而提高了無人機的工作效率并降低執行任務的復雜度。本文提出的基于DIP 的地圖重構算法能夠有效還原實際環境的中斷概率情況。并且，基于DIPRMRD3QN 算法，無人機能夠降低飛行能耗，并且保持與地面基站的可靠通信連接。
