Abstract

多接入边缘计算（MEC）是一个分布式计算框架，在网络边缘提供计算能力和数据存储，以节省带宽和减少延迟。然而，当过多的任务被卸载执行时，MEC系统的计算能力就会不足。为了减轻MECS的过重负担，挖掘WD的未被充分利用的资源，我们研究了混合边缘计算（HEC）网络中的计算卸载和分流问题。在本文中，我们提出了一个优化问题，以最小化总时间延迟和能源消耗的平均加权和。由于计算复杂性和维度较高，我们提出了基于深度强化学习的计算卸载和分流（DCOS）算法来解决这个问题。最后，我们验证了DCOS算法的收敛特性并评估了其时间复杂性。与其他算法相比，仿真结果显示，DCOS算法可以显著降低平均加权成本。

Introduction

为了解决资源有限的移动设备MD和时间敏感的应用之间的矛盾，多接入边缘计算（MEC）已被提出作为一个有前途的解决方案。MEC计算能力和数据存储都位于数据源附近。然而，当过多的任务被卸载执行时，MEC系统的计算能力可能不足。

为了减轻MEC服务器（MECSs）的过重负担，减少任务执行的时间延迟，可以利用终端设备未被充分利用的资源。通过将设备对设备（D2D）通信整合到MEC网络中，可以充分利用MD上的资源。X，其中设备可以卸载任务给附近的设备进行合作计算。在本文中，我们利用有线设备（WD）的未充分利用的资源，如台式电脑、笔记本电脑和视频游戏机来减轻MECS的负担。

在本文中，我们研究了混合边缘计算（HEC）网络中的计算卸载和分流问题。计算分流是指将卸载的任务按一定比例分给MECS和WD。通过计算分流，可以利用WD的未充分利用的资源来减轻MECS的过重负担，并减少任务执行的时间延迟和能量消耗。因此，我们提出了一个优化问题，以找到最佳决策变量，即计算分流比率，使总时间延迟和能源消耗的平均加权和最小。为了处理高计算复杂性和维度问题，我们提出了基于DRL的计算卸载和分流（DCOS）算法。

SYSTEM MODEL AND PROBLEM STATEMENT

A. Communication and Computing Model


网络中有cdc_d MDs, cec_e WDs and csc_s MECSs，通过光纤连接，MECSs和WDs分别与路由器和交换机连接。MDs可以将计算任务卸载到具有蜂窝通信功能的小基站。部署在路由器中的DRL代理可以控制MECSs和WDs的分流比。

Gi,j(t)G_{i,j}(t)是在时间段Δt\Delta tMD设备i的第j个任务。任务的特征为计算周期Ci,j(t)C_{i,j}(t)和数据位Bi,j(t)B_{i,j}(t)。计算周期的平均值记为C‾(t)\overline{C}(t)。MD任务传输到SBS的速率为：Ri=Bilog⁡2(1+pihiN0Bi)R_{i}=B_{i} \log _{2}\left(1+\frac{p_{i} h_{i}}{N_{0} B_{i}}\right)，则无线传输延迟为：Ti,jw(t)=Bi,j(t)RiT_{i, j}^{w}(t)=\frac{B_{i, j}(t)}{R_{i}}

任务从SBS传输到MECS和WD是以小数据包的形式，表示为：Pi,j(t)=[Bi,j(t)Sp−So]P_{i, j}(t)=\left[\frac{B_{i, j}(t)}{S_{p}-S_{o}}\right]。Pi,j(t)P_{i,j}(t)是包的数量，SpS_p是包的大小，SoS_o是开销的大小。我们主要考虑数据包传输延迟dtd_t和数据包传播延迟dpd_p。当一个数据包被放到光纤链路上时，传输时间为dt=Sp/Rod_t = S_p/R_o，其中RoR_o是光纤链路的带宽。为简单起见，我们假设dpd_p在每个链路中是恒定的。有线网络的传输延迟是：

Ti,jn,s(t)=Hs(dt+dp)+(Pi,j(t)−1)dtTi,jn,e(t)=He(dt+dp)+(Pi,j(t)−1)dt\begin{aligned} &T_{i, j}^{n, s}(t)=H_{s}\left(d_{t}+d_{p}\right)+\left(P_{i, j}(t)-1\right) d_{t} \\ &T_{i, j}^{n, e}(t)=H_{e}\left(d_{t}+d_{p}\right)+\left(P_{i, j}(t)-1\right) d_{t} \end{aligned}

其中HsH_s和HeH_e是SBS分别到MECS和WD的平均跳数（hot counts）。我们用三个二进制变量表示计算方式：Li,j(t)L_{i,j}(t),Si,j(t)S_{i,j}(t),Ei,j(t)E_{i,j}(t)，分别表示任务本地计算、卸载到MECS和卸载到WD，当值为1时代表执行这种方式。
当本地计算时，本地任务计算延迟为：Ti,jl(t)=Ci,j(t)fiT_{i, j}^{l}(t)=\frac{C_{i, j}(t)}{f_{i}}。其中fif_i是DiD_i的计算频度。本地计算能量消耗表示为：Ji,jl(t)=κfi2Ci,j(t)J_{i, j}^{l}(t)=\kappa f_{i}{ }^{2} C_{i, j}(t)。
远程任务计算延迟为：

Ti,jo,s(t)=Ci,j(t)fsTi,jo,e(t)=Ci,j(t)fe\begin{aligned} T_{i, j}^{o, s}(t)=\frac{C_{i, j}(t)}{f_{s}} \\ T_{i, j}^{o, e}(t)=\frac{C_{i, j}(t)}{f_{e}} \end{aligned}

分母的含义同本地计算。MDs的远程任务计算消耗即为任务的无线传输消耗：Ji,jo(t)=piBi,j(t)RiJ_{i, j}^{o}(t)=p_{i} \frac{B_{i, j}(t)}{R_{i}}

B. Computation Offloading and Shunting Model

在HEC网络中，ni(t)n_i(t)是设备DiD_i在时间t产生的任务数，可以用任务到达率为λi\lambda_i的泊松过程Xi(t)X_i(t)来建模。我们假设λi=λ\lambda_i=\lambda，λ\lambda为每个MD上任务的平均到达率。所有的泊松过程叠加，卸载的任务表现为一个总的泊松过程Xd(t)X_d(t)，其到达率为：

λd=λ∑i=1cd(1ni(t)∑j=1ni(t)(Si,j(t)+Ei,j(t)))\lambda_{d}=\lambda \sum_{i=1}^{c_{d}}\left(\frac{1}{n_{i}(t)} \sum_{j=1}^{n_{i}(t)}\left(S_{i, j}(t)+E_{i, j}(t)\right)\right)

随着泊松流的分流，任务被卸载到MECSs和WDs。泊松过程Xs(t)X_s(t)和Xe(t)X_e(t)表示分流到MECS和WD的任务数量，到达率分别为λs=λdPs\lambda_s=\lambda_d P_s和λe=λdPe\lambda_e=\lambda_d P_e，PsP_s和PeP_e表示分流到MCES和WD的任务比例。