深度学习在物理层信号处理中的应用研究(2)

bigbing

2）深度Q网络

DQN将CNN与Q学习结合起来，采用Q 学习的目标值函数来构造深度学习的目标函数，利用记忆回放机制来解决数据之间的关联性问题，并采用迭代更新解决系统稳定性问题。假设环境在时刻  所处的状态为 ，代理根据一定的策略 来采取动作。然后，环境在时刻  转移到以转移概率 转移到了下一个状态 。在DQN中，代理通过一系列行动与环境进行交互，目的是最大化累积奖励 。同时，采用基于卷积神经网络的经验回放来进行Q函数的不断近似。在经验回放中，代理每一步使用ξ-greedy来选择动作，并将每个时刻的学习经验保存在经验池 中。在算法的参数更新循环里，对记忆池里的样本进行随机采样或批量随机采样，通过Q学习对模型进行参数更新。并通过CNN来根据之前的经验，不断近似最大的Q值。CNN的损失函数就是近似的Q值与真实Q值之间的偏差，通过梯度下降算法不断调整神经网络的权重，就可不断减少损失函数的值。

3 基于深度学习的物理层信号处理应用

近年来，学术界和工业界已经出现了一些深度学习应用于物理层的相关工作，研究结果发表深度学习可以提高物理层性能。本小节从物理层信号处理的角度，从信道状态信息（CSI）估计、信号编解码、干扰调整和信号检测四个方面对目前已有的相关工作进行举例和说明。

（1）基于深度学习的CSI估计

精确的CSI获取对于保证无线通信系统的链路性能至关重要。无线网络根据信道估计状态来选择具体的信号控制方案，例如，当CSI较低时，物理层采用低阶调制方案来对抗恶劣的通信状态从而降低误码率。5G通信系统采用多输入多输出（MIMO）、毫米波和非正交多址接入（NOMA）等技术，使得通信双方拥有更多的传输信道，信道估计问题也变得更加复杂。传统的CSI估计方案需要执行具有高复杂度的矩阵运算，受到了计算资源和时延的限制。利用深度学习来得到CSI信息时空和上下行之间的关联性，已经被证实可以提高CSI估计的效率，并减少所需上下行参考信息的数据量[2]。如图2所示，论文[3]提出将历史CSI数据经过一个二维卷积神经网络提取频率特征矢量，再利用一个一维卷积神经网络来从频率特征矢量中提取状态特征矢量。最后，一个LSTM网络用来进行CSI状态预测。由于二维卷积神经网络最初是用来处理图片数据的，因此，作者将CSI原始数据分割成单元格，每个单元格对应一个图片像素。每个频带的CSI和辅助信息对应的像素组成一个频道。因此，N个频带的数据将被转换成N个频道的像素信息，并输入到学习框架中。

（2）基于深度学习的编解码

深度学习在信源编码和信道编码方面的应用，也证明了其可以提高编码效率并降低网络的BER。基于深度学习框架的联合编码方案可以通过循环神经网络实现对本文的源编码（结构化），然后将结构化的信息输入双向的LSTM网络，并最终输出最终传输的二进制数据流。在接收端，LSTM用来进行解码处理。论文[4]提出了就有全连接深度神经网络的编码器，用来提高基于置信传播算法的HPDC解码效率。O’Shea等人在[5]中将整个物理层建模为一个包含了调制、信道编码和信号分类功能的自编码器，并利用卷积神经网络来对自编码器进行训练。如图3所示，在多密集层神经网络的学习框架中，输入信号被编码为独热编码（One-hot encoding），无线信道建模为一个噪声层。交叉熵损失函数和随机梯度下降算法用来训练模型，在输出端将最高概率的输出信号作为解码结果。