基于空间光幅相调制的深度学习多核并行计算装置及方法

技术领域

本发明涉及信息处理技术领域，尤其涉及一种基于空间光幅相调制的深度学习多核并行计算装置及方法。

背景技术

深度学习(DL，Deep Learning)是机器学习(ML，Machine Learning)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。随着深度学习技术的不断发展，深度学习在图像识别、搜索技术、数据挖掘、机器翻译、自然语言处理、多媒体学习、语音、推荐和个性化技术，以及其他相关领域都取得了很多成果。

深度学习算法基于人工神经网络来实现，而人工神经网络的强大功能来自大量神经元之间的大规模互连。当以电子方式实现深度学习时，需要进行大规模的电子计算，且电子计算复杂度较高，导致对电子器件的算力需求较大，并需要耗费大量的计算资源。

发明内容

为解决上述现有技术中存在的部分或全部技术问题，本发明提供一种基于空间光幅相调制的深度学习多核并行计算装置及方法。

本发明的技术方案如下：

第一方面，提供了一种基于空间光幅相调制的深度学习多核并行计算装置，所述装置包括：

平行光源，与纯幅度空间光调制器、幅度相位复用空间光调制器和一维像素阵列探测器依次并排布置，所述平行光源、所述纯幅度空间光调制器、所述幅度相位复用空间光调制器和所述一维像素阵列探测器相互平行且同轴心，所述平行光源用于向所述纯幅度空间光调制器发出平行光；

所述纯幅度空间光调制器，与处理单元连接，用于将神经网络权重系数矩阵加载到幅度调制矩阵上，根据加载的矩阵对接收的平行光进行幅度调制，并将调制后的平行光输出至所述幅度相位复用空间光调制器；

所述幅度相位复用空间光调制器，与所述处理单元连接，且与所述一维像素阵列探测器之间的距离为预设焦距值，用于将透镜调制系数向量加载到相位调制矩阵上，以及将待处理目标向量逐行加载到幅度调制矩阵上，根据幅度调制矩阵对接收的平行光进行幅度调制，根据相位调制矩阵对幅度调制后的平行光进行相位调制，并将调制后的平行光输出至所述一维像素阵列探测器；

所述一维像素阵列探测器，与所述处理单元连接，用于接收所述幅度相位复用空间光调制器输出的平行光，并分别对每个像素点接收的多个平行光进行叠加处理以获取接收平行光对应的一维向量，将一维向量发送至所述处理单元；

所述处理单元，能够预先加载神经网络模型、透镜调制系数向量和待处理目标向量，用于依次将神经网络模型对应的各层神经网络权重系数矩阵发送至所述纯幅度空间光调制器，将透镜调制系数向量和待处理目标向量发送至所述幅度相位复用空间光调制器，对每次接收的一维向量进行非线性运算，并基于非线性运算结果更新待处理目标向量和获取深度学习多核并行计算结果。

在一些可能的实现方式中，所述平行光源为非相干光源。

在一些可能的实现方式中，还包括输出单元，与所述处理单元连接，用于接收并输出所述处理单元发送的深度学习多核并行计算结果。

在一些可能的实现方式中，所述处理单元为微控制单元。

第二方面，还提供了一种基于空间光幅相调制的深度学习多核并行计算方法，所述方法利用上述的深度学习多核并行计算装置实现，包括以下步骤：

步骤S1，获取神经网络模型、待处理目标向量和透镜调制系数向量，将神经网络模型、待处理目标向量和透镜调制系数向量加载到处理单元；

步骤S2，设置层数变量和输出向量Y，并使k＝1；

步骤S3，判断k≤K是否成立，若是，则使

步骤S4，确定神经网络模型第k层的神经网络权重系数矩阵及其行数和列数，将纯幅度空间光调制器和幅度相位复用空间光调制器的调制矩阵对应的行数和列数设置为与神经网络权重系数矩阵对应的行数和列数相同，将透镜调制系数向量加载到幅度相位复用空间光调制器的相位调制矩阵上，将待处理目标向量逐行加载到幅度相位复用空间光调制器的幅度调制矩阵上，将神经网络权重系数矩阵加载到纯幅度空间光调制器的幅度调制矩阵上；

步骤S5，利用平行光源向纯幅度空间光调制器发出平行光，以使平行光分别经过纯幅度空间光调制器的幅度调制、幅度相位复用空间光调制器的幅度调制及相位调制后，汇聚到一维像素阵列探测器上；

步骤S6，利用一维像素阵列探测器分别对每个像素点接收的多个平行光进行单像素光电探测，获取接收平行光对应的一维向量并发送至处理单元；

步骤S7，利用处理单元对一维向量进行非线性运算，获取神经网络模型第k层的运算结果；

步骤S8，将输出向量Y赋值给待处理目标向量X，使k＝k+1，并返回步骤S3；

步骤S9，输出输出向量Y。

在一些可能的实现方式中，穿过纯幅度空间光调制器的幅度调制矩阵第n行第m列的平行光

其中，w

在一些可能的实现方式中，穿过幅度相位复用空间光调制器的幅度调制矩阵及相位调制矩阵第n行第m列的平行光

其中，w

在一些可能的实现方式中，一维像素阵列探测器输出的一维向量s＝[s

其中，s

在一些可能的实现方式中，对一维向量中的元素进行非线性运算表示为：

y

其中，y

在一些可能的实现方式中，激活函数为Sigmoid、Tanh、ReLU、LReLU、PReLU和Swish激活函数中的一种。

本发明技术方案的主要优点如下：

本发明的基于空间光幅相调制的深度学习多核并行计算装置及方法通过纯振幅空间光调制器和幅度相位复用空间光调制器的联合使用将大规模矩阵向量乘法运算映射到空间域和时间域来实现大规模矩阵向量乘法并行运算，能够显著提高深度学习并行计算速度，并且通过空间光调制器的快速切换可实现多输出和多层神经网络的运算；通过将多核并行运算转化为一维阵列的多个单像素探测，能够对矩阵向量乘法运算后的结果进行非线性运算操作，能够在降低计算复杂度和电气电子器件的算力需求的前提下提高多核同步计算速度，提高深度学习处理能力。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一实施例的一种基于空间光幅相调制的深度学习多核并行计算装置的结构示意图；

图2为本发明一实施例的另一种基于空间光幅相调制的深度学习多核并行计算装置的结构示意图；

图3为本发明一实施例的基于空间光幅相调制的深度学习多核并行计算方法的流程图。

附图标记说明：

1-平行光源，2-纯幅度空间光调制器，3-幅度相位复用空间光调制器，4-一维像素阵列探测器，5-处理单元，6-输出单元。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施例及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

以下结合附图，详细说明本发明实施例提供的技术方案。

参考图1，第一方面，本发明一实施例提供了一种基于空间光幅相调制的深度学习多核并行计算装置，该装置包括：

平行光源1，与纯幅度空间光调制器2、幅度相位复用空间光调制器3和一维像素阵列探测器4依次并排布置，平行光源1、纯幅度空间光调制器2、幅度相位复用空间光调制器3和一维像素阵列探测器4相互平行且同轴心，平行光源1用于向纯幅度空间光调制器2发出平行光；

纯幅度空间光调制器2，与处理单元5连接，用于将神经网络权重系数矩阵加载到幅度调制矩阵上，根据加载的矩阵对接收的平行光进行幅度调制，并将调制后的平行光输出至幅度相位复用空间光调制器3；

幅度相位复用空间光调制器3，与处理单元5连接，且与一维像素阵列探测器4之间的距离为预设焦距值，用于将透镜调制系数向量加载到相位调制矩阵上，以及将待处理目标向量逐行加载到幅度调制矩阵上，根据幅度调制矩阵对接收的平行光进行幅度调制，根据相位调制矩阵对幅度调制后的平行光进行相位调制，并将调制后的平行光输出至一维像素阵列探测器4；

一维像素阵列探测器4，与处理单元5连接，用于接收幅度相位复用空间光调制器3输出的平行光，并分别对每个像素点接收的多个平行光进行叠加处理以获取接收平行光对应的一维向量，将一维向量发送至处理单元5；

处理单元5，能够预先加载神经网络模型、透镜调制系数向量和待处理目标向量，用于依次将神经网络模型对应的各层神经网络权重系数矩阵发送至纯幅度空间光调制器2，将透镜调制系数向量和待处理目标向量发送至幅度相位复用空间光调制器3，对每次接收的一维向量进行非线性运算，并基于非线性运算结果更新待处理目标向量和获取深度学习多核并行计算结果。

本发明一实施例提供的基于空间光幅相调制的深度学习多核并行计算装置用于实现深度学习神经网络模型对目标向量的多核并行同步计算。

具体地，该基于空间光幅相调制的深度学习多核并行计算装置在使用时，先将深度学习神经网络模型、透镜调制系数向量和待处理目标向量加载到处理单元；而后，从神经网络模型的第一层开始，确定该层对应的待处理目标向量，第一层对应的待处理目标向量即为加载到处理单元的待处理目标向量，以待处理目标向量作为幅度调制矩阵的一行元素，将待处理目标向量逐行加载到幅度相位复用空间光调制器的幅度调制矩阵上、以及将透镜调制系数向量加载到幅度相位复用空间光调制器的相位调制矩阵上以实现特定焦距的数字透镜功能；而后，将该层对应的神经网络权重系数矩阵加载到纯幅度空间光调制器的幅度调制矩阵上，利用平行光源向纯幅度空间光调制器发出平行光，平行光分别经过纯幅度空间光调制器的幅度调制、幅度相位复用空间光调制器的幅度调制及相位调制后，以多行平行光的形式汇聚到一维像素阵列探测器上，利用一维像素阵列探测器分别对其每个像素点接收的多个平行光进行叠加处理以获取接收平行光对应的一维向量，实现整个当前层的神经网络权重系数矩阵与待处理目标向量(即输入向量)的乘法操作，利用一维像素阵列探测器将获取的一维向量发送到处理单元，利用处理单元对一维向量进行非线性运算，得到当前神经网络权重系数矩阵对应的一个运算结果，完成神经网络模型当前层的单层处理；而后将当前层的运算结果作为神经网络模型下一层对应的待处理目标向量，并确定神经网络模型下一层对应的神经网络权重系数矩阵，基于确定的待处理目标向量和神经网络权重系数矩阵，同样采用上述的单层运算处理过程完成神经网络模型下一层的单层运算；根据上述处理方式依次完成神经网络模型的各层运算，经过多层运算后，最后一层输出的运算结果即为深度学习神经网络的多核并行计算结果。

本发明一实施例提供的基于空间光幅相调制的深度学习多核并行计算装置通过纯振幅空间光调制器和幅度相位复用空间光调制器的联合使用将大规模矩阵向量乘法运算映射到空间域和时间域来实现大规模矩阵向量乘法并行运算，能够显著提高深度学习并行计算速度，并且通过空间光调制器的快速切换可实现多输出和多层神经网络的运算；通过将多核并行运算转化为一维阵列的多个单像素探测，能够对矩阵向量乘法运算后的结果进行非线性运算操作，能够在降低计算复杂度和电气电子器件的算力需求的前提下提高多核同步计算速度，提高深度学习处理能力。

本发明一实施例中，预设焦距值根据实际情况具体设置，其中，加载的透镜调制系数向量对应的焦距为预设焦距值。

进一步地，本发明一实施例中，平行光源1为非相干光源，以避免不同束平行光之间产生干涉而对处理结果造成影响。

参考图2，进一步地，本发明一实施例中，该深度学习多核并行计算装置还包括输出单元6，与处理单元5连接，用于接收并输出处理单元5发送的深度学习多核并行计算结果。

如此，当有外部设备需要获取深度学习多核并行计算结果，可将外部设备直接与输出单元连接，以便于获取深度学习多核并行计算结果。

参考图2，本发明一实施例中，处理单元5还可以与平行光源1连接，处理单元5用于控制平行光源1发出平行光。

将处理单元与平行光源进行连接，可以通过处理单元控制平行光源启闭以控制平行光源在特定时刻发出平行光，进而保证在将神经网络权重系数矩阵加载到纯幅度空间光调制器后，平行光源能够及时向纯幅度空间光调制器发出平行光。

进一步地，本发明一实施例中，处理单元5为微控制单元(MCU)。

通过采用微控制单元作为处理单元，既能够满足上述功能需求，又能够便于实现该深度学习多核并行计算装置的轻量化和低功耗化。

参考图3，第二方面，本发明一实施例还提供了一种基于空间光幅相调制的深度学习多核并行计算方法，该方法利用上述的深度学习多核并行计算装置实现，包括以下步骤：

步骤S1，获取神经网络模型、待处理目标向量和透镜调制系数向量，将神经网络模型、待处理目标向量和透镜调制系数向量加载到处理单元。

本发明一实施例中，根据实际的深度学习过程获取神经网络模型和待处理目标向量，将神经网络模型和待处理目标向量加载到处理单元。

本发明一实施例中，基于幅度相位复用空间光调制器和一维像素阵列探测器间的安装距离，获取对应焦距为前述的预设焦距值的透镜调制系数向量，将透镜调制系数向量加载到处理单元。

步骤S2，设置层数变量k和输出向量Y，并使k＝1。

本发明一实施例中，在处理单元中设置层数变量k和输出向量Y，并对进行层数变量k进行初始化，以使k＝1。

步骤S3，判断k≤K是否成立，若是，则使

本发明一实施例中，该判断步骤可以通过处理单元来实现，当k≤K时，则对输出向量进行初始化，以使

步骤S4，确定神经网络模型第k层的神经网络权重系数矩阵及其行数和列数，将纯幅度空间光调制器和幅度相位复用空间光调制器的调制矩阵对应的行数和列数设置为与神经网络权重系数矩阵对应的行数和列数相同，将透镜调制系数向量加载到幅度相位复用空间光调制器的相位调制矩阵上，将待处理目标向量逐行加载到幅度相位复用空间光调制器的幅度调制矩阵上，将神经网络权重系数矩阵加载到纯幅度空间光调制器的幅度调制矩阵上。

具体地，设定：神经网络模型第k层的神经网络权重系数矩阵表示为：

待处理目标向量表示为：

X＝[x

透镜调制系数向量表示为：

其中，W

参考图1-2，由于幅度相位复用空间光调制器到一维像素阵列探测器的光线汇聚方向中只有x轴方向有汇聚效果，而y轴方向没有汇聚效果，为此，Φ

其中，

可知，Φ

进一步地，本发明一实施例中，利用处理单元将透镜调制系数向量发送至幅度相位复用空间光调制器，将透镜调制系数向量加载到幅度相位复用空间光调制器的相位调制矩阵上，利用处理单元将待处理目标向量发送至幅度相位复用空间光调制器，将待处理目标向量逐行加载到幅度相位复用空间光调制器的幅度调制矩阵上，使幅度调制矩阵的每一个行向量均为待处理目标向量，即幅度相位复用空间光调制器的每行都被待处理目标向量进行了相同的幅度调制，以及利用处理单元将神经网络权重系数矩阵发送至纯幅度空间光调制器，将神经网络权重系数矩阵加载到纯幅度空间光调制器的幅度调制矩阵上。

具体地，设定幅度相位复用空间光调制器的幅度调制矩阵为A，则A表示为：

其中，A

步骤S5，利用平行光源向纯幅度空间光调制器发出平行光，以使平行光分别经过纯幅度空间光调制器的幅度调制、幅度相位复用空间光调制器的幅度调制及相位调制后，汇聚到一维像素阵列探测器上。

参考图1-2，本发明一实施例中，利用平行光源向纯幅度空间光调制器发出平行光，由于平行光源、纯幅度空间光调制器、幅度相位复用空间光调制器和一维像素阵列探测器依次布置，平行光先入射到纯幅度空间光调制器，经过纯幅度空间光调制器的幅度调制后输出，输出的平行光接着入射到幅度相位复用空间光调制器，依次经过幅度相位复用空间光调制器的幅度调制及相位调制后输出。由于幅度相位复用空间光调制器与一维像素阵列探测器之间的距离为预设焦距值，在经过透镜调制系数向量的作用后，幅度相位复用空间光调制器输出的平行光会分多行汇聚到一维像素阵列探测器的多个像素点上。

基于上述设定，平行光源发出的平行光经过纯幅度空间光调制器的幅度调制后输出N×M个平行光，其中，穿过纯幅度空间光调制器的幅度调制矩阵第n行第m列的平行光

其中，w

进一步地，纯幅度空间光调制器输出的N×M个平行光经过幅度相位复用空间光调制器的幅度调制及相位调制后同样输出N×M个平行光，其中，穿过幅度相位复用空间光调制器的幅度调制矩阵及相位调制矩阵第n行第m列的平行光

其中，x

进一步地，基于上述设定，经过透镜调制系数向量的作用，幅度相位复用空间光调制器输出的N×M个平行光分N行汇聚到一维像素阵列探测器上。

步骤S6，利用一维像素阵列探测器分别对每个像素点接收的多个平行光进行单像素光电探测，获取接收平行光对应的一维向量并发送至处理单元。

本发明一实施例中，基于上述设定，经过透镜调制系数向量的作用，幅度相位复用空间光调制器输出的N×M个平行光分N行汇聚到一维像素阵列探测器上，利用一维像素阵列探测器分别对接收的每行平行光进行单像素光电探测，在光电探测后能够得到包括每行平行光的叠加结果的一维向量。

具体地，幅度相位复用空间光调制器出射光汇聚到一维像素阵列探测器时，幅度相位复用空间光调制器第1行的出射光汇聚到一维像素阵列探测器的第1个像素点，第2行的出射光汇聚到一维像素阵列探测器的第2个像素点，依次类推，第N行的出射光汇聚到一维像素阵列探测器的第N个像素点，一维像素阵列探测器对每个像素点接收的多个平行光进行单像素光电探测，得到一维向量s＝[s

基于上述设定，一维向量s＝[s

其中，s

根据上述获取的一维向量可知，通过上述过程实现了整个神经网络权重系数矩阵W和输入向量X的乘法操作，而由于W的行数N表示多核并行计算的卷积核数，所以通过上述操作实现了多核并行乘法操作。

步骤S7，利用处理单元对一维向量进行非线性运算，获取神经网络模型第k层的运算结果。

本发明一实施例中，在处理单元中对接收的一维向量中各个元素分别进行非线性运算，得到每个元素对应的运算结果，获取包括所有运算结果的输出向量，即神经网络模型第k层的运算结果，其中，非线性运算方式根据实际情况具体设置。

具体地，对一维向量中的元素进行非线性运算表示为：

y

其中，y

利用上述非线性运算方式，获取一维向量中每个元素对应的运算结果，得到输出向量Y＝[y

步骤S8，将输出向量Y赋值给待处理目标向量X，使k＝k+1，并返回步骤S3。

本发明一实施例中，由于神经网络模型的上一层的输出为下一层的输入，因此需要根据上一层的运算结果对下一层对应的待处理目标向量进行更新。

具体地，更新后的待处理目标向量可表示为：

X＝Y＝[y

步骤S9，输出输出向量Y。

本发明一实施例中，步骤S9输出的输出向量Y即为深度学习神经网络的多核并行计算结果。

本发明一实施例提供的基于空间光幅相调制的深度学习多核并行计算方法通过纯振幅空间光调制器和幅度相位复用空间光调制器的联合使用将大规模矩阵向量乘法运算映射到空间域和时间域来实现大规模矩阵向量乘法并行运算，能够显著提高深度学习并行计算速度，并且通过空间光调制器的快速切换可实现多输出和多层神经网络的运算；通过将多核并行运算转化为一维阵列的多个单像素探测，能够对矩阵向量乘法运算后的结果进行非线性运算操作，能够在降低计算复杂度和电气电子器件的算力需求的前提下提高多核同步计算速度，提高深度学习处理能力。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。此外，本文中“前”、“后”、“左”、“右”、“上”、“下”均以附图中表示的放置状态为参照。

最后应说明的是：以上实施例仅用于说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。