动态全光智能感算方法与系统

技术领域

本公开涉及计算机技术领域，尤其涉及一种动态全光智能感算方法与系统。

背景技术

随着科学技术的发展，动态光场的超高速光域处理将为后摩尔时代的高性能计算以及瞬态现象的实时分析和控制提供前所未有的前景。然而，由于计算模块的自由度有限，目前的光学计算仅能处理单幅图像，需要频繁地读写数字存储器来实现动态光场处理，这严重限制了视觉计算的速度。相关技术中，光场的时空操作可以克服仅有空间调制的自由度限制，然而，由于空间和时间光场的固有尺寸不匹配，高度并行化的空间光场和高速变化的时间光场之间的计算和转换仍然具有挑战性。

发明内容

本公开提供了一种动态全光智能感算方法与系统，主要目的在于实现时空维度的光学计算。

根据本公开的一方面，提供了一种动态全光智能感算方法，包括：

获取目标动态场景输入的时间帧；

对所述时间帧进行空间调制，得到所述时间帧对应的空间信息；

基于空间复用技术和波分复用技术，将所述空间信息映射至光学时间序列中，得到所述时间帧对应的时序光学缓存。

根据本公开的另一方面，提供了一种动态全光智能感算系统，包括：

时间帧获取单元，用于获取目标动态场景输入的时间帧；

空间调制单元，用于对所述时间帧进行空间调制，得到所述时间帧对应的空间信息；

时空转换单元，用于基于空间复用技术和波分复用技术，将所述空间信息映射至光学时间序列中，得到所述时间帧对应的时序光学缓存。

根据本公开的另一方面，提供了一种终端，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述一方面中任一项所述的方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述一方面中任一项所述的方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现前述一方面中任一项所述的方法。

在本公开一个或多个实施例中，通过获取目标动态场景输入的时间帧；对时间帧进行空间调制，得到时间帧对应的空间信息；基于空间复用技术和波分复用技术，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存。因此，通过空间复用技术和波分复用技术以匹配高度并行的空间输出和高速的时间输入，并充分保留内容信息，空间内容可以被处理并映射到并行的时间动态序列上，形成一个与时间计算兼容的时空特征空间，可以将光视觉计算的维度从2D空间图像扩展到3D时空光场，可以有效地计算和转换空间光场和时间光场。同时，通过光学时序缓存存储并合并快速变化的光信号，可以使得特征在光域中被延迟和复现。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1示出本公开实施例提供的第一种动态全光智能感算方法的流程示意图；

图2示出本公开实施例提供的第二种动态全光智能感算方法的流程示意图；

图3示出本公开实施例提供的一种空间复用技术的原理示意图；

图4示出本公开实施例提供的一种波分复用技术的原理示意图；

图5示出本公开实施例提供的第三种动态全光智能感算方法的流程示意图；

图6（a）示出本公开实施例提供的一种时空光计算方法的计算结构示意图；

图6（b）示出本公开实施例提供的一种MVM数学模型的计算结构示意图；

图7示出本公开实施例提供的一种时空光计算方法的架构示意图；

图8（a）示出本公开实施例提供的一种SMUX-STPC网络的系统示意图；

图8（b）示出本公开实施例提供的一种SMUX-STPC网络的结构示意图；

图8（c）示出本公开实施例提供的一种SMUX-STPC网络的学习前后的结果示意图；

图8（d）示出本公开实施例提供的一种SMUX-STPC网络的时序演变示意图；

图8（e）示出本公开实施例提供的一种SMUX-STPC网络的混淆矩阵示意图；

图8（f）示出本公开实施例提供的一种SMUX-STPC网络的识别性能示意图；

图8（g）示出本公开实施例提供的一种SMUX-STPC网络的人体动作识别示意图；

图9（a）示出本公开实施例提供的一种WMUX-STPC网络的结构示意图；

图9（b）示出本公开实施例提供的一种WMUX-STPC网络的全连接结构示意图；

图9（c）示出本公开实施例提供的一种WMUX-STPC网络的调制示意图；

图9（d）示出本公开实施例提供的一种WMUX-STPC网络的调制结果示意图；

图9（e）示出本公开实施例提供的一种WMUX-STPC网络的数据集展示示意图；

图9（f）示出本公开实施例提供的一种WMUX-STPC网络的输出示意图；

图9（g）示出本公开实施例提供的一种WMUX-STPC网络的非线性激活示意图；

图9（h）示出本公开实施例提供的一种WMUX-STPC网络的结果示意图；

图9（i）示出本公开实施例提供的一种WMUX-STPC网络的动态监测示意图；

图10示出本公开实施例提供的一种动态全光智能感算装置的结构示意图；

图11是用来实现本公开实施例的动态全光智能感算方法的终端的框图。

具体实施方式

以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

高速处理动态光场已被证明对机器视觉和科学发现具有重要意义。受益于人工神经网络的发展，电视觉计算已在各种应用中取得了卓越的表现。高速动态视觉计算，如跟踪、检测和识别，在包括自动驾驶、智能机器人等随时间变化的场景中变得至关重要。不幸的是，硅晶体管的集成密度正逐渐接近物理极限，使得电子计算机的计算速度趋于饱和。在另一方面，超快光场的研究对科学研究至关重要，重复探测和连续成像技术能够支持记录低至纳秒和皮秒级的瞬态过程。然而，超快视觉动态的重建和分析需要用电子计算机进行数字传输和处理，对电子后处理的依赖阻碍了对超快现象的实时分析和反馈控制。

不同于仅依靠电子计算机，光计算可以缓解电计算的瓶颈，并通过低损耗和超快的光传播加速光场处理。用相干光集成电路、片上谐振器、衍射光处理器、光子相变材料和导波色散等进行高速线性乘法可以对光子计算的优势进行验证。结果表明，光可以用于无处不在的计算，包括非线性神经元激、NP-hard优化、方程求解和积分以及微分。基于线性和非线性光学计算范式，光神经网络能够执行机器视觉任务，如边缘检测、图像分类、显著性检测和人类动作识别等等。

然而，尽管在光计算方面取得了进展，但最先进的光计算方法并没有能力处理超快动态光场。目前，为了处理时空光场，动态输入通常是在空间域中顺序计算的，而不同时间的输出需要用数字电技术进行传输、存储和进一处理。尽管这种方法利用了光传播的高度空间平行性的优势，但数字传输和存储器的读写操作严重限制了推理的速度，这抑制了光学在高速计算中的优点。

在最先进的电子计算机上，存储器的读/写操作与超过一百纳秒的延迟有关，而神经网络结构中的顺序数据需要频繁的读/写，这使得纳秒级的动态事件无法得到实时处理，从而抑制了人工神经网络的超高速应用。对存储器的依赖也扼杀了现有光计算技术对光的全部潜力的利用。

已有工作证明光场的时空操作可以克服仅有空间调制的自由度限制。因此，兼顾空间和时间的光计算系统有可能消除数字计算瓶颈，有潜力处理超快光场。尽管非线性预处理的时序计算系统已经在元音识别、序列数据分类、时间序列预测等方面得到了应用，但这些解决方案主要是针对一维数据，计算规模的限制使其不能有效地处理高维光场。目前为止仍然缺乏一个高速兼具光场的空间和时间特性的光计算解决方案，这限制了先进机器视觉架构的快速实现和超高速动态的实时分析。在技术上，由于空间和时间光场的固有尺寸不匹配，高度并行化的空间光场和高速变化的时间光场之间的计算和转换仍然具有挑战性。技术上来说，缺乏弥合空间和时间光场维度不匹配的技术，以及缺乏一般性的可分析时空光计算模型，抑制了超高速时空光学计算的发展。

下面结合具体的实施例对本公开进行详细说明。

在第一个实施例中，如图1所示，图1示出本公开实施例提供的第一种动态全光智能感算方法的流程示意图，该方法可依赖于计算机程序实现，可运行于进行动态全光智能感算方法的装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

其中，动态全光智能感算装置可以是具有动态全光智能感算功能的终端，该终端包括但不限于：可穿戴设备、手持设备、个人电脑、平板电脑、车载设备、智能手机、计算设备或连接到无线调制解调器的其它处理设备等。在不同的网络中终端可以叫做不同的名称，例如：用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置、蜂窝电话、无绳电话、个人数字处理（personal digital assistant，PDA）、第五代移动通信技术（5th Generation MobileCommunication Technology，5G）网络、第四代移动通信技术（the 4th generation mobilecommunication technology，4G)网络、第三代移动通信技术（3rd-Generation，3G)网络或未来演进网络中的终端等。

具体的，该动态全光智能感算方法包括：

S101，获取目标动态场景输入的时间帧；

根据一些实施例，目标动态场景指的是需要进行动态全光智能感算的场景。该目标动态场景并不特指某一固定场景。该目标动态场景例如可以为高维动态光场。

易于理解的是，当终端进行动态全光智能感算时，来自目标动态场景的毫秒到纳秒级的时变光场将通过光自然传播输入到此网络中，从而，终端可以获取到目标动态场景输入的时间帧。

S102，对时间帧进行空间调制，得到时间帧对应的空间信息；

根据一些实施例，空间调制指的是时间帧对应的空间光场的相位和/或振幅被快速变化或静态的空间掩码所调制的过程。

需要说明的是，当从空间信号过渡到时间信号时，光场模式多样性急剧下降，直接将空间内容耦合到单模的时间通道中将会导致大部分信息的丢失。

易于理解的是，当获取到目标动态场景输入的时间帧时，可以对该时间帧进行空间调制，得到时间帧对应的空间信息。

S103，基于空间复用技术和波分复用技术，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存。

根据一些实施例，空间复用（Space Division Multiplexing，SMUX）技术指的是来自空间模块的高分辨率输出被划分为子分区，每个分区的光被耦合到多个独立的时间通道中的技术。

在一些实施例中，波分复用（wavelength-division multiplexing，WMUX）技术指的是空间光被编码在不同的波长上，宽频多波长的光信号被送入同一通道进行高速计算的技术。

易于理解的是，当获取到时间帧对应的空间信息时，可以基于空间复用技术和波分复用技术，增加信息容量，在高度并行的空间维度和高速的时间维度之间进行衔接，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存。

综上，本公开实施例提供的方法，通过获取目标动态场景输入的时间帧；对时间帧进行空间调制，得到时间帧对应的空间信息；基于空间复用技术和波分复用技术，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存。因此，通过空间复用技术和波分复用技术以匹配高度并行的空间输出和高速的时间输入，并充分保留内容信息，空间内容可以被处理并映射到并行的时间动态序列上，形成一个与时间计算兼容的时空特征空间，可以将光视觉计算的维度从2D空间图像扩展到3D时空光场，可以有效地计算和转换空间光场和时间光场。同时，通过光学时序缓存存储并合并快速变化的光信号，可以使得特征在光域中被延迟和复现。

请参见图2，图2示出本公开实施例提供的第二种动态全光智能感算方法的流程示意图。该方法可以由终端执行。具体的，该动态全光智能感算方法包括：

S201，获取目标动态场景输入的时间帧；

根据一些实施例，当终端进行动态全光智能感算时，可以通过时空（ST）计算单元获取目标动态场景输入的时间帧。

在一些实施例中，ST计算单元包括一个空间计算模块和一个时间计算模块。该空间计算模块和时间计算模块可以通过SMUX技术或WMUX技术连接，具体而言，空间输出与时间输入相连接。通过空间和时间操作的组合，动态光场在时空光域中以光速被连续处理，ST计算单元可以从高维动态光场中充分提取信息，并从场景内容推断出语义信息。

易于理解的是，当进行动态全光智能感算时，可以通过ST计算单元获取目标动态场景输入的时间帧。

S202，采用至少一个空间掩码，对时间帧进行至少一次空间调制，得到至少一个空间特征空间；

根据一些实施例，可以通过ST计算单元中的空间计算模块对时间帧进行空间调制，此时，由于自由空间光传播具有高度并行性，大量计算操作在空间模块中以光速运行，空间信息从每个时间切片中被充分提取。

在一些实施例中，N个快速变化的空间掩码可以扩展N倍于单个时间帧图像的通道 深度，可以在时间维度上拓宽空间特征空间。例如，可以得到时间帧I

S203，根据至少一个空间特征空间，确定时间帧对应的空间信息；

易于理解的是，当获取到至少一个空间特征空间

S204，确定空间信息对应的波长输入类型；

根据一些实施例，波长输入类型指的是时间帧图像对应的波长类型。该波长输入类型包括但不限于单波长输入、多波长输入等。

易于理解的是，当确定时间帧对应的空间信息时，可以确定空间信息对应的波长输入类型。

S205，若波长输入类型为单波长输入，则基于空间复用技术将空间信息转换为时间信息；

根据一些实施例，图3示出本公开实施例提供的一种空间复用技术的原理示意图。如图3所示，基于空间复用技术确定空间信息对应的时间信息时，可以将至少一个空间特征空间中每一个空间特征空间划分为至少一个空间特征子空间，采用高速空间调制器分别对至少一个空间特征子空间进行调制，得到至少一个空间特征空间对应的至少一个时间特征信息；根据至少一个空间特征空间对应的至少一个时间特征信息，确定空间信息对应的时间信息。

在一些实施例中，时间信息包括至少一个时间特征信息，时间特征信息与空间特征空间一一对应。时间特征信息包括至少一个时间通道，时间通道与空间特征子空间一一对应。

在一些实施例中，每一个空间特征空间划分为至少一个空间特征子空间时，每个分区的空间特征子空间共享一个时间通道。

在一些实施例中，高速空间调制器即空间光调制器有数百万调制像素，能够处理高空间分辨率的动态输入。输入的空间信息由高速空间调制器调制，信号在空域中被压缩，同时在时间上被扩展。

S206，若波长输入类型为多波长输入，则基于波分复用技术将空间信息转换为时间信息；

根据一些实施例，图4示出本公开实施例提供的一种波分复用技术的原理示意图。如图4所示，将至少一个空间特征空间编码到至少一种波长中，并通过波长多路复用，将至少一个空间特征空间编码到至少一个光谱中；根据至少一个光谱，编码空间信息对应的时间信息。

在一些实施例中，空间特征空间与光谱一一对应。

在一些实施例中，基于波分复用技术，空间信息中的空间特征可以被编码到不同的波长上，并在单个时间通道中进行复用。通过WMUX多路复用，所有的空间信息可以在光谱上得到保存，而不需要额外的高速空间调制，从而支持对超高速动态的处理。

易于理解的是，当确定时间帧对应的空间信息（

S207，采用权重时序对时间信息进行时序调制，得到时间帧对应的光学时序；

根据一些实施例，权重时序包括至少一个权重值，权重值与时间特征信息一一对应。

在一些实施例中，可以利用矩阵-向量乘法（MVM）数学模型，分别控制至少一个权重值与至少一个时间特征信息相乘，得到时间帧对应的光学时序。

例如，当获取到空间信息（

在一些实施例中，该矩阵-向量乘法数学模型可以为矩阵-向量乘法器，其可以在时序光场中实现加权求和运算。同时通过联合空间计算模块和时间计算模块，可以实现时空维度的复杂计算。

S208，采用传递函数对光学时序进行处理，得到时间帧对应的时序光学缓存。

根据一些实施例，传递函数

易于理解的是，当获取到时间帧对应的光学时序（

综上，本公开实施例提供的方法，通过获取目标动态场景输入的时间帧；采用至少一个空间掩码，对时间帧进行至少一次空间调制，得到至少一个空间特征空间；根据至少一个空间特征空间，确定时间帧对应的空间信息；确定空间信息对应的波长输入类型；若波长输入类型为单波长输入，则基于空间复用技术将空间信息转换为时间信息；若波长输入类型为多波长输入，则基于波分复用技术将空间信息转换为时间信息；采用权重时序对时间信息进行时序调制，得到时间帧对应的光学时序；采用传递函数对光学时序进行处理，得到时间帧对应的时序光学缓存。因此，通过空间复用技术和波分复用技术以匹配高度并行的空间输出和高速的时间输入，并充分保留内容信息，空间内容可以被处理并映射到并行的时间动态序列上，形成一个与时间计算兼容的时空特征空间，可以将光视觉计算的维度从2D空间图像扩展到3D时空光场，可以有效地计算和转换空间光场和时间光场。同时，通过光学时序缓存存储并合并快速变化的光信号，可以使得特征在光域中被延迟和复现。

请参见图5，图5示出本公开实施例提供的第三种动态全光智能感算方法的流程示意图。该方法可以由终端执行。具体的，该动态全光智能感算方法包括：

S301，按照时间顺序依次获取目标动态场景输入的至少一个时间帧，得到至少一个时间帧对应的至少一个时序光学缓存；

根据一些实施例，在时间计算模块中，存储和连接是通过构建一个波导延伸和循环的光学时序缓存来实现的，其能提供皮秒到毫秒的时间缓冲。

在一些实施例中，按照时间顺序，每当光在时序缓存中循环一次，即可以得到一个 时间帧对应的初始时序光学缓存，接着，该初始时序光学缓存就会被传递函数

S302，按照时间顺序依次对至少一个时序光学缓存进行合并，得到至少一个时间帧对应的动态光场时序光学缓存；

根据一些实施例，按照时间顺序依次对至少一个时序光学缓存进行合并时，时空调制与缓冲合并过程相结合，并对时空序列进行全连接，重复进行，直至动态输入的结束，可以得到至少一个时间帧对应的动态光场时序光学缓存。

在一些实施例中，图6（a）示出本公开实施例提供的一种时空光计算方法的计算结 构示意图。如图6（a）所示，输入的时空光场被建模为一个3维时间堆栈，即由一系列图像（时 间）帧（图6（a）中的3帧，

在一些实施例中，图6（b）示出本公开实施例提供的一种MVM数学模型的计算结构 示意图。如图6（a）所示，矢量中的每个乘法器在时域调制器处与一列乘法器相乘。然后，被 乘的信号在光学时序缓存中循环，并反复累加。函数

S303，对动态光场时序光学缓存进行光学非线性激活，得到激活后的动态光场时序光学缓存；

根据一些实施例，在对动态光场时序光学缓存进行光学非线性激活之前，可以通过结合自增益调制和交叉增益调制效应，构建一个多变量的非线性神经元激活函数，具体公式如下：

其中，

S304，对激活后的动态光场时序光学缓存进行解复用，得到激活后的动态光场时序光学缓存对应的动态光场空间信息；

易于理解的是，当获取到激活后的动态光场时序光学缓存时，可以对激活后的动态光场时序光学缓存进行解复用，得到激活后的动态光场时序光学缓存对应的动态光场空间信息。

S305，根据动态光场空间信息，确定至少一个时间帧对应的动态光场特征信息。

根据一些实施例，图7示出本公开实施例提供的一种时空光计算方法的架构示意图。如图7所示，该时空光计算架构（STPC）由ST计算单元的级联组成。在时空光场上编码的动态场景进入STPC中，时序信号通过时间调制进行加权，来自空间和时间调制的即时计算结果被存储并合并到时序缓存中，直至动态输入的结束。接着，来自ST计算单元的输出被光非线性激活，并从缓存中解复用，之后送入后续的ST计算单元进行后续计算，最后一个ST计算单元进行最终决策。最终，可以推断出光场的特征，包括动作类型、闪烁模式等。

在一些实施例中，该STPC可以处理动态光场，而且没有内存读/写延迟，因此可以实现高速机器视觉以及超快动态过程的实时分析，可以为超高速高级光机器视觉奠定基础，并为无人系统、智能机器人、自动驾驶和超高速科学计算铺平道路。

综上，本公开实施例提供的方法，通过按照时间顺序依次获取目标动态场景输入的至少一个时间帧，得到至少一个时间帧对应的至少一个时序光学缓存；按照时间顺序依次对至少一个时序光学缓存进行合并，得到至少一个时间帧对应的动态光场时序光学缓存；对动态光场时序光学缓存进行光学非线性激活，得到激活后的动态光场时序光学缓存；对激活后的动态光场时序光学缓存进行解复用，得到激活后的动态光场时序光学缓存对应的动态光场空间信息；根据动态光场空间信息，确定至少一个时间帧对应的动态光场特征信息。因此，通过空间复用技术和波分复用技术以匹配高度并行的空间输出和高速的时间输入，并充分保留内容信息，空间内容可以被处理并映射到并行的时间动态序列上，形成一个与时间计算兼容的时空特征空间，可以将光视觉计算的维度从2D空间图像扩展到3D时空光场，可以有效地计算和转换空间光场和时间光场。同时，通过光学时序缓存存储并合并快速变化的光信号，可以使得特征在光域中被延迟和复现。

以一个场景举例，本公开还提供了一种用于高速动态场景分析的空分复用（SMUX）STPC网络。

图8（a）示出本公开实施例提供的一种SMUX-STPC网络的系统示意图。如图8（a）所示，该STPC物理实验的学习过程包括模型训练和系统学习。整个系统由三部分组成：带有输入和目标对的数据集、实验系统和实验输出。实验系统包含模型参数和系统参数。模型参数包括STPC的权重，主要涉及空间计算掩码和时间调制权重，可以通过训练输入和目标对学习。系统参数表征了空间和时间模块的物理实验系统的传递函数，它可以用随机输入进行初始标定。给定训练输入和目标对，可以用标定的系统参数对系统进行预训练，直到收敛。由于校准数据中存在偏差和噪声，实验结果会与模拟结果有偏差。在这里，可以设计一个系统学习过程来精细地训练系统参数，此时模型参数是固定的，系统参数被更新以适应于更高精度的实验输出。在完成系统学习过程后，系统将更好地与数值预测相对应，可以使用细化的系统参数进行模型参数的最终训练和实验。用实验输入和输出来学习表征物理系统传递函数的系统参数，可以提高系统建模的准确率。

图8（b）示出本公开实施例提供的一种SMUX-STPC网络的结构示意图。如图8（b）所示，一个由六个空间复用分区组成的SMUX-STPC网络被用来识别高速视频动态。每个分区都进行了空间和时间计算，以推断出最终结果，具体而言，在每个分区中，5帧输入中的每一帧都被数字微镜设备（DMD）上的2个空间掩码调制，工作帧率为8,024fps。将每个空间计算模块输出端产生的10帧进行汇总，可以得到包含时空信息的堆叠维度（6，10）。然后，这六个空间计算模块将被耦合成时间通道。在时空计算模块中，半导体光放大器（SOA）将通过调制注入电流进行时空乘法。一个光电回路由光纤缓存、低噪声放大器（LNA）和强度调制器（MOD）构成，该回路主要用于缓冲和中继输入。通过一般时空矩阵-向量乘法单元中的10×5时空线性连接，计算来自空间模块的（6，10）时空输出，形成维度为（6，5）的时空堆栈，最终得到推理结果。

需要说明的是，对该SMUX-STPC网络可以在动态的N-MNIST数据集手写数字分类任务上进行实验测试，该N-MNIST数据集包括10类手写数字的时空尖峰事件。每个样本都被预处理成一连串的五张尖峰图，DMD像素分辨率为541×541。为了校准系统参数，可以首先测量了DMD、SOA、光学时序缓存的特性，并在预训练过程中使用这些传递函数进行系统模拟。

图8（c）示出本公开实施例提供的一种SMUX-STPC网络的学习前后的结果示意图。如图8（c）所示，由于校准输入和数据集输入的分布不同，以及校准过程中存在的测量噪声，随机选择的64个训练序列的实验输出与模拟结果有明显的差异。因此，可以进一步采用这些从训练集中随机选择的64个序列作为系统学习子集，根据输入数据和测量输出对DMD的耦合矩阵以及SOA的系统参数进行精细调整。在系统学习中，以实验结果为样本，系统参数被更新。经过系统学习和额外的训练，实验测量结果可以更好地对应于预期的结果，空间计算和时间乘法的相对误差分别从12.05%、17.48%下降到了1.20%、2.91%，分别减少了90.04%和83.35%。

图8（d）示出本公开实施例提供的一种SMUX-STPC网络的时序演变示意图。如图8（d）所示，其中，圆圈为仿真结果，线条为实验输出，其显示了千赫兹计算动态的时间计算模块的缓存中的时序演变。时空乘法输出中包含10个耦合的输入，每个输入通过SOA加权5次。在时间缓冲器输出中，输入光与缓冲光以固定时间步长为周期进行合并，之后一起通过传输函数，一共有十个缓冲和合并的周期。系统输出将在第11个周期时产生（阴影框）。因此，时空缓存以8,024 fps的帧率进行10×5的全连接，可以对总的（6，5）维时空输出进行空间计算，将物体分类为十个数字中的一个。

在系统学习之前，网络可以通过随机输入的数据进行标定，实验精度较仿真值下降到53.03%，远远低于98.49%的训练准确率。在系统学习之后，从测试集中随机选择了500个测试序列来评估盲测的准确性。总体实验准确率为88.4%，与模拟测试准确率92.1%相比，效果很好。图8（e）示出本公开实施例提供的一种SMUX-STPC网络的混淆矩阵示意图。如图8（e）所示，超过一半的类别分类准确率超过90%。

图8（f）示出本公开实施例提供的一种SMUX-STPC网络的识别性能示意图。如图8（f）所示，对单一和动态输入的识别性能进行比较，动态输入（5帧）和单帧输入是用STPC中不同数量的空间计算掩码计算的。带有10个空间计算掩码（F5-M10）的动态输入的仿真帧准确率为85.32%。尽管单一输入配备了与动态输入相同数量的参数（F5-M10和F1-M10），但与参数较少的类似模型（F1-M1，71.20%的准确率）相比，F1-M10架构（73.98%的准确率）只有微小的改善，这证明了能够处理动态光场的时空光计算架构的重要性。在系统学习之后，实验帧的准确性从48.49%增加到80.45%，接近86.81%的模拟准确性。

另外，还计算了由赢家通吃策略对同一视频的所有帧投票的视频精确度。STPC的实验视频准确率为90.74%（成功地对54个测试视频中的49个进行了分类），这与模拟视频准确率相同，同时与最先进的结果（每秒20个序列）相比，帧率增加了40倍。并且，该STPC只包括40560个二进制空间权重，300个12位的时间权重和300个16位的线性权重，总和仅仅是6.20千字节的权重，从而使参数的数量减少了三个数量级（超过一百万个8位权重）。

为了进一步验证SMUX-STPC识别高速动态运动的能力，可以在KTH人类动作视频数据集上进行实验。该数据集包含由25名受试者进行的6种不同动作的视频：拳击、拍手、挥手、慢跑、跑步和走路。视频被进一步分解为训练和测试数据集的序列，并被送入构建的SMUX-STPC进行识别，每个输入序列由5帧组成。STPC网络根据5帧输入的内容来确定样本的类别。图8（g）示出本公开实施例提供的一种SMUX-STPC网络的人体动作识别示意图。如图8（g）所示，展示了“挥手”和“走路”两个输入以及相应的时空动态。对于这两个不同的类别，第一个时间周期的时空输出高度相似，表明单帧图像的多样性有限，基于单帧图像的人类动作识别具有挑战性。随着更多的帧被送入系统，不同动作的独特特征开始积累。

综上，本公开实施例提供的SMUX-STPC网络能够以超过kHz的帧率处理日常视觉场景，在性能相似的基础上，速度和参数效率比现有方法提高了10倍以上。通过采用系统学习方法，将参数化的物理系统与计算模型联合优化，可以使时空光学计算的精度提高了80%以上，使得快速精确计算空间和时间变化的光场成为了可能。并且，所提出的时空光计算架构在基准的脉冲图像序列分类和人体动作识别任务上以极高的参数效率取得了卓越的性能，速度比现有方法提高了40倍，超过了电子计算处理器，同时将推理时间减少了一个数量级以上。时空光场计算在高维光学特征空间的综合信息提取中起着至关重要的作用，同时没有传输和存储的数字负担，因此有希望用于复杂视觉场景的高速分析。

以一个场景举例，本公开还提供了一种用于纳秒级动态光场识别的波分复用（WMUX）全光非线性STPC网络。

图9（a）示出本公开实施例提供的一种WMUX-STPC网络的结构示意图。如图9（a）所示，为了保留时间通道中的空间信息并实现大光谱带宽的全过程光学处理，构建了一个两层全光学非线性WMUX-STPC网络。具体的，空间光场被编码到波长维度上，并被复用（MUX）到单通道上。不同的空间（波长）通道共享乘法权重，并被反复累加，即时间通道中的光场动态被加权并在全光缓存中反复累加。在每个时间周期上，空间信息在空间上被压缩，并被保存到光谱上。因此，通过采用光调制器的宽带调制特性，空间内容是并行计算的。在各层之间，一个全光非线性模块接收多光谱输入，输出在非线性激活后进行空间解复用。两层之间的全光非线性可以通过受激发射的非线性增益实现。当空间输入被编码在不同的波长上时，得益于大的光谱带宽，多波长输入可以被复用到时间通道而不牺牲空间信息。因此，WMUX-STPC的结构适合于处理超高速的视觉动态。

图9（b）示出本公开实施例提供的一种WMUX-STPC网络的全连接结构示意图。如图9（b）所示，在空间计算模块中，空间内容是通过数字微镜设备（DMD）上的静态空间调制掩码以光速计算出来的。之后，空间内容被挤压到一个单一的时间光纤通道中，并通过一个40GHz的强度调制器（MOD）和一个0.6米的光纤缓存在时间上实现了加权全连接。具体来说，多光谱空间输出被复用到时间通道，用40GHz的MOD进行调制，并在由0.6米光纤环组成的光学时序缓存中反复累加。

图9（c）示出本公开实施例提供的一种WMUX-STPC网络的调制示意图。如图9（c）所示，其展示了来自半导体光放大器（SOA）的受激发射过程的全光非线性，具有非线性自增益调制和互增益调制。结果说明SOA的增益系数与输入功率有关，并随着输入功率的增加而减少。对于具有相同波长的输入和输出信号的自增益调制，输入功率的增加将导致输出功率的增加，但增益系数会下降。而对于多光谱输入，一个波长的输入功率增加将降低SOA的总增益，从而导致其他波长的输出功率下降。

图9（d）示出本公开实施例提供的一种WMUX-STPC网络的调制结果示意图。如图9（d）所示，左图是实验测得的SOA高度非线性区域，相同颜色的数据点表示控制功率相同，右图是自增益调制和交叉增益调制的测量结果。具体而言，利用高度非线性区域，通过扫描Ch1和Ch2的输入功率，测量Ch1的输出功率（Ch2作为控制通道），可以清楚地观察到总输入功率相关的增益系数。当增加一个波长的输入功率时，相应通道的输出功率将非线性地增加，而另一通道的输出将非线性地减少，这是总增益下降的结果。相关技术中光学非线性神经元激活函数大多集中在单变量输入模型上，即特定通道的输出仅取决于其输入。本申请通过对不同光谱通道的自调制和互调制非线性的建模，提供了一个新颖的多变量光学非线性函数。

在实验中配置了高速动态场景，包含两个球形物体在纳秒级的时间尺度内闪烁（每帧3.57ns），以验证所提出方法在高速处理中的性能。可以构建一个具有两种不同闪动顺序的序列数据集：物体1先闪动或物体2先闪动。每个动态包含三帧，其中一个物体将在一个时间段内闪烁。训练数据集包含180个样本，测试数据集包含60个样本，每个样本有不同的闪烁强度。在实验中，由于现有相机的帧率有限，要捕捉到频繁和连续的闪动模式并分辨出闪动的顺序并不容易。图9（e）示出本公开实施例提供的一种WMUX-STPC网络的数据集展示示意图。如图9（e）所示，动态数据集的例子被放慢，并用InGaAs相机监测。使用主成分分析（PCA）将数据集的序列投射到二维流形中，两个类别的数据分布在三个聚类中，并且相互重叠，这些聚类是不可线性分离的。这是因为类别特征源于两个物体的空间区分和时间闪现顺序的关联性。

同时，一个两层的WMUX-STPC模型可以被用来对基于事先校准参数的动态场景进行分类。具体来说，每一帧输入的空间内容被编码在两个不同的波长上。空间输入通过数字微镜设备（DMD）在空间上进行振幅加权。此后，信号通过波分复用被压缩到一个光纤通道中。在时间通道中，3×2和2×2的时间加权连接分别是在WMUX-STPC网络的第一层和第二层通过强度调制器和光学时序缓存实现的。第一层的多光谱输出进入SOA并被非线性激活，输出最终被DWDM多路复用器解复用并送入第二层的时间模块，用于推断最终的计算结果。

图9（f）示出本公开实施例提供的一种WMUX-STPC网络的输出示意图。如图9（f）所示，展示了WMUX-STPC第一层的第一类样本和第二类样本的输出动态，帧间隔为3.57 ns，时间加权槽的持续时间为1.78 ns。

图9（g）示出本公开实施例提供的一种WMUX-STPC网络的非线性激活示意图。如图9（g）所示，其展示了测试数据集的非线性激活情况，不同波长的输出与各自波长的输入及总输入的关系。多波长的输入-输出转移关系是高度非线性的，因为输出功率水平取决于各自波长的输入功率和总输入功率。

图9（h）示出本公开实施例提供的一种WMUX-STPC网络的结果示意图。如图9（h）所示，通过非线性多层结构，WMUX-STPC网络成功地对整个测试数据集进行了分类，并且与仿真结果非常一致。通过设置适当的阈值（虚线），数据集的前半部分（第1类）和后半部分（第2类）被清晰地区分。

图9（i）示出本公开实施例提供的一种WMUX-STPC网络的动态监测示意图。如图9（i）所示，之后该系统被配置为连续工作模式，并监测该连续高速动态，帧率为10MHz，帧时间为3.57ns。其中，输入序列以高达10MHz的重复率闪烁。在连续序列中，只有一个序列的闪烁是不同的，WMUX-STPC网络可以成功确定离群点的位置。这表明，全光WMUX-STPC网络能够进行实时处理，响应时间为纳秒级，最终输出可用于系统的实时反馈控制。

另外，为了进一步提高系统的处理速度，WMUX-STPC中的光学时序缓存的往返延迟可以在光子集成电路平台上最小化。利用绝缘体上的低损耗氮化硅平台，通过数值验证，一个具有1.4毫米环长的环形谐振器可以将延迟时间减少到10ps。相对而言，电子系统中的矩阵乘法与存储器的读/写时间要长得多。相比之下，每个读-算-写周期平均消耗至少4微秒，这比所考虑的动态光场框架时间（3.57ns）长三个数量级。

综上，本公开实施例提供的WMUX-STPC网络提升了光子神经网络的性能，使动态视觉场景的实时分析降低至纳秒量级，速度可以扩展到皮秒量级，远远超过了图像传输和内存访问的时间。其支持多波长输入的超高速光机器视觉，并允许在3.57纳秒每帧的时间内辨别视觉动态变化。多变量全光非线性的引入有效提高了STPC网络在线性不可分割问题上的性能，其两层的全光非线性STPC网络以纳秒级的时间量级识别超快的瞬态序列，不受内存读/写延迟的影响。另外，通过在时空计算领域联合优化计算、对接和缓冲模块，消除了内存读写的负担。此外，随着最近光调制器和检测器的进步，其带宽能够达到上百GHz，加上低损耗的光子集成电路，STPC的时间分辨率有望超过10ps甚至更高。高速和连续计算的能力不仅加速了神经网络的计算，还支撑了对非重复瞬时视觉现象的实时分析，这将有助于实现对GHz以上频率的动态光场光芯片反馈控制。时空光计算架构拓宽了光子计算的范围，为超快的先进机器视觉以及光域的瞬态实验控制铺平了道路。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

下述为本公开系统实施例，可以用于执行本公开方法实施例。对于本公开系统实施例中未披露的细节，请参照本公开方法实施例。

请参见图10示出本公开实施例提供的一种动态全光智能感算系统的结构示意图。该动态全光智能感算系统可以通过软件、硬件或者两者的结合实现成为系统的全部或一部分。该动态全光智能感算系统100包括时间帧获取单元110、空间调制单元120和时空转换单元130，其中：

时间帧获取单元110，用于获取目标动态场景输入的时间帧；

空间调制单元120，用于对时间帧进行空间调制，得到时间帧对应的空间信息；

时空转换单元130，用于基于空间复用技术和波分复用技术，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存。

可选的，空间调制单元120用于对时间帧进行空间调制，得到时间帧对应的空间信息时，具体用于：

采用至少一个空间掩码，对时间帧进行至少一次空间调制，得到至少一个空间特征空间；

根据至少一个空间特征空间，确定时间帧对应的空间信息。

可选的，时空转换单元130用于基于空间复用技术和波分复用技术，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存时，具体用于：

确定空间信息对应的波长输入类型；

若波长输入类型为单波长输入，则基于空间复用技术确定空间信息对应的时间信息，其中，时间信息包括至少一个时间特征信息，时间特征信息与空间特征空间一一对应；

若波长输入类型为多波长输入，则基于波分复用技术确定空间信息对应的时间信息；

采用权重时序对时间信息进行时序调制，得到时间帧对应的光学时序，其中，权重时序包括至少一个权重值，权重值与时间特征信息一一对应；

采用传递函数对光学时序进行处理，得到时间帧对应的时序光学缓存。。

可选的，时空转换单元130用于采用权重时序对时间信息进行时序调制，得到时间帧对应的时序光学缓存时，具体用于：

利用矩阵-向量乘法数学模型，分别控制至少一个权重值与至少一个时间特征信息相乘，得到时间帧对应的光学时序。

可选的，时空转换单元130用于基于空间复用技术确定空间信息对应的时间信息时，具体用于：

将至少一个空间特征空间中每一个空间特征空间划分为至少一个空间特征子空间，采用高速空间调制器分别对至少一个空间特征子空间进行调制，得到至少一个空间特征空间对应的至少一个时间特征信息，其中，时间特征信息包括至少一个时间通道，时间通道与空间特征子空间一一对应；

根据至少一个空间特征空间对应的至少一个时间特征信息，确定空间信息对应的时间信息。

可选的，时空转换单元130用于基于波分复用技术确定空间信息对应的时间信息时，具体用于：

将至少一个空间特征空间编码到至少一种波长中，并通过波长多路复用，将至少一个空间特征空间编码到至少一个光谱中，其中，空间特征空间与光谱一一对应；

根据至少一个光谱，确定空间信息对应的时间信息。

可选的，

时间帧获取单元110，还用于按照时间顺序依次获取目标动态场景输入的至少一个时间帧，得到至少一个时间帧对应的至少一个时序光学缓存；

时空转换单元130，还用于按照时间顺序依次对至少一个时序光学缓存进行合并，得到至少一个时间帧对应的动态光场时序光学缓存。

可选的，该动态全光智能感算系统100还包括缓存激活单元140、缓存解复用单元150和信息确定单元160，用于在得到至少一个时间帧对应的动态光场时序光学缓存之后：

缓存激活单元140，用于对动态光场时序光学缓存进行光学非线性激活，得到激活后的动态光场时序光学缓存；

缓存解复用单元150，用于对激活后的动态光场时序光学缓存进行解复用，得到激活后的动态光场时序光学缓存对应的动态光场空间信息；

信息确定单元160，用于根据动态光场空间信息，确定至少一个时间帧对应的动态光场特征信息。

需要说明的是，上述实施例提供的动态全光智能感算系统在执行动态全光智能感算方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的动态全光智能感算系统与动态全光智能感算方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

综上，本公开实施例提供的系统，通过时间帧获取单元获取目标动态场景输入的时间帧；空间调制单元对时间帧进行空间调制，得到时间帧对应的空间信息；时空转换单元基于空间复用技术和波分复用技术，将空间信息映射至光学时间序列中，得到时间帧对应的时序光学缓存。因此，通过空间复用技术和波分复用技术以匹配高度并行的空间输出和高速的时间输入，并充分保留内容信息，空间内容可以被处理并映射到并行的时间动态序列上，形成一个与时间计算兼容的时空特征空间，可以将光视觉计算的维度从2D空间图像扩展到3D时空光场，可以有效地计算和转换空间光场和时间光场。同时，通过光学时序缓存存储并合并快速变化的光信号，可以使得特征在光域中被延迟和复现。

本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。

根据本公开的实施例，本公开还提供了一种终端、一种可读存储介质和一种计算机程序产品。

图11示出了可以用来实施本公开的实施例的示例终端1100的示意性框图。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。

如图11所示，终端1100包括计算单元1101，其可以根据存储在只读存储器（ROM）1102中的计算机程序或者从存储单元1108加载到随机访问存储器（RAM）1103中的计算机程序，来执行各种适当的动作和处理。在RAM 1103中，还可存储终端1100操作所需的各种程序和数据。计算单元1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出（I/O）接口1105也连接至总线1104。

终端1100中的多个部件连接至I/O接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许终端1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。

计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于中央处理单元（CPU）、图形处理单元（GPU）、各种专用的人工智能（AI）计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器（DSP）、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如动态全光智能感算方法。例如，在一些实施例中，动态全光智能感算方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1102和/或通信单元1109而被载入和/或安装到终端1100上。当计算机程序加载到RAM 1103并由计算单元1101执行时，可以执行上文描述的动态全光智能感算方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式（例如，借助于固件）而被配置为执行动态全光智能感算方法。

本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列（FPGA）、专用集成电路（ASIC）、专用标准产品（ASSP）、芯片上系统的系统（SOC）、负载可编程逻辑设备（CPLD）、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。

用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。

在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦除可编程只读存储器（EPROM或快闪存储器）、光纤、便捷式紧凑盘只读存储器（CD-ROM）、光学储存设备、磁储存设备、或上述内容的任何合适组合。

为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置（例如，CRT（阴极射线管）或者LCD（液晶显示器）监视器）；以及键盘和指向装置（例如，鼠标或者轨迹球），用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈（例如，视觉反馈、听觉反馈、或者触觉反馈）；并且可以用任何形式（包括声输入、语音输入或者、触觉输入）来接收来自用户的输入。

可以将此处描述的系统和技术实施在包括后台部件的计算系统（例如，作为数据服务器）、或者包括中间件部件的计算系统（例如，应用服务器）、或者包括前端部件的计算系统（例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互）、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信（例如，通信网络）来将系统的部件相互连接。通信网络的示例包括：局域网（LAN）、广域网（WAN）、互联网和区块链网络。

计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务（"Virtual Private Server"，或简称 "VPS"）中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。

应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。

上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。