沙盘系统及娱乐设备

技术领域

本发明涉及一种沙盘系统及娱乐设备，尤其涉及一种低功耗、低成本且高实时性的互动沙盘系统及娱乐设备。

背景技术

沙盘是一个微缩系统，具有丰富的应用场景。传统的沙盘为静态模型，用户难以和沙盘中的道具进行互动。

现有一些技术，能够使智能微缩车在智能交通场景沙盘上运行，以模拟智能网联车辆运行，如现有技术1：CN109448499A。另有一些技术中，将沙盘本身的静态场景与传感设备或展示设备结合，用户可通过终端(如手机)APP与沙盘演示系统交互，以感知现场环境，和沙盘场景和现场互动，如现有技术2：CN106920455A。此外，还有基于智能驾驶技术，在智能沙盘上模拟或展示智能交通，如现有技术3：CN113542230B。

然而，这些沙盘需要云端(或服务器)处理，如图1所示，以实现智能微缩车的定位，联网传输并计算增加延迟和功耗，成本较高，这对于智能沙盘这种轻量互动场景而言是难以承受的。此外，这些智能沙盘中需要物联网设备、云端和终端之间的交互，用户与这些沙盘互动无法像与动物互动一样直观，不够智能。

随着计算机视觉技术的发展，基于人工智能的视觉定位和互动，如ANN或DNN，借助传统帧相机或摄像机的成像进行处理，并且其大量的计算需要硬件具有较大算力以满足需求，存在高功耗、高成本和高延迟的问题，阻碍了其在智能沙盘等边缘场景中的应用。如何基于视觉信息极高效率(低成本、低功耗/计算量、高效)地对智能微缩车定位与互动，是一项艰巨的挑战。

本领域期待一种低功耗、低成本且易硬件实施的技术，可高实时性地获取智能道具在沙盘上的实时位置，让用户与沙盘中移动道具的互动像与动物互动一般直观、实时反馈，增加沙盘的互动性与娱乐性，提升用户体验。

发明内容

为了解决或缓解上述部分或全部技术问题，本发明是通过如下技术方案实现的：

一种沙盘系统，包括指示设备、识别模块和移动道具；

所述指示设备包括发光体；

所述识别模块包括神经形态传感器和处理器；所述神经形态传感器用于捕捉与所述发光体对应的目标点，向所述处理器输出脉冲事件；所述处理器根据接收到的脉冲事件，识别指示设备的动作或轨迹，并输出相应的控制指令；

所述移动道具响应所述控制指令，执行预定的操作。

在某类实施例中，所述识别模块包括滤光镜；所述神经形态传感器接收经过滤光镜滤光后的光线，利用过流后的光线捕捉与所述发光体对应的目标点。

在某类实施例中，所述滤光镜允许红外波段或/和紫外波段的光穿过；相应地，所述的发光体发出红外波段或/和紫外波段的光。

在某类实施例中，所述发光体以设定的闪烁频率模式闪烁；

通过阻塞所有不符合所述闪烁频率模式所引起的脉冲事件的时间戳生成模式的脉冲，以确定所述神经形态传感器向所述处理器输出的脉冲事件。

在某类实施例中，对于神经形态传感器同一像素，根据新生成的脉冲事件的时间戳与该像素生成的前一个脉冲事件的时间戳的时间戳之差，判定是否与所述发光体的闪烁频率模式相匹配；

若匹配则放行该新生成的脉冲事件，否则阻塞该新生成的脉冲事件。

在某类实施例中，所述识别模块为神经形态传感器的每个像素设置至少一个存储单元，其被用于存储对应像素生成或欲生成一个脉冲事件时的时间戳；对于同一个像素，其新生成的脉冲事件的时间戳覆盖该像素前一个脉冲事件的时间戳。

在某类实施例中，通过频率匹配选择不同的移动道具；所述频率匹配是指每个移动道具响应不同频率模式的发光体；所述频率模式包括常亮，或者设定的闪烁频率模式。

在某类实施例中，通过指示设备上虚拟或实体按钮设置发光体的频率模式。

在某类实施例中，通过指示设备上发光体的特定符号轨迹以选择不同的道具，以实现与不同道具的互动。

在某类实施例中，通过指示设备上虚拟或实体按钮，或者发光体的特定符号轨迹，以实现与当前互动道具停止互动。

在某类实施例中，所述处理器为脉冲神经网络处理器或存算一体处理器。

在某类实施例中，所述神经形态传感器和所述处理器被集成在单芯片中。

一种沙盘系统，包括识别模块和移动道具；

移动道具包括至少一个发光体，所述发光体具有设定的频率模式；所述频率模式包括常亮，或者设定的闪烁频率模式；

所述识别模块包括神经形态传感器和处理器，所述神经形态传感器用于捕捉与所述发光体对应的目标点，向所述处理器输出脉冲事件；所述处理器根据接收到的脉冲事件，识别移动道具的动作或轨迹。

在某类实施例中，沙盘系统包括显示模块，用于显示移动道具的位置或轨迹。

在某类实施例中，所述移动道具为至少两个，各移动道具的发光体采用不同的频率模式。

在某类实施例中，所述处理器为脉冲神经网络处理器或存算一体处理器。

一种娱乐设备，包括如前所述的沙盘系统，以实现用户与移动道具的互动。

本发明的部分或全部实施例，具有如下有益技术效果：

1)低功耗、低成本地获取智能道具在沙盘上的实时位置。

2)本发明基于事件驱动的方式，进行信息的采集与处理，摆脱了复杂的布线以及常规需要云端处理的复杂方式，既简化了沙盘布局，提升了互动的实时性。

3)本发明的智能沙盘，可以快速、低功耗、低成本地响应指示设备执行对应操作，实现互动。

4)本发明利用神经形态技术，将指示智能道具移动的四维信息(3维空间坐标+时间信息)转化为三维信息(2坐标+时间信息)，方法简单、易硬件实施，互动响应快、精度高，具有极高的商业化应用前景。

更多的有益效果将在优选实施例中作进一步的介绍。

以上披露的技术方案/特征，旨在对具体实施方式部分中所描述的技术方案、技术特征进行概括，因而记载的范围可能不完全相同。但是该部分披露的这些新的技术方案同样属于本发明文件所公开的众多技术方案的一部分，该部分披露的技术特征与后续具体实施方式部分公开的技术特征、未在说明书中明确描述的附图中的部分内容，以相互合理组合的方式披露更多的技术方案。

本发明任意位置所披露的所有技术特征所组合出的技术方案，用于支撑对技术方案的概括、专利文件的修改、技术方案的披露。

附图说明

图1是现有技术中智能沙盘系统的简化图；

图2是本发明某实施例中沙盘系统示意图；

图3是本发明某实施例中神经形态装置的光传播路径示意图；

图4是本发明另一实施例中神经形态传感器示意图；

图5是本发明另一实施例中沙盘系统示意图。

具体实施方式

由于不能穷尽描述各种替代方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案中的要点内容进行清楚、完整地描述。对于下文未详细披露的其它的技术方案和细节，一般均属于本领域通过常规手段即可实现的技术目标或技术特征，限于篇幅，本发明不对其详细介绍。

除非是除法的含义，本发明中任意位置的“/”均表示逻辑“或”。本发明任意位置中的“第一”、“第二”等序号仅仅用于描述上的区分标记，并不暗示时间或空间上的绝对顺序，也不暗示冠以这种序号的术语与冠以其它定语的相同术语必然是不同的指代。

本发明会对各种用于组合成各种不同具体实施例的要点进行描述，这些要点将被组合至各种方法、产品中。在本发明中，即便仅在介绍方法/产品方案时所描述的要点，意味着对应的产品/方法方案也明确地包括该技术特征。

本发明中任意位置处描述存在或包括某步骤、模块、特征时，并不暗示这种存在是排它性地唯一存在，本领域技术人员完全可以根据本发明所披露的技术方案而辅以其它技术手段而获得其它实施例。本发明所公开的实施例，一般是出于披露优选实施例的目的，但这并不暗示该优选实施例的相反实施例，为本发明所排斥/排除，只要这种相反实施例至少解决了本发明的某个技术问题，都是本发明所希望涵盖的。基于本发明中具体实施例描述的要点，本领域技术人员完全可以对某些技术特征施加替换、删减、增加、组合、调换顺序等手段，获得一个仍遵循本发明构思的技术方案。这些未脱离本发明技术构思的方案也在本发明保护范围之内。

图2是本发明某实施例中沙盘系统示意图。沙盘系统包括指示设备、识别模块和移动道具。指示设备可以包括至少一个发光体或光源，比如激光笔、遥控器等。所述识别模块可以被配置于一个物理实体中或固定于某个物理实体上。

在某些实施例中，该发光体为常亮模式，即以非闪烁模式发光。

在某些类实施例中，该发光体以一定的频率模式闪烁发光。这里的频率闪烁模式是周期性闪烁，可以是恒定闪烁频率，也可以是跳频频率。比如以恒定的100Hz闪烁，或者以50Hz、100Hz频率交替闪烁。

在某些实施例中，该发光体也可以发白光、红光或者特定颜色的光。

识别模块包括神经形态传感器，该神经形态传感器感受光线的变化输出时空事件流，其不关注光线的绝对强度，只关心光线的相对强度，能够以极快的速度(微秒或毫秒级的延迟)捕捉运动信息而屏蔽无关的静态光学信息，例如事件相机、ATIS、DAVIS、CeleX等。神经形态传感器包括但不限于前述各种类型的传感器，只要该神经形态传感器能够产生并传递脉冲事件即可，例如也可以是融合传感器，例如能够同时输出脉冲事件和灰度图像的传感器，以及DVS与红外传感器的融合传感器等。

脉冲事件，往往带有产生该脉冲事件的像素在像素阵列中的坐标信息和时间信息。通常基于地址－事件表达AER(Address event representation)，每个事件包含四个元素：(x,y,t,p)，即像素行坐标、像素列坐标、发生事件的时刻t(也称作时间戳)，以及极性，在某些情况下极性可忽略。本发明后文以事件相机为例，但并不以此为限。

本发明的指示设备，主动发出光源，尤其是特定光源，用于标记目标点，再通过对应识别模块中的神经形态传感器捕捉这种被标记过的目标点。

本发明的神经形态传感器，可以极为高效地捕捉这些目标点。处理器根据这些目标点识别所述发光体在空中的动作或姿势，输出相应的控制指令，以控制沙盘中的移动道具对该控制进行响应，执行相应地动作，实现互动。

可选地，所述互动可包括移动(如前进、后退、左转、右转、倒车等)，或者停车(如立即停下、倒车入库、侧方位停车等)……。

本发明仅利用目标点的发光体所引起的光线变化被捕捉，因此屏蔽掉大量背景运动信息，这有助于充分利用数据传输带宽，以极低的延时捕捉关键点。

图3是本发明某实施例中神经形态装置的光传播路径示意图。不同于传统神经形态传感器在传播路径上仅仅使用透镜(未示出)来对光线执行光学处理等，本发明在光线进入传感器的传播路径上，设置至少一个滤光镜(片)。

滤光镜是在塑料或玻璃基材中加入特种染料或在其表面蒸镀光学膜制成，用以衰减(吸收)光波中的某些光波段或以精确选择小范围波段光波通过，而反射(或吸收)掉其他不希望通过的波段。滤光镜抑制或过滤掉发光体之外的其它物体(各种背景信息，包括运动/非运动、变化/非变化的物体)所发出的光，阻止或衰减所述其它物体发出的光进入所述神经形态传感器。优选地，所述滤光镜仅允许红外波段或/和紫外波段的光穿过，所述的发光体发出红外波段或/和紫外波段的光。

通过指示设备中的发光体以非闪烁模式常亮，其发出的光线透过所述滤光镜后，被神经形态传感器捕捉。用户移动指示设备，并案特定的轨迹移动后，被传感器持续捕捉，捕捉得到的轨迹信息被实时传输至处理器，处理器根据接收到的脉冲事件对该轨迹进行识别或推理，以获知用户意图，并输出相应的动作或相应的控制指令至移动道具，以执行相应的操作。

对于使用滤光镜这类实施例，空中符号指示设备中的发光体也可以通过前述闪烁模式发光。

虽然滤光镜被设计为仅仅希望发光体的光线通过或部分通过所述滤光镜，但是闪烁模式下的发光体也会致使神经形态传感器输出相应于所述频率模式的脉冲序列。这一方案的优势是，系统整体还可以屏蔽其它背景光源，比如照明灯光，使得系统更能适应各种不同环境。

图4是本发明另一实施例中神经形态传感器示意图。该类实施例中，不需要滤光镜来物理过滤光线，而是基于特定频率模式发光的空中符号指示设备中的发光体，来实现目标点的高效捕捉。

在某类实施例中，通过阻塞所有不符合发光体以设定的闪烁频率模式闪烁所引起的脉冲事件的时间戳生成模式的脉冲，以确定所述神经形态传感器向后级系统输出的脉冲事件。

这种闪烁频率模式优选为恒定频率模式，但也可以是跳频频率模式。比如以恒定的单一频率闪烁，或者不同的频率交替闪烁。这里的频率模式，优选为避开家用交流电照明灯的频率闪烁模式(等效为100Hz或120Hz)。

虽然，通常物理实体具有一定的尺寸，因此在没有滤光镜的情况下，实际则对应神经形态传感中聚在一起的若干像素阵列坐标，本发明通过为神经形态传感器的每个像素设置至少一个存储单元，使得在某个时刻，发光体只对应一个精确像素阵列坐标，即目标点，在对精度没有太大影响的情况下，极大降低了计算量和处理难度，提升了后续处理速度和效率，整体功耗及成本更低。

其中，存储单元被用于存储对应像素生成或欲生成一个脉冲事件(举例为e)时的时间戳ts(e)(也即该脉冲事件的时间戳)。

对于神经形态传感器像素阵列中的任一像素，不失一般性假设其坐标为(x，y)。记该像素生成的任一脉冲事件(简称脉冲或事件)e-1的前一事件为e-2，事件e-1的后一事件为e(其是该像素生成或欲生成的脉冲事件)，生成e-2、e-1、e这些事件的时间戳依次为ts(e-2)、ts(e-1)、ts(e)。这些时间戳依次被存储在对应该像素的存储单元(假设其坐标也为(x，y))之中。对于同一个像素，其新生成的脉冲事件的时间戳会覆盖该像素前一个脉冲事件的时间戳，且会被更新的脉冲事件的时间戳取代。换言之，每个像素生成(或欲生成)的脉冲事件的时间戳都会被写入对应该像素的存储单元之中，并覆盖前一时间戳。

如果一个像素生成的脉冲事件，但在后续被判断为“应被阻塞”，那么该脉冲事件就不会被传输至后级处理系统，这可以缓解带宽压力、减轻后级系统信息处理的压力。如果一个像素欲生成的脉冲事件，但在后续被判断为“应被阻塞”，那么像素的逻辑电路可以控制该脉冲事件不必被实际生成，这有助于节省生成脉冲事件过程的功耗、缓解带宽压力、减轻后级系统信息处理的压力。

不同的像素各自对应一个存储单元，这些存储单元整体构成一个存储空间。该存储空间可以和像素阵列被制造在一起，形成一个神经形态传感器；也可以与神经形态传感器分离，该存储空间可以和其它电路(比如处理器，优选为脉冲神经网络处理器)被制造在一起，作为预处理电路的一部分；也可以像素阵列、所述存储空间、其它电路均被制造在一起，单芯片作为一个整体解决方案。

时间差指的是事件e和其前一事件e-1的时间戳之差，记为Δ(e)。如果Δ(e)与前述发光体的闪烁频率模式相匹配，那么意味着该事件e可被(生成且)放行，否则应被阻塞(block)。

这里的匹配，指的是像素生成脉冲事件的时间戳生成模式符合发光体的闪烁频率模式，换言之，按照神经形态传感器的事件生成原理，有这样的闪烁频率模式就应有对应的脉冲事件时间戳生成模式。

前述的事件e和其前一事件e-1，可以被划分成两类实施例：

1)不区分事件e的极性与其前一事件e-1的极性。即不论事件e或e-1是否是同一类型的ON事件或OFF事件，它们时间戳信息依时序覆盖。

2)区分事件e的极性与其前一事件e-1的极性。即ON事件e的时间戳信息仅覆盖ON事件e-1的时间戳信息；OFF事件e的时间戳信息仅覆盖OFF事件e-1的时间戳信息。换言之，同一像素输出的不同类型事件，各自拥有相互独立存储单元，用于分别存储对应该类型事件的时间戳。不同类型事件，其各自时间戳之间不会相互覆盖。

通过上述设置，可以有效地仅仅只放行由符合闪烁频率模式所引起的脉冲序列，以极低代价、成本、功耗，提取有效事件。

受发光体的发光持续时长、发光体的移动、发光频率模式/周期模式、是否区分事件极性的影响，闪烁模式下的事件生成规律丰富且不尽相同。但经神经形态传感器成像原理的指导，闪烁光源模式下的事件生成规律，在本领域技术人员经过合乎逻辑的分析下即可获知，因此也容易得知对应的脉冲事件的时间戳生成模式，以及判断是否匹配。比如，在实际工程应用中，考虑在理论频率/周期值附近设计一个合适范围，以容许各种因素导致的波动。鉴于此，本发明对于这些模式的具体形式，不再详细举例。

稀疏的脉冲事件流处理难度较高，无法直接被基于冯诺依曼架构的传统图像信号处理(ISP)处理，并且这些信息处理必然带有一定的计算代价。

本发明的处理器，可以为脉冲神经网络(SNN)处理器，也可以是基于存算一体的处理器，优势是这种处理器的计算能效极高。优选地，处理器和所述神经形态传感器被集成为单芯片感算一体SoC，这有助于实现一个单芯片解决方案，降低系统整体成本以及其它优势。优选地，基于卷积处理的SNN处理器，如脉冲事件驱动卷积神经神经网络(sCNN)处理器，擅长处理视觉信息，其优势是功耗极低、硅面积极低/成本低、延迟极低(约几微秒)，非常适合沙盘系统。

基于前述各类实施例，用户使用空中符号指示设备的发光体一端，对着空中符号识别模块，尤其是对着空中符号识别模块中的神经形态传感器，绘制一个或多个符号，通过神经形态传感器对发光体的高效捕捉，输出的脉冲序列被后级的处理器处理后，识别用户隔空绘制的符号，并做出相应的响应。

基于以上实施例，本发明的沙盘系统具有极高的实时性，识别模块能快速响应用户手持指示备移动的轨迹，控制移动道具响应用户各种不同的指示。比如，用户手持指示设备左转，移动道具在沙盘中左转，用户手持指示设备前进，移动道具在沙盘中前进。由此，用户不需要通过APP即可与沙盘交互，实时控制道具响应，可操作性强，增加了互动性、娱乐性和趣味性，提升用户交互体验。

图5是本发明另一实施例中沙盘系统示意图，包括多个可移动道具。传统沙盘需要大量的计算才能识别用户欲控制的目标，同时传统事件相机通常也很难直接区分哪些事件属于目标A、哪些事件属于目标B……通常需要通过压帧的形式才能进一步判断。然而，压帧意味着回到传统帧图像数据格式，其不仅丧失了神经形态领域事件驱动机制的优势，同时造成精度损失。

本发明对于多个移动道具，可通过频率匹配选择不同的移动道具。频率匹配是指每个移动道与不同频率模式的光源相对应。

可选地，通过设置发光体发光的闪烁频率或闪烁频率模式，以区别控制不同的道具，从而可分别针对不同道具，实现实时互动。如图5中所示，沙盘中包括3个道具，用户可操作指示设备为第一固定频率闪烁模式以实现与车辆A互动，操作指示设备为第二固定频率闪烁模式以实现与车辆B互动，还可操作指示设备为第三固定频率闪烁模式或跳频闪烁模式，以选择与行人C互动。在不脱离“基于发光体发光的闪烁频率或闪烁频率模式以实现与不同的道具互动”的基础上，本领域技术任意可以进行任意合乎逻辑的设置，本发明对此不进行限制。

可选地，用户通过指示设备上虚拟或实体按钮设置发光体以特定闪烁频率模式闪烁，如第一固定频率，第一跳频频率……

可选地，用户通过指示设备上发光体的特定符号轨迹以实现与不同道具的互动，例如在一定时长内，指示设备轨迹为圆形，则选择与行人C互动，若指示设备轨迹为三角形，则与车辆A互动，若指示设备轨迹为正方形，则与车辆B互动……

可选地，通过指示设备上虚拟或实体按钮，或者发光体的特定符号轨迹，以实现与当前互动道具停止互动。

可选地，识别模块中的神经形态传感器可仅有一个，在多个互动道具与指示设备间复用，也可具有与互动道具数量相当的神经形态传感器，后一种情况下，所有神经形态传感器可统称识别模块，所有神经形态传感器不必组装或制造在一起，示例地，各神经形态传感器配置与对应地移动道具之上。

在某类实施例中，移动道具包括至少一个发光体。

可选地，所述发光体以设定的闪烁频率模式闪烁，或者为常亮。基于与前述内容相同或类似的方式，神经形态传感器识别与移动道具对应的目标点，以捕捉移动道具的当前位置或区位信息。持续捕捉同一移动道具对应的目标点，得到该移动道具的轨迹。

对于包括多个移动道具的沙盘系统，可选地，闪烁时，各移动道具具有不同的闪烁频率模式；常亮时，各移动道具中的发光体发出不同频率或颜色的光线，或者各移动道具中的发光体发出的光线透过滤光镜后得到不同波段的光，随后被传感器持续捕捉，捕捉对应移动道具的位置或移动轨迹。

基于神经形态传感器捕捉到的不同道具的当前位置或区位信息，可计算不同道具间的相对距离。持续捕捉，可得到不同道具对应的轨迹。

可选地，通过显示模块显示移动道具的轨迹。

尽管已经参考本发明的具体特征和实施例描述了本发明，但是在不脱离本发明的情况下仍可以对其进行各种修改、组合、替换。本发明的保护范围旨在不限于说明书中描述的过程、机器、制造、物质组成、装置、方法和步骤的特定实施例，并且这些方法、模块可能还被实施在相关联、相互依赖、相互配合、前/后级的一个或多个产品、方法当中。

因此，说明书和附图应简单地视为由所附权利要求限定的技术方案的部分实施例的介绍，因而应根据最大合理解释原则对所附权利要求解读，并旨在尽可能涵盖本发明公开范围内的所有修改、变化、组合或等同物，同时还应避免不合常理的解读方式。

为了实现更好的技术效果或出于某些应用的需求，本领域技术人员可能在本发明的基础之上，对技术方案做出进一步的改进。然而，即便该部分改进/设计具有创造性或/和进步性，只要依赖本发明的技术构思，覆盖了权利要求所限定的技术特征，该技术方案同样应落入本发明的保护范围之内。

所附的权利要求中所提及的若干技术特征可能存在替代的技术特征，或者对某些技术流程的顺序、物质组织顺序可以重组。本领域普通技术人员知晓本发明后，容易想到该些替换手段，或者改变技术流程的顺序、物质组织顺序，然后采用了基本相同的手段，解决基本相同的技术问题，达到基本相同的技术效果，因此即便权利要求中明确限定了上述手段或/和顺序，然而该些修饰、改变、替换，均应依据等同原则而落入权利要求的保护范围。

结合本文中所公开的实施例中描述的各方法步骤或模块，能够以硬件、软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各实施例的步骤及组成。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用或设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为在本发明所要求保护的范围之外。