使用机器学习在数据接口上检测数据异常

本申请要求由Gorkem Batmaz等人于2019年3月28日提交的标题为“使用机器学习在数据接口上检测数据异常(DETECTING DATA ANOMALIES ON A DATA INTERFACE USINGMACHINE LEARNING)”序列号为16/368,589的非临时申请的权益，以及Gorkem Batmaz等人于2018年3月28日提交的标题为“CAN总线的两阶段异常检测(TWO-STAGE ANOMALYDETECTION FOR THE CAN BUS)”序列号为62/649,531的美国临时申请的权益，二者都与本申请一起共同转让，并且通过引用将其整体并入本文。

技术领域

本申请总地涉及安全数据通信，并且更具体地，涉及检测通过数据接口传送(communicate)的数据中的异常。

背景技术

不同类型的网络用于在设备之间连接和传送数据。无论网络类型如何，通过网络安全地传送数据都是优先的。但是，在某些应用程序中，很难在合理的时间帧内保护数据通信。用于连接设备的数据接口的类型也会给安全的数据通信带来挑战。例如，遵循广播路由方案并在实时应用程序中使用的数据接口可能难以保护。考虑到采用数据接口的系统类型，例如在控制车辆运行的系统中，容易受到攻击的数据接口不仅麻烦，而且可能致命。

控制器局域网(CAN)总线是在车辆中使用的通用数据接口。CAN是缺少身份验证并遵循广播路由方案的通信网络的示例。因此，连接到CAN总线的设备可能会遭受广泛的网络攻击。尽管已尝试检测恶意行为，但应考虑到车辆环境中的资源限制以采取措施，在合理的时间范围内(少数几个CAN传输帧，如果不是单个的话)完成攻击检测。异常检测的现有工作尚未证明能够实时检测异常以支持实时安全动作。

发明内容

在一个方面，公开了一种用于检测通过数据接口传送的异常数据的方法。在一个实施例中，该方法包括：(1)将从数据接口接收的第一数据类型的第一数据包作为输入应用于第一神经网络，(2)由第一神经网络并基于第一数据包，为从数据接口接收的第一数据类型的后续数据包生成预测数据值，(3)接收包括实际数据值的第一数据类型的后续数据包，(4)通过将实际数据值与预测数据值进行比较来确定第一数据类型的第一偏差值，(5)将第一偏差值与对应于一个或更多个其他数据类型的一个或更多个其他偏差值作为输入应用于第二神经网络，以及(6)由第二神经网络基于第一偏差值和一个或更多个其他偏差值，计算对数据接口的攻击概率。

在另一方面，本公开提供了一种电子系统。在一个实施例中，该电子系统包括：(1)广播总线，(2)耦合到广播总线的外围设备，以及(3)耦合到广播总线并且包括异常检测器的计算机。异常检测器具有：(3A)上下文检测器，配置为确定从采用并行神经网络的所述外围设备通过所述广播总线传送的不同数据类型的上下文异常，其中，每个上下文异常都基于表示不同数据类型中异常概率的偏差值，以及并行神经网络的每一个用于不同数据类型之一，以及(3B)集合检测器，配置为通过使用第二神经网络将每个偏差值与一个或更多个偏差值进行比较来确定哪个上下文异常不在上下文中，并基于上下文外的上下文异常生成对数据接口的攻击概率。

在另一方面，公开了一种检测经由数据接口传送的数据的异常的方法。在一个实施例中，该方法包括：(1)通过使用第一神经网络为不同数据类型生成偏差值来确定通过数据接口传送的不同数据类型的上下文异常，(2)通过使用第二神经网络将每个偏差值与一个或更多个其他偏差值进行比较，来确定哪个上下文异常在上下文外，以及(3)基于上下文外的上下文异常生成攻击概率，其中攻击概率指示与上下文外的上下文异常关联的不同类型的数据的后续通信中的误差的概率。

附图说明

现在结合附图参考以下描述，其中：

图1示出了根据本公开的原理构造的通信系统的示例的框图，其包括经由数据接口耦合在一起的多个外围设备；

图2示出了根据本公开的原理构造的异常检测器的示例的框图；

图3示出了例如由图2的防火墙接收的CAN消息的配置；

图4示出了由图2的内容提取器选择的CAN消息的数据集；

图5示出了由图2的上下文检测器使用的训练和模型的示例的工作流程；

图6示出了由图2的集合检测器使用的训练和模型的示例的工作流程；以及

图7示出了用于检测通过数据接口传送的异常数据的方法的示例的流程图。

具体实施方式

车辆与外界的连通性导致重大的安全隐患；尤其是随着车辆越来越受到计算机控制。CAN总线因其特性而成为攻击车辆的易受攻击目标。CAN总线在车辆中承载致动信号，在自动驾驶汽车中，与侵入CAN总线相关联的风险的严重性急剧上升。侵入自主车辆的CAN总线可能会导致黑客完全远程控制车辆。检测CAN数据中的异常情况可提供一种保护机制，以防止与CAN总线相关的某些漏洞。

本公开提供一种机器学习解决方案，以识别与正常网络流量的偏离，以增强数据接口(诸如CAN总线)的安全性。提供了一种多阶段异常检测器和检测方法，其采用多个神经网络来检测在数据接口上传送的数据包中的异常。神经网络可以是循环神经网络(RNN)。在本文公开的一些示例中，RNN被实现为级联的长短期记忆(LSTM)网络。LSTM网络是已成功应用于序列预测问题中的一种类型的RNN。

机器学习解决方案被配置为检测不同类型的异常，包括上下文异常和集合(collective)异常。上下文(contextual)异常是偏离预测数据值的单个数据类型的实际数据值。在一个或更多个实施例中，预测数据值可以来自神经网络已经学习为(例如，被训练为)期望或或者以其他方式认为在正常(例如安全)操作期间来自训练数据集的值的限制内的范围或值集合。例如，上下文异常是有条件的异常，例如当车速在相对短的时间内从每小时50英里变为每小时80英里时，这会与安全和/或正常驾驶行为相矛盾。集合异常是可以根据与其他数据类型的偏差值进行验证的上下文异常。例如，当车速为每小时80英里且方向盘角度为90度时，就会发生集合异常。

异常检测器可以包括第一阶段上下文检测器和第二阶段集合检测器。上下文检测器为用于指示上下文异常的受监视数据类型生成偏差值。上下文检测器可以获取要监视的数据类型。在本文公开的一些示例中，上下文检测器包括内容提取器，该内容提取器被配置为获取要监视的数据类型。通常选择具有连续波形的数据类型进行监视。集合检测器通过比较偏差值(例如，所有偏差值)(包括指示上下文异常的偏差值)从偏差值确定集合异常，来确定上下文异常是恶意异常还是代表实际操作状况的真正异常。集合检测器提供了不同数据类型之间的相关性级别，并提供了用于上下文异常的健全性检查。这样，可以防止假警报。

异常检测可以有利地实时发生。考虑例如CAN消息，实时意味着在每个CAN消息到达时在单个CAN协议帧内确定异常检测。因此，所公开的异常检测可以用于需要快速响应的系统中。一种这样的系统是用于操作车辆的控制系统。因此，异常检测可以用作在汽车平台中部署的更广泛的嵌入式安全系统中的多种入侵检测方法之一。嵌入式系统可以是车载计算机，即，部署在现代车辆中的嵌入式系统，其通过数据接口连接到易受攻击的端点。车载计算机的典型示例包括信息娱乐系统，高级驾驶员辅助系统(ADAS)单元，仪表板和主机(head)单元。易受攻击的端点是通过数据接口连接到计算机的外围设备，例如传感器，相机，媒体设备，局域和广域通信接口和设备(例如，无线保真(Wi-Fi)，蓝牙(BT)和蜂窝设备)，特定的汽车网络接口和其他设备(例如CAN，本地互连网络(LIN)，FlexRay和以太网音频视频桥接(eAVB)设备)。本文所使用的车辆包括汽车，卡车，摩托车，轮船，潜艇，火车，飞机，无人机，直升机，航天器，卫星，火箭，导弹以及其他可以行进并携带东西的交通工具。车辆可以在街道，道路，高速公路，空中，太空，轨道，水面，水下或其他环境中行驶。

嵌入式安全系统可以采用基于虚拟机监视器(例如管理程序)的虚拟化，并使用多种虚拟化服务来托管用于最终用户应用程序的虚拟机(通常称为访客操作系统(GuestOS))。该安全系统利用虚拟化来实现虚拟入侵检测和防御系统(VIDPS)，以检测和对抗针对虚拟化嵌入式系统的攻击。公开的异常检测可以是用于路由到嵌入式安全系统的车辆的数据接口上的入侵检测的方法之一。

图1示出了根据本公开的原理构造的通信系统100的示例的框图。通信系统100可以位于车辆内并且可以连接到部署在汽车平台中的嵌入式安全系统。通信系统100还可以与其他机器或系统一起使用，例如加热、通风和空调(HVAC)系统，家庭安全系统或包括多个物联网(IoT)设备的系统。

通信系统100包括经由数据接口110耦合在一起的多个外围设备。数据接口110是连接外围设备并允许外围设备之间进行通信的通信接口。数据接口110可以是串行通信总线，其无需使用主机计算机就可以通过基于消息的协议来传送数据包。在一个示例中，数据接口110是广播总线，例如CAN总线。

每个外围设备在图1中被表示为外围设备120并被统称为外围设备120。外围设备120经由数据接口110发送和接收(即，传送)数据包。外围设备120可以生成、感测或处理通过数据接口110传送的数据包。外围设备120可以是传感器，电子控制单元(ECU)，输入/输出(I/O)设备等。每个外围设备120可以是不同类型的设备或可以是相同类型的设备的一些外围设备120。在一些示例中，外围设备120可以是广播总线(诸如CAN总线)的端点或节点。每个外围设备120可以与通信地耦合到数据接口110的计算机130传送数据包。

计算机130包括收发器134，异常检测器136和处理器138。收发器134被配置为传送数据包并过滤经由数据接口110接收的数据包。收发器134可包括被配置为基于例如消息ID过滤数据包的防火墙。

异常检测器136被配置为利用机器学习来检测数据包中的异常。异常检测器136检测数据包中的上下文异常和集合异常。异常检测器136可以包括多个神经网络阶段，以首先确定经由数据接口110接收的不同数据类型的上下文异常，然后从上下文异常确定集合异常。异常检测器136可以被配置为图2的异常检测器200。

异常检测器136基于集合异常提供输出，其指示经由数据接口110接收的针对不同数据类型的攻击概率。攻击概率可以被发送至通信系统100的策略持有者140，其可以确定如何响应以保护通信系统100。策略持有者140可以是配置为响应于攻击概率执行动作的处理器。例如，策略持有者140可以丢弃从特定外围设备120接收到的数据包，或者防止数据包通过数据接口110从特定外围设备120发送。

处理器138被配置为控制与通信系统100相关联的系统或子系统的操作。处理器138例如可以包括必要的逻辑以作为ECU操作。处理器138可以通过数据接口110接收数据包，并且还可以生成要通过数据接口110发送的数据包。异常检测器136可以为接收的和发送的数据包提供双向保护。因此，异常检测器136可以保护数据接口110免受数据包的受损源(诸如处理器138)的侵害，并且还保护处理器138而免于接收来自数据接口110上受损的外围设备120的数据包。

图2示出了根据本公开的原理构造的异常检测器200的示例的框图。异常检测器200提供了一种机器学习解决方案，其检测通过数据接口传送的数据包中的上下文异常和集合异常两者。对于图2，异常检测器200与作为CAN总线的数据接口一起使用。因此，异常检测器200接收到的数据包是CAN帧或消息。可以以原始CAN数据的形式(例如，与消息标识符相关联的64位有效载荷)来提供消息。CAN消息的示例在图3中示出。

图3示出了CAN消息300，其是具有典型格式的CAN帧。在图3中特别指出了CAN消息300的两个定义的部分，消息ID 310和数据有效载荷320。消息ID 310可以用于过滤，并且有效载荷320是可以用于确定异常的64位数据部分。如本文所述，可以通过使用少于全部有效载荷320确定异常来降低计算成本。如图2所示，可以通过CAN总线传送CAN消息300。在一些示例中，CAN消息300可以通过另一数据接口(诸如以太网电缆)传送，该另一数据接口适于传送CAN消息。

异常检测器200经由防火墙290接收CAN消息。防火墙290可以是收发器的一部分，例如图1所示的收发器134。防火墙290通过CAN总线接收消息并过滤该消息以传递给异常检测器200。提供给异常检测器200的经过滤的消息集可以是预期由与异常检测器200相关联的计算平台/系统接收的预定消息。防火墙290可以基于消息的消息ID进行过滤，例如图3中的消息ID 310。

异常检测器200包括第一阶段和第二阶段。第一阶段是上下文检测器210，其被配置为生成用于指示上下文异常的受监视数据类型的偏差值。第二阶段是集合检测器220，其被配置为通过比较偏差值(例如，所有偏差值)(包括指示上下文异常的偏差值)确定上下文异常是恶意异常还是代表实际运行状况的真实异常，来从偏差值确定集合异常。第一阶段和第二阶段都包括至少一个神经网络(NN)。

上下文检测器210包括内容提取器214和神经网络(NN)218。内容提取器214可配置为选择经过滤的消息集中的哪些消息要提取以供异常检测器200处理。所选择的消息可以是具有连续波形的数据类型。该选择可以基于CAN消息的消息ID。内容提取器214然后可以对所选择的消息进行预过滤以消除噪声，并因此降低计算成本。

例如，异常检测器200可以被配置为查看图4中表示的车辆的特定信号。图4中的表400包括时间戳，消息ID，长度和与四种不同数据类型相关的有效负载：车轮速度，悬架，侧倾和偏航，以及加速度。内容选择器214可以例如通过防火墙290接收十五个消息，然后选择这四种信号类型或数据类型，用于针对异常的特定分析。选择用于分析的消息的类型和数量是可配置的，并且可以基于客户、用例等。异常检测器200的性能不取决于选择用于分析的消息的数量或类型。以车辆为例，选择用于分析的消息的配置可以取决于具有用于定义消息ID的不同字典的不同车辆制造商。防火墙290和内容提取器均可针对特定的车辆销售商定制。

除了选择要分析哪些消息之外，内容提取器214还选择性地提取包括电信号(即，消息的有效载荷)的每个消息的部分。使用整个有效载荷(例如，有效载荷的所有64位)的缺点是有效载荷的某些字节可能包含计数器，而其他字节可能代表信号(例如，速度)。在车速降低的情况下，计数器值仍然增加，这会使上下文检测器210的预测不可靠。该解决方案通过使用有效负载的选定部分来消除此问题。

另外，通过分析有效载荷的选定部分(使用内容过滤机制)，该解决方案提供了足够的性能，该性能允许在实际车辆网络中进行部署以捕获异常并实时做出反应。使用整个有效负载(例如64位)可能会导致计算上昂贵的解决方案，因为未使用的位会给神经网络创建噪声，并可能导致更长的训练周期以能够成功进行预测。

因此，内容提取器214可以通过忽略有效载荷中与异常检测无关的部分来降低处理功率。内容提取器214将所选择的有效载荷部分提供给NN218。如图2所示，某些有效载荷部分可能是异常的。

NN 218是异常检测过程的第一阶段的一部分，其预测每个被监视的CAN信号的即将到来的值。NN 218针对正在监视的每个信号包括一个NN。以来自表400的被监视信号为例，对于被监视的四个信号中的每一个，NN218将包括一个NN：车轮速度，悬架，侧倾和偏航，以及加速度。NN的输出是代表异常概率的被监视CAN信号中的至少一些的偏差值。在异常检测器200的第二阶段中提供给集合检测器220的NN的偏差值可以是预测值与实际值之差的绝对值除以在异常检测器(即，NN 218之一)的第一阶段中训练NN期间确定的平均误差。

偏差值被组合成单个流，并且被提供给集合检测器220以进行进一步处理。集合检测器220通过将可能的异常情况与相对于由其他被监视信号生成的偏差值进行比较来重新分析偏差值。集合检测器220是NN，例如上下文检测器210的NN 218。异常检测器200的每个NN可以是RNN(诸如LSTM)。

集合检测器220提供输出，恶意行动或行为的可能性(在本文中也称为攻击概率)，其可以被传递给策略处理程序以进行处理。策略处理程序可以是例如VIDPS的CAN安全模块。策略处理程序可以响应于恶意行动或行为的概率，根据策略指示或采取各种措施。例如，这些策略可能需要执行安全措施，例如将事件记录在安全审计日志中，从已标识的消息ID中过滤出异常的CAN消息，或者在其他情况下，需要采取更严格的措施来重置与异常检测器200相关的计算平台/系统。

异常检测器200不仅检测到达包括异常检测器200的主机设备的恶意行动或行为，而且在主机设备受损的情况下，异常检测器200还可以潜在地防止攻击到达承载CAN消息的数据接口。因此，在应用(诸如车辆)

中，可以防止事故甚至车辆劫持。

训练异常检测器200的NN以检测异常数据-检测不符合学习到的模型的数据。NN可以对应于用良性数据训练的无监督学习算法，从良性数据中学习模型，并通过将学习到的模型与输入进行比较以检测与学习到的模型不符的情况来推理结果。NN可以使用超参数并生成分层数据格式(HDF)的学习到的模型。考虑到为LSTM的NN，存在进出LSTM门的连接，其中有一些是循环的。这些连接的权重(在训练过程中需要学习)确定了LSTM门如何操作。可以基于诸如不同的驾驶方式、不同的条件、个人的倾向等因素来调整模型。在异常检测器200操作之前，可以建立训练模型和结果模型并加载到NN上。图5示出了上下文检测器210的NN 218所使用的训练和模型的示例的工作流程。图6示出了集合检测器220的NN所使用的训练和模型的示例的工作流程。

图5示出了根据本公开的原理执行的训练和开发模型以用于上下文异常检测的示例方法500的工作流程。方法500包括训练和开发针对单个数据类型的模型，然后可以由上下文检测器的NN(例如，图2的上下文检测器210的NN 218之一)使用该模型。对要监视的每个数据类型执行方法500。方法500包括预处理510、训练520和推理530。

预处理510和训练520通常在与执行实际上下文异常检测的计算机或计算设备(例如NN 218)分离的计算机上执行。预处理510包括准备由NN执行的训练520的数据类型的数据。因此，预处理510包括获得训练520所需的数据并处理该数据以将该数据放入用于NN的格式中。这通常包括确保训练数据为NN的二进制数据形式。训练数据可以是CAN数据，并且通常是在正常操作条件下获得的正常数据。这样，训练520包括通知NN系统或设备应如何正常操作以及开发反映正常操作的模型。NN可以采用无监督学习算法，其用训练数据训练并从训练数据中学习模型。在推理530中，通过将学习到的模型与实际输入进行比较以检测出与学习到的模型不符，从而推理出结果。推理530可以采用该模型来从接收到的数据包中为相同数据类型的后续数据包确定预测数据值。推理530基于该模型计算针对所接收的并且是非预期的(即，在预测值的范围之外)各种数据类型的误差(error)。然后可以对计算出的误差进行归一化，以创建用于该数据类型的偏差值，该偏差值作为确定集合异常的输入提供。

例如，训练数据可以是与在正常操作时从训练车辆记录的车轮速度相对应的CAN总线数据。可以在不同的驾驶条件下从训练车辆获得训练数据，以提供混合的训练数据集。训练520开发用于车轮速度的正常操作的模型。NN在异常检测器(例如NN 218之一)的第一阶段中使用该模型，以确定通过CAN总线接收的实际车轮速度信号是否在模型之外运行，即是否是上下文异常。

图6示出了根据本公开的原理执行的训练和开发模型以用于集合异常检测的示例方法600的工作流程。方法600包括训练和开发由NN用于检测集合异常的模型，例如图2的集合检测器220。该方法包括接收输入610，训练620和推理630。

接收输入610包括接收偏差值，诸如基于从方法500确定的误差的偏差值。接收多个偏差值，每个偏差值对应于正被监视的不同数据类型。训练620包括NN开发模型，该模型反映与多个被监视信号的正常操作的偏差值。NN可以采用无监督的学习算法，该算法采用数据训练并从数据中学习模型。在推理630中，通过将学习到的模型与实际输入进行比较以检测与学习到的模型不符合，来推理出结果。推理630可以通过采用该模型和所接收的实际偏差值来确定攻击概率。攻击概率会转发给策略持有者，以确定要采取的适当动作。

图7示出了用于检测通过数据接口传送的异常数据的方法700的示例的流程图。方法700可以由包括第一NN阶段和第二NN阶段的异常检测器来执行，例如本文公开的异常检测器200。方法700从步骤705开始。

在步骤710中，通过数据接口接收第一数据类型的数据包。数据包可以是CAN消息，数据接口可以是CAN总线。第一数据类型是已指定用于监视的数据类型。例如，数据包可以是车轮速度的数据信号。

在进一步处理之前，在步骤720中过滤接收到的数据包。通过例如从数据包中去除噪声，过滤或预过滤可以导致计算成本的降低。内容提取器(诸如图2的内容提取器214)可以执行过滤。

在步骤730中，将第一数据类型的数据包作为输入提供给第一NN。第一NN可以是RNN(诸如LSTM)。基于第一数据包，在步骤740中，第一NN预测从数据接口接收的第一数据类型的后续数据包的数据值。预测的数据值可以基于在针对第一NN和第一数据类型训练期间开发的模型。

在步骤750中，经由数据接口接收第一数据类型的后续数据包。后续数据包包括该数据类型的实际数据值。例如，实际数据值可以是在比第一数据包的车轮速度晚的时间获得的操作车辆的车轮速度。

在步骤760中，通过将实际数据值与预测数据值进行比较来确定第一数据类型的第一偏差值。在一个示例中，通过计算实际数据值和预测数据值之间的差的绝对值除以在第一神经网络的训练期间确定的平均误差，来确定第一偏差值。

在步骤770中，将第一偏差值作为输入应用于第二NN。与一个或更多个其他数据类型相对应的一个或更多个其他偏差值也被用作第二NN的输入。可以根据步骤710至760来确定一个或更多个其他偏差值。

在步骤780中，第二NN基于第一偏差值和一个或更多个其他偏差值来计算对数据接口的攻击概率。然后在步骤790中基于攻击概率来做出响应。该响应可以根据为与数据接口相关联的系统建立的策略。策略持有者可以根据攻击的不同概率包括可配置的日志记录和/或预防策略动作。该响应可能正在执行安全措施。在一个示例中，做出响应包括：确定计算出的攻击概率高于阈值的数据包的消息ID，并过滤与该消息ID相对应的数据包。还可以基于攻击概率做出其他响应。方法700在步骤795中结束。

本公开通过有利地采用两个NN阶段来在数据中发现不符合预期行为的不平常模式来提供对传送的数据中的异常的检测。第一NN阶段确定上下文异常，然后第二NN阶段确定集合异常。以车辆为例，考虑发生事故的情况。在能够将恶意异常与真实异常区分开之前，分析从车辆收集的数据以确定潜在的真实异常。

本质上，本文公开的异常检测的第一阶段是查看异常检测器接收的每个输入的波形，例如速度如何变化，加速度如何变化以及加速角度如何变化。然后对接下来的期望进行预测。

这些预测全部在第二阶段中被级联，在第二阶段中，所检查的波形都随时间演化。之所以执行第二阶段，是因为如果车辆处于极端状况或驾驶状况是极端状况，则可以防止假警报。假设驾驶员正在避免事故，并且速度增加，一个方向的突然尖峰表示突然制动，然后突然加速。所有这些组合信号将代表与机器学习的预测的高偏差的组合，这些预测可通过使组合的尖峰作为真正的异常通过系统而避免产生异常警报。与某人控制了汽车的恶意异常相反，这是现实生活中的异常。但是，第二阶段不会危及检测上下文异常，因为这些异常是由第一阶段检测到的。

在解释本公开时，应以与上下文一致的尽可能广泛的方式解释所有术语。特别地，术语“包括”和“包含”应被解释为以非排他的方式指代元件，组件或步骤，指示所引用的元件，组件或步骤可以存在，利用或与未明确引用的其他元件，组件或步骤组合。。

本申请所涉及的领域的技术人员将理解，可以对所描述的实施例进行其他和进一步的添加，删除，替换和修改。还应理解，本文中使用的术语仅出于描述特定实施方案的目的，而不旨在限制，因为本公开的范围将仅由权利要求书限制。除非另有定义，否则本文使用的所有技术和科学术语具有与本公开所属领域的普通技术人员通常所理解的相同含义。尽管与本文描述的那些类似或等同的任何方法和材料也可以用于本公开的实践或测试中，但是本文描述了有限数量的示例性方法和材料。

注意，如本文和所附权利要求书中所使用的，单数形式“一个”，“一种”和“该”包括复数指示物，除非上下文另外明确指出。

上述装置，系统或方法或其至少一部分可以在各种处理器中实现或由其执行，例如数字数据处理器或包括GPU的计算机，其中处理器被编程或存储软件指令的可执行程序或序列，以执行设备或系统的方法或功能的一个或更多个步骤。此类程序的软件指令可以表示算法，并以机器可执行的形式编码在非暂时性数字数据存储介质上，例如磁盘或光盘，随机存取存储器(RAM)，磁性硬盘，闪存和/只读存储器(ROM)或只读存储器(ROM)，以使各种类型的数字数据处理器或计算机能够执行本文所述系统的一种或更多种上述方法或功能的一个，多个或全部步骤。

本文公开的某些实施例或其特征可以进一步涉及具有非暂时性计算机可读介质的计算机存储产品，该介质上具有程序代码，用于执行体现至少一部分装置，系统或执行或指导本文阐述的方法的至少一些步骤的各种计算机实现的操作。这里使用的非暂时性介质是指除了暂时性的传播信号之外的所有计算机可读介质。非暂时性计算机可读介质的示例包括但不限于：磁性介质(诸如硬盘，软盘和磁带)；光学介质(诸如CD-ROM磁盘)；磁光介质(诸如软盘)；以及专门配置用于存储和执行程序代码的硬件设备(诸如ROM和RAM设备)。程序代码的示例包括机器代码(例如由编译器生成的机器代码)，以及包含可以由计算机使用解释器执行的更高级别代码的文件。