显示屏异常检测

技术领域

本公开涉及显示屏异常检测。

背景技术

诸如地面车辆的车辆越来越多地使用用于仪表板组(IPC)的显示屏以及用于进行媒体控制、环境控制(例如，HVAC)、系统设置等的人机界面(HMI)，所述人机界面在本文中称为车载信息娱乐(IVI)屏幕。

发明内容

IPC和IVI屏幕的不同显示屏通常由不同的电子控制单元(ECU)控制。当来自不同ECU的信息在IPC和IVI屏幕的不同显示屏之间共享时，ECU之间的不充分同步可能导致IPC和IVI屏幕中的一者或两者的显示屏上的闪烁或其他异常。如本文所使用的，“异常”是指非故意的元素丢失、亮度变化、颜色变化等，并且“闪烁”是指在屏幕的正常操作期间由用户界面(UI)元素的任何丢失引起的特定异常，即，要在屏幕上显示的一个元素(或多个元素)中的一些或全部消失或不显示的事件。

虽然可以在组装期间测试屏幕的基本操作，但如果闪烁或其他异常只是间歇性地发生，则该问题在车辆制造过程中可能不会被发现。

根据本公开，视频馈送和执行多线程的计算机可以用于在延长的时间段内有效地对显示器执行闪烁或其他异常的测试。测试可以使用诸如个人计算机和网络摄像头的常用设备来执行，并且可以例如在周末进行。模式匹配用于将模板图像与帧的模式图像进行比较，以检测闪烁和其他异常。如果在显示器中检测到任何闪烁或其他异常，则可以对显示器的ECU重新编程以解决该问题。如本文所使用的，“线程”是指被给予其自己的调用堆栈以便能够与处理器上的其他线程同时运行的任务的执行上下文。如本文所使用的，“模板图像”是模式匹配算法期望找到的图像，即与其他图像进行比较的图像，并且“模式图像”是与模板图像进行比较的图像，即，正在测试的图像。如果模板图像位于模式图像的一部分内，则将找到匹配。然后，由模式匹配算法输出的匹配系数是基于模式图像与模板图像的相似程度。

在本公开的一个或多个实现方式中，一种系统具有包括处理器和存储器的计算机，存储器存储指令，所述指令可由处理器执行，处理器被编程为：接收要测试的显示屏的视频馈送；从视频馈送记录预定长度的包括多个帧的视频文件；选择视频文件的帧中的感兴趣区域来定义模板图像；并且执行模板图像与视频文件中的相应帧的模式图像之间的模式匹配以检测异常。

在实现方式中，系统还可以包括用于定义测试长度的指令。

在另一个实现方式中，测试长度可以被划分为视频文件的多个预定长度，用于记录视频文件的指令可以包括用于在第一线程中记录多个视频文件的指令，并且用于执行模式匹配的指令在第一线程中记录第二视频文件期间在第二线程中对第一视频文件的相应帧执行模式匹配。

在实现方式中，用于对相应帧执行模式匹配的指令可以包括用于对视频文件的每个帧执行模式匹配的指令。

在另一实现方式中，用于执行模式匹配的指令可以确定每个帧的匹配系数并存储视频文件的匹配系数的值。该实现方式还可以包括用于进行以下操作的指令：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

该实现方式还可以包括用于存储被确定为具有异常的帧的时间戳的指令。

在具有多个视频文件的实现方式中，用于对相应帧执行模式匹配的指令可以包括用于进行以下操作的指令：对视频文件的每个帧执行模式匹配；确定每个帧的匹配系数；以及存储视频文件的匹配系数。

实现方式还可以包括用于进行以下操作的指令：在完成对视频文件的模式匹配时，将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

另一实现方式还可以包括用于存储被确定为具有异常的帧的时间戳的指令。

在本公开的一个或多个实现方式中，一种方法可以包括：

接收要测试的显示屏的视频馈送；将视频馈送的预定长度记录为包括多个帧的视频文件；选择视频文件的帧中的感兴趣区域来定义模板图像；以及执行模板图像与视频文件中的相应帧的模式图像之间的模式匹配以检测异常。

实现方式还可以包括定义测试长度。

另一实现方式还可以包括：将测试长度划分为视频文件的多个预定长度；在计算机上执行的第一线程中依序记录多个视频文件；以及在第一线程中记录第二视频文件期间在计算机上执行的第二线程中对第一视频文件的相应帧执行模式匹配。

在实现方式中，可以对视频文件的每个帧执行模式匹配。

在实现方式中，模式匹配可以确定每个帧的匹配系数并存储视频文件的匹配系数的值。

实现方式还可以包括：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

实现方式还可以包括存储被确定为具有异常的帧的时间戳。

在另一实现方式中，执行模式匹配可以包括：对视频文件的每个帧执行模式匹配；确定每个帧的匹配系数；以及存储视频文件的匹配系数。

实现方式还可以包括：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

另一实现方式还可以包括存储被确定为具有异常的帧的时间戳。

虽然下面关于闪烁进行了描述，但是系统和方法还进一步适用于检测其他异常。为了便于描述，将相对于闪烁和其他异常的附图仅描述闪烁。

附图说明

图1示出了用于显示屏异常检测的示例性系统的示意图。

图2示出了用于检测闪烁并在检测到闪烁时解决闪烁的方法的示例性流程图。

图3示出了由第二线程执行的分析的示例性流程图。

具体实施方式

参考图1，示出了用于显示屏闪烁检测的示例性系统100的示意图。

第一显示屏115(诸如用于仪表板组(IPC))可以由电子控制单元(ECU)110等控制，并且第二显示屏125(诸如用于车载信息娱乐(IVI)屏幕)可以由ECU 120等控制。如由连接所示，来自ECU 110的一些数据也可以显示在第二显示屏125上，并且来自ECU 120的一些数据可以显示在第一显示器115上。在第一显示屏115和第二显示屏125的操作期间，如果ECU110和120不同步(即，“失锁”)，则可能发生屏幕闪烁。ECU编程不当可能会导致失锁，因此对ECU重新编程可能会解决该问题。

为了执行显示屏的扩展测试以检查闪烁，摄像机140可以捕获正在测试的显示屏的视频图像。在该示例中，摄像机140被示出为网络摄像头，并且正在测试的显示屏是被示出为IVI屏幕的第二显示器125。可以使用诸如网络摄像头的廉价摄像机，因为它具有足够的分辨率来捕获由正在测试的显示屏显示的感兴趣区域150的图像，可以以30fps和60fps之间的帧速率操作，并且使用允许紧凑地存储视频文件的编解码器。例如，可以使用MPEG-4以30fps捕获3兆像素图像，以用Logitech C930e网络摄像头存储大约9至10GB的一小时视频文件。在实现方式中，感兴趣区域150可以是基于诊断或与共享数据的显示相关的其他特定条件来选择的显示器区域。

在其他示例中，示出为IPC的第一显示屏115可以是正在测试的显示屏。在进一步的实现方式中，可以使用第二网络摄像头来捕获另一个显示屏的视频图像，以便同时测试两个显示屏。为了便于描述，将仅描述对其中一个屏幕的测试。

由摄像机140捕获的视频图像被发送到计算机130，在该示例中，所述计算机被示为个人计算机。虽然可以使用许多合适的计算装置，但是在一个实现方式中，计算机130可以是以2.4GHz运行的Intel Xeon E52630 v3，具有8GB RAM和500GB SSD，并且运行Windows10Enterprise 64位。这样的处理能力足以存储视频文件并执行多个线程，如下文进一步详细讨论的。

参考图2，示出了用于检测闪烁并解决闪烁的测试方法200的示例性流程图。

在第一框210中，可以使用在计算机130上执行的程序来定义测试的长度。测试的长度可以是硬编码的、从下拉菜单中选择或输入到程序的GUI中。在本公开的一个实现方式中，测试长度被定义为65小时。一般来说，大约65小时被认为是可行的测试时间长度。例如，检测至少严重闪烁情况的最短测试时间可以低至六小时，而且，超过100小时的测试时间会带来收益递减。测试长度可能在6到100小时之间变化，典型示例为12、24、48和65小时。通过附加的数据收集和统计分析，可以为特定系统确定足以捕获绝大多数有缺陷的单元的更短的测试长度。

在框220中，计算机130从摄像机140接收正在测试的显示器的视频馈送。视频馈送意指包括多个视频数据帧的数据序列或数据流。在实现方式中，视频馈送可以是每秒30帧(fps)的1920x1080像素(1080p)帧的MPEG-4流。

在下一个框230中，可以在视频中定义正在测试的显示器中的感兴趣区域150。定义感兴趣区域150允许所述方法比针对整个屏幕执行时更快地操作(因为被比较的区域将具有更少的像素)，允许选择所关注的UI元素(例如，可能在之前单元中闪烁过的)，并允许选择保持相对静态(即，不以动画为特征或不变化)的UI元素以便随着时间的推移更容易进行比较。

在框240中，使用在计算机130上执行的第一线程来记录固定长度的视频文件，即预定数据大小、预定数量或预定时间的一组帧。例如，30fps的1080p MPEG-4视频的一小时片段可以作为视频9-10GB视频文件保存到计算机130的存储器装置。

在框250中，使用在计算机130上执行的第二线程来使用模式匹配来分析视频文件中的每一个。一旦在框240中保存了视频文件，就可以执行这种针对视频文件中的每一个的分析，使得可以在第二线程中执行对捕获视频的分析，同时在第一线程中执行连续视频捕获。下面关于图3讨论使用第二执行线程对每个视频文件执行的分析的细节。

然后，在框260中，如果检测到闪烁，则可以使用测试数据来排除问题并对正在测试的显示器的ECU重新编程。

参考图3，示出了由第二线程执行的方法300的示例性流程图。如本文所使用的，来自捕获的视频文件的图像帧将被称为帧。

在第一框310中，在正确操作的显示器的帧中选择感兴趣区域150来定义将用于在计算机130上执行的第二线程的模式匹配以检查闪烁的模板图像。这可以在第二线程内或在第二线程执行之前执行。如果由于在闪烁期间发生感兴趣区域中未能显示UI元素而导致显示发生变化，则可以通过将模板图像与每帧的模式图像中的感兴趣区域进行比较来检测所述变化。

在下一个框320中，在计算机130上执行的第二线程执行模板图像与帧的模式图像之间的模式匹配操作，以便检测由于闪烁引起的可能的变化。在实现方式中，模板图像和模式图像的模式匹配是使用OpenCV模板匹配方法通过Python脚本来执行的。然而，在不脱离本公开的情况下，可以使用使用互相关、绝对差之和等的许多其他已知模板匹配算法。

在框330中，基于模式匹配操作的输出来确定帧的模式图像内的模板图像的匹配的系数(或“匹配系数”)。这样的系数可以在0(对于不匹配)与1(对于完全匹配)之间变化，或者可以是0％到100％之间的百分比。在使用OpenCV模板匹配脚本的实现方式中，匹配确定性系数以百分比形式获得并且被认为是如本文所使用的匹配系数。

在下一个框340中，存储帧的匹配系数值，诸如通过记录在计算机130的存储器装置上的数组中。

在框350中，在计算机130上执行的第二线程确定是否已经对正在分析的视频文件中的所有帧执行了模式匹配。

如果尚未对正在分析的视频文件中的所有帧执行模式匹配(在框350处为“否”)，则所述方法移至框355，其中下一帧成为要馈送到框320的模式匹配中的模式图像。

如果已经对正在分析的视频文件中的所有帧执行了模式匹配(在框350处为“是”)，则过程移至框360。

在框360中，在计算机130上执行的第二线程计算所存储的匹配值系数(诸如以上示例中存储在数组中的值)的标准偏差(std)，并计算所述值的众数。然后，在计算机130上执行的第二线程从众数中减去统计测量以计算异常阈值。在实现方式中，正在显示的UI元素可以在测试期间用新值更新(例如，歌曲名称可以改变、温度显示可以更新、时间显示将更新等)并且这样的改变不应被认为是诸如由于UI元素无法显示而导致的闪烁。在实现方式中，已经发现统计测量与众数有三(3)个标准偏差(即，众数-3*std)足以检测到异常，诸如由于UI元素丢失而导致的闪烁，而不会因显示屏上更新的UI元素的变化而产生误报。

然后，在框370处，将每个帧的匹配系数的值与在计算机130上执行的第二线程中确定的异常阈值进行比较，并且如果所述值小于异常阈值，则确定帧是闪烁的并且记录帧的时间戳以供分析和故障排除之用。

如本文所使用，副词“基本上”意指形状、结构、测量结果、数量、时间等因为材料、机加工、制造、数据传输、计算速度等的缺陷而可能偏离精确描述的几何形状、距离、测量结果、数量、时间等。

一般来讲，所描述的计算系统和/或装置可采用多种计算机操作系统中的任一种，包括但决不限于以下版本和/或种类：Ford

计算机和计算装置通常包括计算机可执行指令，其中所述指令可能能够由一个或多个计算装置(诸如以上所列出的那些)执行。可以从使用多种编程语言和/或技术创建的计算机程序编译或解译计算机可执行指令，所述编程语言和/或技术单独地或者组合地包括但不限于Java

存储器可包括计算机-可读介质(也称为处理器-可读介质)，所述计算机可读介质包括参与提供可以由计算机(例如，由计算机的处理器)读取的数据(例如，指令)的任何非-暂时性(例如，有形)介质。此类介质可采用许多形式，包括但不限于非易失性介质和易失性介质。非易失性介质可包括例如光盘或磁盘以及其他持久性存储器。易失性介质可包括例如通常构成主存储器的动态随机存取存储器(DRAM)。此类指令可由一种或多种传输介质传输，所述一种或多种传输介质包括同轴电缆、铜线和光纤，包括构成联接到ECU的处理器的系统总线的电线。共同形式的计算机可读介质包括例如RAM、PROM、EPROM、FLASH-EEPROM、任何其他存储器芯片或盒式磁带、或计算机可从中读取的任何其他介质。

数据库、数据存储库或本文所述的其他数据存储装置可以包括用于存储、访问和检索各种数据的各种机构，包括分层数据库、文件系统中的文件集、呈专用格式的应用数据库、关系数据库管理系统(RDBMS)等。每个此类数据存储装置通常包括在采用计算机操作系统(诸如以上所提到的那些操作系统中的一个操作系统)的计算装置内，并且经由网络以多种方式中的任一种或多种方式来访问。文件系统可以从计算机操作系统访问，并且可以包括以各种格式存储的文件。除了用于创建、存储、编辑和执行已存储的程序的语言(诸如上述PL/SQL语言)之外，RDBMS还通常采用结构化查询语言(SQL)。

在一些示例中，系统元件可以实现为一个或多个计算装置(例如，服务器、个人计算机等)上的计算机可读指令(例如，软件)，所述计算机可读指令存储在与其相关联的计算机可读介质(例如，磁盘、存储器等)上。计算机程序产品可包括存储在计算机可读介质上的用于实施本文描述的功能的此类指令。

关于本文描述的介质、过程、系统、方法、启发等，应理解，虽然此类过程等的步骤已经被描述为按照某一有序的顺序发生，但是可以通过以与本文所述顺序不同的顺序执行所述步骤来实践此类过程。还应理解，可以同时执行某些步骤，可以添加其他步骤，或者可以省略本文描述的某些步骤。换句话说，本文对过程的描述出于说明某些实施例的目的而提供，并且决不应被解释为限制权利要求。

因此，应理解，以上描述意图为说明性的而非限制性的。在阅读了以上描述之后，除了所提供的示例之外的许多实施例和应用对于本领域技术人员而言将是明显的。不应参考以上描述来确定本发明的范围，而应参考所附权利要求连同这些权利要求赋予的等效物的全部范围来确定。设想并预期未来的发展将在本文所讨论的技术中发生，并且所公开的系统和方法将并入到此类未来实施例中。总之，应理解，本发明能够进行修改和变化，并且仅受所附权利要求的限制。

除非本文作出相反的明确指示，否则权利要求中使用的所有术语意图给出如本领域技术人员所理解的普通和通常的含义。具体地，除非权利要求叙述相反的明确限制，否则使用诸如“一个”、“该”、“所述”等单数冠词应被解读为叙述所指示的要素中的一者或多者。

根据本发明，提供了一种系统，所述系统具有包括处理器和存储器的计算机，存储器存储指令，所述指令可由处理器执行，处理器被编程为：接收要测试的显示屏的视频馈送；从视频馈送记录预定长度的包括多个帧的视频文件；选择视频文件的帧中的感兴趣区域来定义模板图像；并且执行模板图像与视频文件中的相应帧的模式图像之间的模式匹配以检测异常。

根据实施例，本发明的特征还在于用于定义测试长度的指令。

根据实施例，测试长度被划分为视频文件的多个预定长度；用于记录视频文件的指令包括用于在第一线程中记录多个视频文件的指令；并且用于执行模式匹配的指令在第一线程中记录第二视频文件期间在第二线程中对第一视频文件的相应帧执行模式匹配。

根据实施例，用于对相应帧执行模式匹配的指令包括用于对视频文件的每个帧执行模式匹配的指令。

根据实施例，用于执行模式匹配的指令确定每个帧的匹配系数并存储视频文件的匹配系数的值。

根据实施例，本发明的特征还在于用于进行以下操作的指令：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

根据实施例，本发明的特征还在于用于存储被确定为具有异常的帧的时间戳的指令。

根据实施例，用于对相应帧执行模式匹配的指令包括用于进行以下操作的指令：对视频文件的每个帧执行模式匹配；确定每个帧的匹配系数；以及存储视频文件的匹配系数。

根据实施例，本发明的特征还在于用于进行以下操作的指令：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

根据实施例，本发明的特征还在于用于存储被确定为具有异常的帧的时间戳的指令。

根据本发明，一种方法包括：接收要测试的显示屏的视频馈送；将视频馈送的预定长度记录为包括多个帧的视频文件；选择视频文件的帧中的感兴趣区域来定义模板图像；以及执行模板图像与视频文件中的相应帧的模式图像之间的模式匹配以检测异常。

在本发明的一个方面，所述方法包括定义测试长度。

在本发明的一个方面，所述方法包括：将测试长度划分为视频文件的多个预定长度；在计算机上执行的第一线程中依序记录多个视频文件；以及在第一线程中记录第二视频文件期间在计算机上执行的第二线程中对第一视频文件的相应帧执行模式匹配。

在本发明的一个方面，对视频文件的每个帧执行模式匹配。

在本发明的一个方面，模式匹配确定每个帧的匹配系数并存储视频文件的匹配系数的值。

在本发明的一个方面，所述方法包括：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

在本发明的一个方面，所述方法包括存储被确定为具有异常的帧的时间戳。

在本发明的一个方面，执行模式匹配包括：对视频文件的每个帧执行模式匹配；确定每个帧的匹配系数；以及存储视频文件的匹配系数。

在本发明的一个方面，所述方法包括：在完成对视频文件的模式匹配时：将异常阈值定义为众数与视频文件的所存储的匹配系数值的统计测量之间的差；以及基于帧的匹配系数小于异常阈值来确定异常。

在本发明的一个方面，所述方法包括存储被确定为具有异常的帧的时间戳。