声音状态显示方法、声音状态显示装置以及声音状态显示系统

技术领域

本公开涉及一种显示检查对象物发出的声音的状态的声音状态显示方法、声音状态显示装置以及声音状态显示系统。

背景技术

在生产工厂等中，以往使用如下一种系统：接收对象物或对象空间等的声音，对获取到的声音数据进行解析来进行异常的探测、产品的优良与否的判定等。作为在这种解析中使用的装置，例如在专利文献1中公开了一种能够稳定地判定具有振动部的产品的各种正常、异常的异常判定方法和装置。专利文献1执行根据测量数据求出时间轴波形并对该时间轴波形进行解析的时间轴波形解析以及根据测量数据求出频率轴波形并对该频率轴波形进行解析的频率轴波形解析，根据时间轴波形解析和频率轴波形解析的综合判定结果来判定产品的异常。

现有技术文献

专利文献

专利文献1：日本特开平11-173909号公报

发明内容

发明要解决的问题

在专利文献1的结构中，没有设想以下情况：通过用户界面将检查对象物发出的声音的状态(下面，声音状态)以易于理解的方式呈现给确认该检查对象物发出的声音的状态的好坏的检查员。因而，在如检查员不是熟手而是没有经验的人的情况等检查员不熟悉检查业务的情况下，难以掌握检查对象物的正常、异常的状态，例如在存在异常的情况下不容易查明原因。另一方面，在检查员不是没有经验的人而是熟手的情况下，期望将检查对象物如何被判定为没有异常的机械处理可视化以使熟手理解该机械处理。

本公开是鉴于上述以往的状况而提出的，其目的在于提供一种将检查对象物的正常、异常的状态以易于理解的方式呈现给检查员从而辅助提高检查员的检查业务的便利性的声音状态显示方法、声音状态显示装置以及声音状态显示系统。

用于解决问题的方案

本公开提供一种声音状态显示方法，该声音状态显示方法具有以下步骤：获取声音数据，该声音数据是接收检查对象物发出的声音而得到的数据；基于所述声音数据，来执行与用于规定所述检查对象物有无异常的多个指标有关的解析处理；基于所述解析处理的结果，来生成通过所述多个指标表示所述检查对象物发出的声音的声音状态的声音状态画面；以及将所生成的所述声音状态画面显示于显示设备。

另外，本公开提供一种声音状态显示装置，该声音状态显示装置具备：获取部，其获取声音数据，该声音数据是接收检查对象物发出的声音而得到的数据；解析部，其基于所述声音数据，来执行与用于规定所述检查对象物有无异常的多个指标有关的解析处理；生成部，其基于所述解析处理的结果，来生成通过所述多个指标表示所述检查对象物发出的声音的声音状态的声音状态画面；以及显示控制部，其将所生成的所述声音状态画面显示于显示设备。

另外，本公开提供一种声音状态显示系统，该声音状态显示系统具备：获取部，其获取声音数据，该声音数据是接收检查对象物发出的声音而得到的数据；解析部，其基于所述声音数据，来执行与用于规定所述检查对象物有无异常的多个指标有关的解析处理；生成部，其基于所述解析处理的结果，来生成通过所述多个指标表示所述检查对象物发出的声音的声音状态的声音状态画面；以及显示控制部，其将所生成的所述声音状态画面显示于显示设备。

发明的效果

根据本公开，能够将检查对象物的正常、异常的状态以易于理解的方式呈现给检查员，从而能够辅助提高检查员的检查业务的便利性。

附图说明

图1A是表示实施方式1所涉及的声音状态显示系统的系统结构例的框图。

图1B是表示实施方式1所涉及的声音状态显示系统中的信息处理装置的系统结构例的框图。

图2A是表示与检查对象物的声音接收有关的第一用例的说明图。

图2B是表示与检查对象物的声音接收有关的第二用例的说明图。

图3是表示声音状态转变显示画面的一例的图。

图4是表示波形显示画面的一例的图。

图5是表示频率显示画面的一例的图。

图6是表示脉动显示画面的一例的图。

图7是表示显示画面的转变例的说明图。

图8是表示实施方式1所涉及的与检查对象物发出的机械声音的接收和异常探测有关的动作过程例的流程图。

图9A是表示实施方式1所涉及的与声音状态转变显示画面的生成有关的动作过程例的流程图。

图9B是表示实施方式1所涉及的显示画面的生成过程例的流程图。

图10是表示实施方式1所涉及的声音状态显示系统的其它系统结构例的框图。

具体实施方式

下面，适当参照附图来详细说明具体公开了本公开所涉及的声音状态显示方法、声音状态显示装置以及声音状态显示系统的结构和作用的实施方式。其中，有时省略超出需要的详细的说明。例如，有时省略众所周知的事项的详细说明、对实质上相同的结构的重复说明。这是为了避免下面的说明不必要地变得冗长，便于本领域技术人员理解。此外，附图和下面的说明是为了本领域技术人员充分理解本公开而提供的，其意图并不在于通过附图和下面的说明来限定权利要求书所记载的主题。

(声音状态显示系统的结构)

图1A是表示实施方式1所涉及的声音状态显示系统1000的系统结构例的框图。图1B是表示实施方式1所涉及的声音状态显示系统1000中的信息处理装置140的系统结构例的框图。在实施方式1中，例示以下的声音状态显示系统1000来进行说明：由检查员使用1个或多个麦克风来接收在检查对象区内设置的检查对象物发出的声音(例如机械声音)，对通过接收声音而获取到的声音数据进行解析来探测检查对象物有无异常并显示解析的结果。声音状态显示系统1000是包括1个或多个麦克风110、音频接口120以及信息处理装置140的结构。在图1A中，为方便起见，将麦克风表述为“MIC”，将接口表述为“I/F”。此外，图1A所示的声音状态显示系统1000也可以使用振动传感器来代替麦克风110，并使用能够对该振动传感器的输出进行处理的音频接口120，由此对获取到的振动波形数据进行解析来探测有无异常。在该情况下，成为声音状态显示系统1000的解析处理的对象的数据为振动波形数据而非声音数据。声音即为空气的振动，因此可以说声音状态显示系统同样能够探测检查对象物发出的声音有无异常。

麦克风110构成为具有被输入(接收)检查对象区内的检查对象物(例如空调、压缩机、大型服务器的风扇、工业机械中设置的电动机等机械部件)发出的声音(声波)后将该声音(声波)以电信号的音频信号(或振动波形信号，以下同样)的形式进行输出的声音接收设备。麦克风110当接收到检查对象物发出的声音(例如机械声音)时，将该声音所涉及的音频信号传输到音频接口120。此外，检查对象物不限定于上述的空调、压缩机、大型服务器的风扇、工业机械中设置的电动机等机械部件。

音频接口120是将通过麦克风110的声音接收而得到的音频信号转换为能够进行各种信号处理的数字数据的音频输入用的接口。音频接口120是包括输入部121、AD转换器122、缓冲器123以及通信部124的结构。在图1A中，为方便起见，将AD转换器表述为“ADC”。

输入部121具有供音频信号输入的输入端子。

AD转换器122利用规定的量化位和采样频率来将模拟的音频信号转换为数字的声音数据(或振动波形数据，以下同样)。AD转换器122的采样频率例如是48kHz。

缓冲器123具有保持声音数据的存储器，对规定时间量的声音数据进行缓冲。缓冲器123的缓冲容量例如为40msec左右。通过像这样设为比较小的缓冲容量，能够使声音状态显示系统1000中的录音处理等的延迟小。

通信部124例如具有USB(Universal Serial Bus：通用串行总线)等通信接口，能够与信息处理装置140等外部设备之间发送接收数据。通信部124将通过AD转换器122转换得到的数字的声音数据传输到信息处理装置140。

信息处理装置140例如由具有处理器和存储器等硬件部件的PC(PersonalComputer：个人计算机)等构成，执行与检查对象物发出的声音(换言之，通过麦克风110接收的声音)的解析处理、解析结果的分析处理、声音状态转变显示画面(参照后述)的生成处理及显示处理等有关的各种信息处理。下面，将通过麦克风110接收到的声音称为“收录声音”。信息处理装置140也可以不使用PC而是使用平板终端、智能电话等各种信息处理装置来构成。信息处理装置140是包括通信部141、处理部142、存储部143、操作输入部144以及显示部145的结构。

通信部141例如使用具有USB(Universal Serial Bus)等通信接口的通信电路来构成，能够与音频接口120等外部设备之间发送接收数据。通信部141被输入从音频接口120传输的收录声音的声音数据。

处理部142是使用例如CPU(Central Processing Unit：中央处理单元)、DSP(Digital Signal Processor：数字信号处理器)或FPGA(Field Programmable GateArray：现场可编程门阵列)等处理器来构成的。处理部142按照存储部143中存储的规定的程序来执行各种处理(例如，收录声音的解析处理、解析结果的分析处理、声音状态转变显示画面的生成处理和显示处理)。

收录声音的解析处理是指以下处理：针对通过麦克风110接收(收录)到的检查对象物发出的声音，从1个或多个(例如2个)不同的指标的观点出发，分别解析相对于基准状态(也就是说正常状态)的特性的变化量、突发性的异声的发生频度的趋势，以判别检查对象物有无异常。在此，多个不同的指标例如是检查对象物稳定地发出的声音(稳定声音)的变化程度或变化量以及检查对象物突然发出的声音的发生频度。

解析结果的分析处理是指以下处理：基于解析处理的结果和存储部143中存储的对照用数据库(参照后述)，根据解析处理的结果来确定检查对象物的哪个位置发生了异常的原因。

声音状态转变显示画面的生成处理和显示处理是指以下的处理：生成基于上述的1个或多个不同的指标来在视觉上呈现检查对象物发出的声音的状态的声音状态转变显示画面(声音状态画面的一个方式)，或者将该声音状态转变显示画面显示于显示部145。声音状态转变显示画面WD1的详情参照图2在后面叙述。

另外，处理部142具有声音输入部150、声音区间检测部151、特征提取部152、判定部153、判定结果合并部154、GUI(Graphical User Interface：图形用户界面)155以及再现处理部156，来作为利用软件等实现的功能性结构。

声音输入部150从通信部141接受通过麦克风110接收(收录)到的检查对象物发出的收录声音的输入。声音输入部150将所输入的收录声音输出到声音区间检测部151，并且将该收录声音以Wav形式输出并存储到存储部143。此外，声音输入部150可以以Wav形式存储收录声音。

声音区间检测部151基于通过用户操作输入的检查对象物的设置场所、检查对象物、声音接收时刻中的各项，来检测从声音输入部150输入的一定期间量的收录声音中的接收到检查对象物的声音的声音区间。声音区间检测部151将声音区间的检测结果输出到特征提取部152。

特征提取部152在从声音区间检测部151输入的检测结果所表示的声音区间内执行解析处理。特征提取部152例如使用FFT(Fast Fourier Transform：快速傅立叶变换)、音量变化、脉动提取等多个解析方法中的各解析方法来执行解析处理，分别提取作为每个解析方法的解析结果而得到的每个解析方法的特征点。此外，图1B所示的解析处理方法是一个例子，不限定于此。另外，特征提取部152所能够执行的这些解析方法也可以是与检查对象物相应地选择的，并且，在用户希望的情况下能够向现有的解析方法追加其它解析方法来作为可选功能。特征提取部152将与提取出的特征点有关的信息输出到判定部153。

判定部153判定从特征提取部152输入的多个特征点中的各特征点有无异常。判定部153具备各手法或功能(例如频率特性判定EL1、音量判定EL2、脉动判定EL3、DNN(deepneural network：深度神经网络)EL4、SVN(Sub Version)EL5、决策树EL6等)，使用这些功能来判定通过各解析方法解析得到的特征点有无异常。此外，判定部153可以与检查对象物或检查对象物的设置场所相应地选择在判定中使用的手法或功能。

判定部153将分别通过各手法或功能判定出的每个特征点有无异常的判定结果输出到判定结果合并部154。此外，这些功能是一个例子，不限定于图1B所示的功能，这是不言而喻的。另外，关于这些功能，可以追加用户任意选择出的功能作为选项，并使判定部153具备该功能。由此，用户能够实现与检查对象物或检查对象物的设置场所等相应地仅具备较佳适应性的功能的信息处理装置140。

可以通过来自存储部143中存储的阈值调整参数MM1或判定规则MM2的最新数据的输入，来对判定部153所具备的功能中的频率特性判定EL1、音量判定EL2、脉动判定EL3中的各功能进行数据的更新，其中，该阈值调整参数MM1存储有在有无异常的判定中使用的各种阈值的信息，该判定规则MM2存储有用于与检查对象物、检查对象物的设置场所等相应地判定有无异常的规则。同样地，可以通过来自存储部143中存储的学习模型MD1的最新模型数据的输入，来对判定部153所具备的功能中的DNN EL4、SVN EL5、决策树EL6中的各功能进行数据的更新。此外，这些功能的数据更新可以通过用户操作来执行。

在此，说明各种判定功能。频率特性判定EL1是基于收录声音的频率特性来执行特征点的解析从而使得能够判定有无异常的功能。音量判定EL2是基于收录声音的音量来执行特征点的解析从而使得能够判定有无异常的功能。脉动判定EL3是基于收录声音的脉动特性来执行特征点的解析从而使得能够判定有无异常的功能。DNN EL4是使用DNN来执行收录声音中的特征点的解析从而使得能够判定有无异常的功能。SVN EL5是使用SVN来执行收录声音中的特征点的解析从而使得能够判定有无异常的功能。决策树EL6是使用决策树来执行收录声音中的特征点的解析从而使得能够判定有无异常的功能。这些各种判定功能是通过频率特性判定EL1、音量判定EL2、脉动判定EL3等执行基于存储部143中存储的阈值调整参数MM1或判定规则MM2的解析的功能、或者DNN EL4、SVN EL5、决策树EL6等执行基于学习模型MD1所具有的学习数据的解析的功能等来实现的。

判定结果合并部154基于从判定部153输入的通过各手法或功能判定得到的判定结果，来将从收录声音提取出的每个特征点的有无异常的判定结果进行合并。判定结果合并部154将合并得到的判定结果输出并存储到存储部143，并且输出到GUI 155。此外，判定结果合并部154可以不仅将合并得到的判定结果输出到存储部143，还将从判定部153输入的判定结果输出到存储部143。并且，判定结果合并部154可以将从判定部153输入的判定结果与进行判定的各手法或功能的信息执行关联之后输出到存储部143。由此，存储部143中的阈值调整参数MM1、判定规则MM2以及学习模型MD1能够基于这些判定结果来更高效地执行学习并生成更新数据或更新模型。

GUI 155是所谓UI(用户界面)，基于从操作输入部144输入的用户的输入操作，根据从判定结果合并部154输入的判定结果来生成要使显示部145显示的各种画面(例如，后述的波形显示画面WD2(参照图4)、频率显示画面WD3(参照图5)或脉动显示画面WD4(参照图6)等)。GUI 155执行用窗口或格线将要生成的画面进行划分的处理、将操作对象物(例如，时间、日期、要显示的检查对象物等)显示为图画或图形的处理等。GUI 155将所生成的画面输入到显示部145。

在后述的波形显示画面WD2(参照图4)、频率显示画面WD3(参照图5)或脉动显示画面WD4(参照图6)正显示于显示部145的情况下，再现处理部156根据对波形显示画面WD2、频率显示画面WD3或脉动显示画面WD4的用户操作，将在所指定的期间收录(接收)到的声音从扬声器161以声响的方式输出。

存储部143具有存储设备，该存储设备包括利用RAM(Random Access Memory：随机存取存储器)和ROM(Read Only Memory：只读存储器)等的半导体存储器、以及利用SSD(Solid State Drive：固态驱动器)或HDD(Hard Disk Drive：硬盘驱动器)等的存储设备中的任一个。存储部143具备阈值调整参数MM1、判定规则MM2以及学习模型MD1，生成或存储用于规定处理部142所执行的处理的程序、与声音状态显示系统1000有关的各种设定数据、在解析有无异常时使用的学习数据、从音频接口120传输的声音数据等各种数据。另外，存储部143存储保持有对照用数据库，该对照用数据库是预先将检查对象物的收录声音的解析处理的结果与检查对象物中发生的异常的原因对应地进行定义而得到的。此外，该对照用数据库可以适当更新。

也可以使用1个以上的统计性分类技术来进行用于生成学习数据的学习。作为统计性分类技术，例如能够列举出线性分类器(linear classifiers)、支持向量机(supportvector machines)、二次分类器(quadratic classifiers)、核密度估计(kernelestimation)、决策树(decision trees)、人工神经网络(artificial neural networks)、贝叶斯技术和/或网络(Bayesian techniques and/or networks)、隐马尔可夫模型(hidden Markov models)、二进制分类器(binary classifiers)、多分类器(multi-classclassifiers)、聚类(a clustering technique)、随机森林(a random foresttechnique)、逻辑回归(a logistic regression technique)、线性回归(a linearregression technique)、梯度提升(a gradient boosting technique)等。但是，所使用的统计性分类技术不限定于此。并且，学习数据的生成可以在信息处理装置140内的处理部142中进行，也可以在例如使用网络来与信息处理装置140连接的服务器装置340(参照图9)中进行。另外，对获取的声音数据进行判定的目的也可以不仅在于故障时或发生问题时的异声探测，还在于收集用于进行声音分类和声音识别的学习用声音数据。

操作输入部144具有键盘、鼠标、触摸板、触摸面板等输入设备。操作输入部144将与声音状态显示系统1000的功能有关的用户操作输入到处理部142。

作为显示设备的一例的显示部145例如是使用液晶显示器或有机EL(Electroluminescence：电致发光)显示器等显示设备来构成的。显示部145显示由处理部142生成的声音状态转变显示画面、波形显示画面、频率显示画面。下面，例示以下情况的动作：作为操作输入部144，设想在显示部145的上部设置有触摸面板的结构，在显示画面上显示各种操作对象物，用户对操作对象物进行触摸操作。此外，显示部145也可以是外置于而非内置于信息处理装置140的显示器终端(参照图2A)。

扬声器161是例如内置于信息处理装置140的声响输出元件，将成为由再现处理部156进行再现处理的对象的声音数据以声响的方式输出。此外，扬声器161也可以是外置于而非内置于信息处理装置140的声响输出元件。

接着，参照图2A和图2B来说明实施方式1所涉及的声音状态显示系统1000中的与检查对象物的声音接收有关的2种用例。图2A是表示与检查对象物的声音接收有关的第一用例的说明图。图2B是表示与检查对象物的声音接收有关的第二用例的说明图。

在第一用例中，固置型的声音接收器材(参照后述)始终设置于检查对象区，检查对象物发出的声音被长期地收录(接收)。

在第二用例中，在进入了检查对象区的检查员携带便携式的声音接收器材(参照后述)的状态下，检查对象物发出的声音被短期地收录(接收)。

在图2A所示的第一用例中，在检查对象区AR1，与检查对象物MC1、MC2、MC3中的各检查对象物逐一对应地设置声音接收器材(例如麦克风110、音频接口120、信息处理装置140、显示部145的套组)。也就是说，在使用声音接收器材的服务开始时设置声音接收器材，直到该服务结束为止持续设置声音接收器材。构成各声音接收器材的麦克风110始终收录(接收)检查对象物MC1、MC2、MC3各自发出的声音。构成声音接收器材的信息处理装置140当借助对应的音频接口120获取到检查对象物发出的声音(收录声音)的一定期间(数据收录期间)量的声音数据时，每当获取到该一定期间量的声音数据时重复解析处理从而定期地执行解析处理。

在图2B所示的第二用例中，在检查对象区AR1，在进入了检查对象区AR1的检查员携带声音接收器材(例如，具有一体地包含麦克风110、音频接口120以及显示部145的结构的智能电话等信息处理装置140A)的状态下，针对检查对象物MC1、MC2、MC3中的各检查对象物，按地点依次完成短期的收录(声音接收)。也就是说，在使用声音接收器材的服务开始时研究声音接收场所，直到该服务结束为止使用声音接收器材短期地收录(接收)各检查对象物发出的声音。构成声音接收器材的信息处理装置140A的麦克风110随时收录(接收)检查对象物MC1、MC2、MC3各自发出的声音。构成声音接收器材的信息处理装置140A当获取到检查对象物发出的声音(收录声音)的一定期间(数据收录期间)量的声音数据时，每当获取到该一定期间量的声音数据时重复解析处理从而定期地执行解析处理。

接着，参照图3、图4、图5以及图7来说明信息处理装置140的显示部145所显示的各种显示画面的种类和显示画面的转变例。图3是表示声音状态转变显示画面WD1的一例的图。图4是表示波形显示画面WD2的一例的图。图5是表示频率显示画面WD3的一例的图。图7是表示显示画面的转变例的说明图。在图4和图5的说明中，对与图3的说明重复的要素赋予相同的标记并简化或省略说明，针对不同的内容进行说明。

如图3所示，声音状态转变显示画面WD1是在视觉上呈现与检查对象物发出的声音的收录(接收)有关的目录信息BIB1、声音状态转变图表GPH1、以及分析内容RST1的显示画面。在目录信息BIB1中，示出通过用户操作指定的收录(接收)到检查对象物发出的声音的场所、日期时间以及基准选择时刻中的各项。在图3的例子中，检查对象物的设置场所是“A县工厂01”，检查对象物的名称是“设备01”，确定检查对象物的声音状态转变图表GPH1的基准状态的日期时间是“2018年9月10日，上午10：00：30”。也就是说，图3的声音状态转变图表GPH1以“2018年9月10日，上午10：00：30”为基准的日期时间(换言之，起点)，将基准的日期时间以后的与检查对象物发出的声音的状态有关的转变状态直观地在视觉上呈现给用户。

声音状态转变图表GPH1是利用稳定声音变化量的轴(横轴)和突发声音频度的轴(纵轴)这2个轴累积地绘制通过用户操作指定的基准的日期时间以后的声音状态以判别检查对象物有无异常的图表。线L1表示突发声音频度的基准状态(换言之，不发生突发声音的正常状态)。线L2表示稳定声音变化量的基准状态(换言之，正在输出稳定声音的稳定状态)。此外，稳定声音变化量的基准状态(换言之，正在输出稳定声音的稳定状态)也可以是纵轴的线而非线L2。

在图3的例子中，声音状态转变图表GPH1以表示9月10日的声音状态的声音状态点P1为基准，分别绘制有表示9月11日的声音状态的声音状态点P2、表示9月12日的声音状态的声音状态点P3、表示9月13日的声音状态的声音状态点P4。当完成对任一个声音状态点(例如9月13日的声音状态点)的用户操作(例如利用鼠标等操作输入部144进行的右点击操作)时，处理部142将与所选择出的该声音状态点对应的详情显示列表DTL1显示于声音状态转变图表GPH1，并且将与在所选择出的该声音状态点所表示的日期(例如9月13日)收录(接收)到的检查对象物发出的声音对应的分析处理的结果显示为分析内容RST1。

在分析内容RST1中，利用文章(文本)来示出由处理部142进行的解析处理的结果以及与该结果对应的由处理部142进行的分析处理的结果。在图3的例子中，分别示出了以“5次/1sec”的频度发生突发声音、在“0KHz～10KHz的频带”中发生稳定声音的变化来作为分析内容RST1的一例(例如解析处理的结果)，并且示出了“皮带松动，可能有异物混入”作为分析处理的结果。

当完成对详情显示列表DTL1的“波形显示”的用户操作(例如利用鼠标等操作输入部144进行的左点击)时，处理部142将当前显示的声音状态转变显示画面WD1切换为与通过该用户操作选择出的“波形显示”对应的波形显示画面WD2，将该波形显示画面WD2显示于显示部145(参照图4和图7)。

如图4所示，波形显示画面WD2是在视觉上呈现与检查对象物发出的声音的收录(接收)有关的目录信息BIB2、时间轴波形图表GPH2、分析内容RST1以及画面切换图标ORG1的显示画面。在目录信息BIB2中，除了目录信息BIB1的内容以外，还追加有再现开始时刻设定栏ST1和再现按钮RP1。在再现开始时刻设定栏ST1中，通过用户操作来指定成为与时间轴波形图表GPH2对应的声音数据的再现对象的日期时间(例如“2018年9月10日的上午10：00：45”。当在此基础上通过用户操作按下再现按钮RP1时，再现处理部156从所指定的该再现开始时刻起再现声音数据并将该声音数据从扬声器161以声响的方式输出。此外，再现处理部156可以配合声音数据的再现来使时间轴波形图表GPH2的光标线CRT1推移从而进行移动显示。

时间轴波形图表GPH2表示通过用户操作在声音状态转变显示画面WD1中选择出的日期的声音状态点(例如声音状态点P4)的检查对象物的收录声音的时间轴波形PTY1。横轴表示时间，纵轴表示声压。当通过用户操作将滚动条SCB1在左右方向(也就是说时间轴方向)上滑动时，处理部142与该用户操作相应地滚动显示时间轴波形图表GPH2的时间轴波形PTY1。此外，当通过用户操作按下了被记载为“显示声音状态转变显示画面”的画面切换图标ORG1时，处理部142将当前显示的波形显示画面WD2切换为与该波形显示画面WD2对应的声音状态转变显示画面WD1，将该声音状态转变显示画面WD1显示于显示部145(参照图3和图7)。

如图5所示，频率显示画面WD3是在视觉上呈现与检查对象物发出的声音的收录(接收)有关的目录信息BIB2、频率轴波形图表GPH3、分析内容RST1以及画面切换图标ORG1的显示画面。

频率轴波形图表GPH3表示通过用户操作在声音状态转变显示画面WD1中选择出的日期的声音状态点(例如声音状态点P4)的检查对象物的收录声音的频率轴波形PTY2。横轴表示频率，纵轴表示声压。此外，当通过用户操作按下了被记载为“显示声音状态转变显示画面”的画面切换图标ORG1时，处理部142将当前显示的频率显示画面WD3切换为与该波形显示画面WD2对应的声音状态转变显示画面WD1，将该声音状态转变显示画面WD1显示于显示部145(参照图3和图7)。

图6是表示脉动显示画面WD4的一例的图。脉动显示画面WD4是在通过用户操作选择了画面切换图标ORG3中的用于显示脉动显示画面WD4的画面切换图标ORG2时显示的画面。脉动显示画面WD4是在视觉上呈现与检查对象物发出的声音的收录(接收)有关的目录信息BIB3、频率轴波形图表GPH4、以及画面切换图标ORG2、画面切换图标ORG3的显示画面。此外，画面切换图标ORG3包括能够显示其它显示画面(例如，频率解析、时间转变显示、差分解析、波形解析、声音状态转变等)的多个图标中的各图标，能够基于用户操作来进行画面转变。

以使目录信息BIB3包括再现开始时刻设定栏ST2和再现按钮RP1的方式生成目录信息BIB3。在再现开始时刻设定栏ST2中，通过用户操作来指定成为与频率轴波形图表GPH4对应的声音数据的再现对象的日期时间(例如“2018年9月13日的上午10：00：30”。当在此基础上通过用户操作按下再现按钮RP1时，再现处理部156从所指定的该再现开始时刻起再现声音数据并将该声音数据从扬声器161以声响的方式输出。此外，当在再现处理部156中配合声音数据的再现将频率轴波形图表GPH4的滚动条SCB2在左右方向(也就是说时间轴方向)上滑动时，处理部142与该用户操作相应地滚动显示频率轴波形图表GPH4的波形。

频率轴波形图表GPH4包含通过用户操作在脉动显示画面WD4中选择出的日期的检查对象物的收录声音的脉动波形PTY3。横轴表示频率，纵轴表示声压。

在图7中，详细地示出了图3所示的声音状态转变显示画面WD1、图4所示的波形显示画面WD2、图5所示的频率显示画面WD3中的各显示画面的对于用户操作的转变例。声音状态转变显示画面WD1的初始状态是累积地显示有基于每当收录(接收)到检查对象物发出的声音时执行的处理部142的解析处理的结果生成的声音状态点的显示画面。当通过用户操作选择了任一个声音状态点时，处理部142显示与所选择的该声音状态点对应的详情显示列表DTL1。另一方面，当通过用户操作完成了声音状态点的选择的解除操作(例如点击声音状态转变显示画面WD1中的其它部分的操作)时，处理部142中止该详情显示列表DTL1的显示，显示初始状态的声音状态转变显示画面WD1。

另外，当在显示与通过用户操作选择出的任一个声音状态点对应的详情显示列表DTL1时通过用户操作选择了波形显示的图标时，处理部142将当前显示的声音状态转变显示画面WD1切换为与通过该用户操作选择出的“波形显示”对应的波形显示画面WD2，将该波形显示画面WD2显示于显示部145(参照图4和图7)。另一方面，当通过用户操作按下了被记载为“显示声音状态转变显示画面”的画面切换图标ORG1时，处理部142将当前显示的波形显示画面WD2切换为与该波形显示画面WD2对应的声音状态转变显示画面WD1，将该声音状态转变显示画面WD1显示于显示部145(参照图3和图7)。

另外，当在显示与通过用户操作选择出的任一个声音状态点对应的详情显示列表DTL1时通过用户操作选择了频率显示的图标时，处理部142将当前显示的声音状态转变显示画面WD1切换为与通过该用户操作选择出的“频率显示”对应的频率显示画面WD3，将该频率显示画面WD3显示于显示部145(参照图4和图7)。另一方面，当通过用户操作按下了被记载为“显示声音状态转变显示画面”的画面切换图标ORG1时，处理部142将当前显示的频率显示画面WD3切换为与该频率显示画面WD3对应的声音状态转变显示画面WD1，将该声音状态转变显示画面WD1显示于显示部145(参照图3和图7)。

接着，参照图8和图9A来说明实施方式1所涉及的声音状态显示系统1000的各种动作过程例。图8是表示实施方式1所涉及的与检查对象物发出的机械声音的接收及异常探测有关的动作过程例的流程图。图9A是表示实施方式1所涉及的与声音状态转变显示画面的生成有关的动作过程例的流程图。

在图8中，信息处理装置140的处理部142从存储部143读出经由麦克风110和音频接口120获取到的、收录(接收)到的检查对象区的声音的一定期间量的声音数据(也就是说，设置于检查对象区的检查对象物发出的声音的声音数据)(St11)。此外，在步骤St11中，处理部142也可以不从存储部143读出检查对象物发出的声音的一定期间量的声音数据，而是借助麦克风110和音频接口120直接获取检查对象物发出的声音的一定期间量的声音数据。

处理部142针对在步骤St11中读出的一定期间量的收录声音的声音数据，执行解析稳定声音的变化量的有无和突发声音的发生频度的有无的解析处理(St12)。

处理部142从存储部143读出将步骤St12的解析处理的结果与被认为是该结果的产生原因的事件的信息进行对应的对照用数据库并参照该对照用数据库，由此执行与解析处理的结果对应的分析处理(St13)。

处理部142将步骤St12的解析处理的结果及步骤St13的分析处理的结果与在步骤St11中读出的声音数据所对应的检查对象物的设置场所、检查对象物、声音接收时刻中的各项对应地保存到存储部143(St14)。

在图9A中，在探测到通过使用信息处理装置140的用户操作分别输入(选择)了认为用户想要确认的检查对象物的设置场所、检查对象物、声音接收时刻的情况下(St21：“是”)，处理部142从存储部143读出并获取与该输入(选择)对应的解析结果和分析结果(St22)。此外，在没有分别输入(选择)认为用户想要确认的检查对象物的设置场所、检查对象物、声音接收时刻的情况下(St21：“否”)，图9A的处理结束。

处理部142使用在步骤St22中获取到的解析结果和分析结果，生成包含表示稳定声音变化量与突发声音频度的关系的声音状态转变图表GPH1以及分析结果(分析内容RST1)的声音状态转变显示画面WD1(St23)。处理部142将所生成的该声音状态转变显示画面WD1显示于显示部145(St24)。

图9B是表示实施方式1所涉及的显示画面的生成过程例的流程图。显示画面是以通过信息处理装置140中的特征提取部152提取出的多个特征点各自的种类(也就是说，FFT、音量变化、脉动提取等解析方法的种类)中的2个种类的解析方法的解析结果为轴而生成的。

信息处理装置140对被输入的声音(也就是说收录声音)执行使用音量变化、脉动提取等多个解析方法中的各解析方法的解析处理，提取n个种类(n：2以上的整数)的特征点(St31)。此外，在此所说的种类表示解析方法。

信息处理装置140将所提取出的n个种类的特征点(也就是说n个种类的解析处理的结果)中的、进一步被判定为被认定具有规定变化的k个种类(k

信息处理装置140在步骤St32的处理中判定被认定具有变化的特征点的种类的数量k是否为k＝0(St33)，在k＝0的情况下(St33：“是”)，判定为收录声音没有异常(St34)。在此，在转变为步骤St34的处理的情况下，结束显示画面的生成。

另一方面，信息处理装置140在步骤St33的处理中被认定具有变化的特征点的种类的数量k不是k＝0的情况下(St33：“否”)，从n个种类的特征点(也就是说，每n个种类的解析方法的解析结果)选择2个种类的特征点，生成以这2个种类的特征点分别为纵轴和横轴的2维显示画面(St35)。

在此，作为基于图9B所示的显示画面的生成过程例生成的2维显示画面的一例，例如说明图3所示的声音状态转变显示画面WD1的生成过程。在图3所示的声音状态转变显示画面WD1的情况下，信息处理装置140例如通过特征提取部152至少利用解析稳定声音变化量的解析处理和解析突发声音频度的解析处理这2个种类的解析方法来执行解析处理。信息处理装置140在步骤St31的处理中，提取被认定具有变化的作为与稳定声音变化量有关的解析处理的解析结果的特征点以及作为与突发声音频度有关的解析处理的解析结果的特征点，在步骤St35的处理中，生成在横轴表示与稳定声音变化量有关的特征点、在纵轴表示与突发声音频度有关的特征点的声音状态转变显示画面WD1。

此外，信息处理装置140在步骤St33的处理中被认定具有变化的特征点的种类的数量k为k＝1的情况下，生成以在步骤St32的处理中被判定为被认定具有变化的一个特征点以及在步骤St32的处理中没有被认定具有变化的另一个特征点为2个轴的2维显示画面。

如上所述，在实施方式1所涉及的声音状态显示系统1000中，信息处理装置140在处理部142(获取部的一个方式)中获取声音数据，该声音数据是接收检查对象物(例如图2A所示的检查对象物MC1)发出的声音而得到的数据。信息处理装置140基于获取到的该声音数据，在处理部142(解析部的一个方式)中执行与用于规定检查对象物有无异常的多个不同的指标有关的解析处理。信息处理装置140基于解析处理的结果，在处理部142(生成部的一个方式)中生成通过多个不同的指标表示检查对象物发出的声音的声音状态的声音状态转变显示画面WD1(声音状态画面的一个方式)。信息处理装置140在处理部142(显示控制部的一个方式)中将所生成的声音状态转变显示画面WD1显示于显示部145(显示设备的一个方式)。

由此，根据声音状态显示系统1000，信息处理装置140能够将认为检查员等用户想要检查的检查对象物的正常或异常的状态以易于理解的方式呈现给该用户，因此不限于相当熟练的检查员，即使对于不具有充分的知识经验的检查员，也能够恰当地辅助提高检查员的检查业务的便利性。

另外，多个不同的指标是与检查对象物稳定地发出的声音的变化量有关的指标以及与检查对象物突然发出的声音的发生频度有关的指标。由此，信息处理装置140能够解析相对于针对每个检查对象物决定的基准状态而言稳定地发出的声音是否存在变化量、如异声等那样突然发出的声音的发生频度是否高，由此恰当地判别压缩机等检查对象物发出的声音是否出现异常。另外，检查员等用户能够基于稳定地发出的声音是否存在变化量这一观点以及如异声等那样突然发出的声音的发生频度是否高这一观点，来在视觉上高效地掌握检查对象物有无异常。

另外，信息处理装置140在生成声音状态画面时，生成将与每当接收到检查对象物发出的声音时执行的解析处理的结果对应的声音状态进行累积并呈现的声音状态转变显示画面WD1。由此，信息处理装置140每当接收(收录)到检查对象物发出的声音时将作为该收录声音的解析处理的结果的声音状态(也就是说，表示有无异常的收录声音的状态)进行累积来呈现于声音状态转变显示画面WD1，因此能够使检查员等用户从整体上掌握检查对象物发出的声音的每次收录(接收)的声音状态。

另外，信息处理装置140基于解析处理的结果来获取启示检查对象物的异常的原因的分析结果。信息处理装置140在生成声音状态转变显示画面WD1时，生成将获取到的分析结果(分析内容RST1)包含在内的声音状态转变显示画面WD1。由此，用户只要浏览声音状态转变显示画面WD1就能够以易于理解的方式掌握具体在检查对象物的哪里存在什么样的异常。

另外，信息处理装置140在生成声音状态画面时，生成对以多个不同的指标分别为轴的图表绘制表示声音状态的声音状态点而成的声音状态转变显示画面WD1。由此，用户能够通过浏览在视觉上呈现基于检查对象物发出的声音解析得到的声音状态的声音状态转变显示画面WD1，来简单地掌握检查对象物是否存在异常。

另外，信息处理装置140还具有以下步骤：根据针对声音状态点的用户操作，来显示与声音状态点对应的特性波形的选择画面。由此，用户能够选择自己感兴趣的声音状态点的特性波形，因此能够进行规定的特性波形的确认。

另外，信息处理装置140根据针对声音状态转变显示画面WD1所呈现的多个声音状态点中的任一个声音状态点的用户操作，将与该声音状态点对应的表示检查对象物发出的声音的时间轴波形的波形显示画面WD2显示于显示部145。由此，用户能够通过指定自己感兴趣的声音状态点的简单操作来直接确认收录声音的时间轴的波形，并能够根据该波形掌握有无异常。

另外，信息处理装置140根据针对波形显示画面WD2进行的检查对象物发出的声音的再现开始时刻的指定，再现并输出从该指定的再现开始时刻起的检查对象物发出的声音。由此，用户能够从自己指定的再现开始时刻起实际收听自己感兴趣的声音状态点的声音，因此能够根据收听到的声音来进行有无异常的类推等确认。

另外，信息处理装置140根据针对声音状态转变显示画面WD1所呈现的多个声音状态点中的任一个声音状态点的用户操作，将与该声音状态点对应的表示检查对象物发出的声音的频率特性波形的频率显示画面WD3显示于显示部145。由此，用户能够通过指定自己感兴趣的声音状态点的简单操作来直接确认收录声音的频率轴的波形，并能够根据该波形掌握有无异常。

另外，信息处理装置140根据针对频率显示画面WD3进行的检查对象物发出的声音的再现开始时刻的指定，再现并输出从该指定的再现开始时刻起的检查对象物发出的声音。由此，用户能够从自己指定的再现开始时刻起实际收听自己感兴趣的声音状态点的声音，因此能够根据收听到的声音来进行有无异常的类推等确认。

另外，信息处理装置140还具有以下步骤：根据针对声音状态点的用户操作，将与声音状态点对应的表示检查对象物发出的声音的频谱图特性波形的波形显示画面WD2显示于显示设备。由此，用户能够实际收听自己感兴趣的搜查对象物的声音状态点的声音，因此能够根据收听到的声音来进行有无异常的类推等确认。

此外，也可以是，通过经由有线或无线的网络来与信息处理装置140连接的服务器装置340来执行上述的在信息处理装置140中执行的解析处理、分析处理、声音状态转变显示画面WD1的生成处理、波形显示画面WD2的生成处理以及频率显示画面WD3的生成处理中的至少一部分(参照图10)。

图10是表示实施方式1所涉及的声音状态显示系统的其它系统结构例的框图。在图10所示的声音状态显示系统1000A中，除了图1A所示的声音状态显示系统1000以外，还设置经由网络或通信线路来与对应于信息处理装置140的信息处理装置140A连接的服务器装置340。通过该服务器装置340来执行解析处理、分析处理、声音状态转变显示画面WD1的生成处理、波形显示画面WD2的生成处理以及频率显示画面WD3的生成处理。

声音状态显示系统1000A是包括麦克风110、音频接口120、信息处理装置140A以及服务器装置340的结构。对与图1A所示的声音状态显示系统1000的结构相同的结构赋予相同的标记并简化或省略说明，针对不同的内容进行说明。

信息处理装置140A是包括通信部141、处理部142A、存储部143、操作输入部144、显示部145以及通信部146的结构。处理部142A是使用例如CPU(Central Processing Unit：中央处理单元)、DSP(Digital Signal Processor：数字信号处理器)或FPGA(FieldProgrammable Gate Array：现场可编程门阵列)等处理器来构成的。处理部142A按照存储部143中存储的规定的程序来执行各种处理(例如，收录声音的解析处理的指示、解析结果的分析处理的指示、声音状态转变显示画面的生成处理的指示、以及声音状态转变显示画面的显示处理)。通信部146是使用具有有线或无线的通信接口的通信电路来构成的，与外部的服务器装置340之间进行通信。信息处理装置140A经由有线或无线的网络的通信路300来与服务器装置340连接。其它与图1A中示出的声音状态显示系统1000的结构相同，在此仅说明不同的部分。

服务器装置340例如由具有处理器和存储器等硬件部件的信息处理装置(计算机)等构成，执行检查对象物发出的声音(换言之，通过麦克风110接收到的声音)的解析处理、解析结果的分析处理、声音状态转变显示画面的生成处理等各种信息处理。服务器装置340是包括通信部341、处理部342以及存储部343的结构。

通信部341是使用与信息处理装置140A之间发送接收声音数据、学习数据等各种数据的通信电路构成的，与信息处理装置140A之间进行数据或信息的发送接收。

作为解析部和生成部各自的一例的处理部342是使用例如CPU(CentralProcessing Unit：中央处理单元)、DSP(Digital Signal Processor：数字信号处理器)或FPGA(Field Programmable Gate Array：现场可编程门阵列)等处理器来构成的。处理部342A按照存储部343中存储的规定的程序来执行各种处理(例如，收录声音的解析处理、解析结果的分析处理、声音状态转变显示画面的生成处理)。此外，既可以是，收录声音的解析处理、解析结果的分析处理、声音状态转变显示画面的生成处理的全部处理由处理部342执行，也可以是，由处理部342执行其一部分处理，剩余的处理由信息处理装置140A的处理部142A执行。

在图10的结构例中为以下结构：在经由网络等连接的多个信息处理装置(具体地说，信息处理装置140、服务器装置340)中分散地执行实施方式1所涉及的声音状态显示系统1000A所进行的处理。特别是，通过使用具有高处理能力的服务器装置340的信息处理装置来执行收录声音的解析处理、解析结果的分析处理、解析处理中使用的学习数据的学习处理(参照上述)，易于应对复杂的算法运算、高速处理等。也可以是，在与音频接口120连接的本地的信息处理装置140A或服务器装置340等中，将使用学习数据的学习处理、收录声音的解析处理、解析处理的结果的分析处理按处理来适当分配执行。例如，能够根据系统结构、使用环境、数据处理的算法、数据量、数据特性、输出方式等各种条件，由适当的信息处理装置140A和服务器装置340分别分担执行实施方式1所涉及的各处理。

以上，参照附图来说明了各种实施方式，但是本公开不限定于所述例子，这是不言而喻的。只要是本领域技术人员，就能够在权利要求书所记载的范畴内想到各种变更例、修正例、置换例、附加例、删除例、等同例，这是显而易见的，可以理解的是，这些变更例或修正例当然也属于本公开的保护范围。另外，也可以在不脱离发明的宗旨的范围内将上述的各种实施方式中的各结构要素任意组合。

此外，本申请基于2018年11月14日申请的日本专利申请(日本特愿2018-213587)，其内容作为参照被引用到本申请中。

产业上的可利用性

本公开作为将检查对象物的正常、异常的状态以易于理解的方式呈现给检查员从而辅助提高检查员的检查业务的便利性的声音状态显示方法、声音状态显示装置以及声音状态显示系统是有用的。

附图标记说明

110：麦克风；120：音频接口；121：输入部；122：AD转换器；123：缓冲器；124、141：通信部；140：信息处理装置；142：处理部；143：存储部；144：操作输入部；145：显示部；156：再现处理部；161：扬声器。