信息处理系统、信息处理系统的控制方法、装置以及存储介质

技术领域

本公开涉及信息处理系统、信息处理系统的控制方法、装置、以及存储介质。

背景技术

以往，已知有将2个设备间通信连接，并使2个设备合作的各种信息处理系统(例如，参照专利文献1)。

专利文献1：美国专利申请公开第2013/237155号说明书

然而，在这种信息处理系统中，从确保安全的观点考虑，有在进行认证处理之后，建立2个设备之间的通信的要求。

例如，在专利文献1中，记载有通过使2个设备分别显示认证码，并使2个设备相对，读取彼此的认证码，来进行认证处理。这样的认证处理方法在确保安全，并且能够简易地进行认证处理的方面有用。然而，在这样的认证处理方法中，需要将2个设备对齐，不太方便。

发明内容

因此，本公开的目的在于提供一种能够通过更简单的方法，进行用于建立2个设备之间的通信的认证处理的信息处理系统、信息处理系统的控制方法、装置、以及存储介质。

解决上述的课题的主要的本公开是一种信息处理系统，

是具备第一设备、第二设备、以及能够与上述第一设备和上述第二设备分别通信的管理装置的信息处理系统，

上述第一设备具备：

扬声器；以及

第一控制部，

上述第一控制部进行如下处理：

基于上述第一设备的ID信息来生成第一认证码，

将上述第一认证码转换为声音信号并使该声音信号从上述扬声器输出，

将上述第一认证码发送至上述管理装置，

上述第二设备具备：

麦克风；以及

第二控制部，

上述第二控制部进行如下处理：

使上述麦克风获取上述声音信号，

从获取到的上述声音信号中提取上述第二认证码，

将提取出的上述第二认证码发送至上述管理装置，

上述管理装置具备第三控制部，

上述第三控制部进行如下处理：

接收上述第一认证码，

接收上述第二认证码，

对上述第一认证码和上述第二上述认证码进行核对，在两者一致的情况下，建立上述第一设备和上述第二设备之间的通信。

另外，在另一方面，是一种装置，具备：

扬声器；以及

控制部，

上述控制部进行如下处理：

基于上述装置的ID信息来生成认证码，

将上述认证码转换为声音信号，并使该声音信号从上述扬声器输出，以使其它装置的麦克风获取，

将上述认证码发送至管理装置，以便建立与上述其它装置的通信，

经由上述管理装置接收由上述其它装置的麦克风获取到的语音指令的信息，并执行与上述语音指令对应的动作。

另外，在另一方面，是一种装置，具备：

麦克风；以及

控制部，

上述控制部进行如下处理：

使上述麦克风获取从其它装置输出的声音信号，

从获取到的上述声音信号中提取认证码，

将提取出的上述认证码发送至管理装置，以便建立与上述其它装置的通信，

将由上述麦克风获取到的语音指令的信息发送至上述管理装置，以便经由上述管理装置发送至上述其它装置。

另外，在另一方面，是一种信息处理系统的控制方法，

是具备第一设备、第二设备、以及能够与上述第一设备和上述第二设备分别通信的管理装置的信息处理系统的控制方法，

上述第一设备进行如下处理：

基于上述第一设备的ID信息来生成第一认证码，

将上述第一认证码转换为声音信号并使该声音信号从自身所具有的扬声器输出，

将上述第一认证码发送至上述管理装置，

上述第二设备进行如下处理：

使自身所具有的麦克风获取上述声音信号，

从获取到的上述声音信号中提取第二认证码，

将提取出的上述第二认证码发送至上述管理装置，

上述管理装置进行如下处理：

接收上述第一认证码，

接收上述第二认证码，

对上述第一认证码和上述第二认证码进行核对，在两者一致的情况下，建立上述第一设备和上述第二设备之间的通信。

另外，在另一方面，是一种记录介质，

是储存有对具备扬声器的装置进行控制的控制程序的计算机可读取的记录介质，

上述控制程序具备：

基于上述装置的ID信息来生成认证码的处理；

将上述认证码转换为声音信号，并使该声音信号从上述扬声器输出，以使其它装置的麦克风获取的处理；

将上述认证码发送至管理装置，以便建立与上述其它装置的通信的处理；以及

经由上述管理装置接收由上述其它装置的麦克风获取到的语音指令的信息，并执行与上述语音指令对应的动作的处理。

另外，在另一方面，是一种记录介质，

是储存有对具备麦克风的装置进行控制的控制程序的计算机可读取的记录介质，

上述控制程序具备：

使上述麦克风获取从其它装置输出的声音信号的处理；

从获取到的上述声音信号中提取认证码的处理；

将提取到的上述认证码发送至管理装置，以便建立与上述其它装置的通信的处理；以及

将由上述麦克风获取到的语音指令的信息发送至上述管理装置，以便经由上述管理装置发送至上述其它装置的处理。

根据本公开的信息处理系统，能够通过简单的方法，进行用于建立2个设备之间的通信的认证处理。

附图说明

图1是表示一个实施方式的信息处理系统的整体结构的一个例子的图。

图2是表示一个实施方式的第一设备以及第二设备的硬件结构的一个例子的图。

图3是表示一个实施方式的第一设备的详细结构的一个例子的图。

图4是表示一个实施方式的第二设备的详细结构的一个例子的图。

图5是表示一个实施方式的服务器的详细结构的一个例子的图。

图6是表示一个实施方式的信息处理系统中的用于建立第一设备和第二设备的通信的认证处理的一系列的流程的图。

图7是表示在一个实施方式的信息处理系统中，实现建立第一设备和第二设备的通信之后的信息处理的结构的一个例子的图。

具体实施方式

以下，参照附图，对本公开的优选的实施方式进行详细说明。此外，在本说明书以及附图中，通过对具有实质相同的功能的构成要素标注相同的附图标记，而省略重复说明。

(本公开的背景)

由于近年来的信息处理技术以及语音识别技术的进展，基于语音的信息输入的运用在各种领域中正在发展。在这样的背景下，本申请的发明人研究了以由用户向麦克风输入的语音指令，使设备动作。

然而，根据设备，存在设置于该设备的麦克风的性能较低，而基于语音指令的输入操作引起该设备的误动作的可能。另外，出于安全方面的理由、过度地使用存储器的理由，根据设备，也有不希望将设置于该设备的麦克风始终设为打开状态的情况。

因此，本申请的发明人想到本发明：通过将具有高性能的麦克风的第二设备用作用户界面(即，语音输入装置)，来使第一设备动作，而构建对用户来说使用的便利性较高的信息处理系统(参照图7后述)。

然而，如上所述，在这样的信息处理系统中，用于在高度地确保安全的状态下，通过简单的方法，建立2个设备之间的通信的认证处理方法也为重要的课题。本申请的发明人考虑这样的信息处理系统的结构，仔细研究以简单地实现认证处理，而想到本发明的结构。

＜整体结构＞

以下，对一个实施方式的信息处理系统U的结构进行说明。

图1是表示本实施方式的信息处理系统U的整体结构的一个例子的图。图2是表示本实施方式的第一设备1以及第二设备2的硬件结构的一个例子的图。

信息处理系统U具备第一设备1、第二设备2、以及服务器3(相当于本发明的“管理装置”)。在信息处理系统U中，服务器3经由通信线路N(在图1中未图示)与第一设备1以及第二设备2分别连接。

此外，将这些设备通信连接的通信线路N例如为LAN(Local Area Network：局域网)、WAN(Wide Area Network：广域网)或者互联网线路等。

信息处理系统U例如将第二设备2用作语音输入的用户界面，来使第一设备1动作。此时，第一设备1和第二设备2之间的通信经由服务器3来进行。而且，第一设备1和第二设备2之间的通信构成为在通过服务器3进行认证处理之后建立。

第一设备1例如是安装有用于向打印机发送打印任务的打印任务管理软件、工作流程软件的计算机，第二设备2例如是智能扬声器(也被称为AI扬声器)。上述的打印任务管理软件、工作流程软件也可以作为网络应用程序来实现。其中，作为第一设备1以及第二设备2，能够使用任意种类的装置。第一设备1例如可以是电视机、空调设备或者照明设备等家用电器，另外，也可以是执行打印任务的打印机、复印机、复合机(MFP)。另外，第二设备2例如也可以是智能手机等。此外，通常，作为第二设备2，优选使用该第二设备2的麦克风207的性能比第一设备1的麦克风107的性能高性能的设备。

此外，在本实施例中，作为一个例子，如图2所示，第一设备1作为计算机来记载，该计算机作为主要的组件，具备CPU(Central Processing Unit：中央处理器)101、ROM(ReadOnly Memory：只读存储器)102、RAM(Random Access Memory：随机存储器)103、外部存储装置(例如，闪存)104、通信接口105、扬声器106、以及麦克风107。第一设备1的后述的各功能例如通过CPU101参照ROM102、RAM103、外部存储装置104等中存储的处理程序、各种数据来实现。其中，第一设备1所具有的功能的一部分或者全部当然也可以通过ASIC(ApplicationSpecific Integrated Circuit：专用集成电路)、FPGA(Field-Programmable Gate Array：现场可编程门阵列)或者DSP(Digital Signal Processor：数字信号处理器)等来实现。

第二设备2具有与第一设备1相同的结构，例如，包含CPU201、ROM202、RAM203、外部存储装置204、通信接口205、扬声器206、以及麦克风207而构成。

此外，在这里，虽然省略了图示，但服务器3也与第一设备1以及第二设备2以外的多个设备通信连接，中继它们之间的通信。

＜第一设备＞

图3是表示本实施方式的第一设备1的详细结构的一个例子的图。

第一设备1具备随机数生成部11、ID信息获取部12、认证码生成部13、认证码注册指令部14、声音信号生成部15、以及会话数据设定部16。第一设备1的该功能例如由在第一设备1上动作的网络应用程序来实现。此外，随机数生成部11、ID信息获取部12、认证码生成部13、认证码注册指令部14、声音信号生成部15、以及会话数据设定部16相当于本发明的“第一控制部”。

随机数生成部11生成随机数。随机数生成部11利用的随机数生成方法可以是公知的任意的方法，例如，平方取中法、线性同余法或者线性反馈移位寄存器法等使用伪随机数生成算法的方法。此外，随机数生成部11生成的随机数例如储存于网络应用程序的Cookie。

ID信息获取部12获取第一设备1的ID信息。第一设备1的ID信息是用于生成认证码的信息，只要是第一设备1的固有信息是任意的。作为第一设备1的ID信息，例如使用第一设备1的IP地址。然而，从提高安全性的观点考虑，作为第一设备1的ID信息，优选除了IP地址以外，还附有第一设备1的操作系统和其版本信息、或者第一设备1的网络应用程序的浏览器名称和其版本信息等。

认证码生成部13基于随机数生成部11所生成的随机数和ID信息获取部12获取到的第一设备1的ID信息，生成认证码。认证码生成部13例如使用公知的任意的加密算法，根据随机数和ID信息生成认证码。此外，由认证码生成部13生成的认证码通常是固定长度的认证码。

认证码注册指令部14将由认证码生成部13生成的认证码与认证码注册请求一起发送至服务器3。因此，由第一设备1生成的认证码被注册至服务器3。

声音信号生成部15使用预先定义的规定的算法，将由认证码生成部13生成的认证码转换为声音信号。而且，声音信号生成部15对该声音信号进行D/A转换，并从第一设备1的扬声器106作为声波输出。此外，在本实施例中，将第一设备1或者第二设备2在装置内部作为电气/电子信号处理的信号称为声音信号。另外，也有包含基于电气/电子信号从扬声器输出的声波而称为声音信号的情况，也有作为仅表示后者的表达方式而使用声波的情况。

此外，声音信号生成部15在将认证码转换为声音信号时所利用的算法是任意的。声音信号生成部15例如基于认证码，生成调频后的声音信号。

此时，声音信号生成部15为了抑制给用户带来不适，优选使用用户无法视听的超声波频段的声音信号。

在这里，声音信号生成部15在从扬声器106输出涉及认证码的声音信号时，优选在该声音信号之前，输出用于在第二设备2中起动规定的功能的预先决定的唤醒字(wakeword)所涉及的声音信号。

会话数据设定部16在从服务器3接收到通信建立通知之后，设定用于能够经由服务器3获取通过语音输入至第二设备2的指令(语音指令)的会话数据。

此外，本实施方式的第一设备1构成为在与第二设备2之间未建立通信的情况下，能够按照被输入至自身的麦克风107的语音指令来动作。而且，在与第二设备2之间建立有通信的情况下，经由服务器3获取被输入至该第二设备2的麦克风207的语音指令，并按照该语音指令来动作(参照图7后述)。

＜第二设备＞

图4是表示本实施方式的第二设备2的详细结构的一个例子的图。

第二设备2具备声音信号获取部21、认证码提取部22、核对指令部23、以及核对结果报告部24。此外，第二设备2的该功能例如由在第二设备2上动作的网络应用程序来实现。此外，声音信号获取部21、认证码提取部22、核对指令部23、以及核对结果报告部24相当于本发明的“第二控制部”。

声音信号获取部21使用第二设备2的麦克风207，获取从第一设备1输出的声音信号(声波)。声音信号获取部21例如对基于麦克风207接受到的声波生成的电信号(模拟信号)实施AD转换，并储存至第二设备2的RAM203等。

此外，在从第一设备1获取声音信号(声波)时，优选将第二设备2接近第一设备1配置。其中，第二设备2的位置只要是与第一设备1相同的室内就足够了。

认证码提取部22使用预先定义的算法，从声音信号中提取认证码。此时，认证码提取部22在将声音信号转换为认证码时所利用的算法是对应于第一设备1的声音信号生成部15从认证码转换为声音信号的算法的逆转换算法。

此外，认证码提取部22也可以为仅在被输入至声音信号获取部21的声音信号是超声波频段的声音信号(即，认证码用的频带)的情况下，执行认证码提取处理的结构。

核对指令部23将由认证码提取部22提取出的认证码与核对指令一起发送至服务器3。换句话说，核对指令部23使服务器3执行由认证码提取部22提取出的认证码是否与第一设备1生成的认证码相同的核对处理。

核对结果报告部24从服务器3接收核对处理所涉及的通知结果，并从扬声器206语音输出通知结果(认证成立或者认证不成立)。

本实施方式的第二设备2例如构成为不管与第一设备1相关的认证成立或者不成立，都将经由麦克风207输入的语音指令发送至服务器3。因此，本实施方式的第二设备2在认证成立，而成为作为第一设备1的用户界面(即，语音输入装置)发挥功能的状态的情况下，能够不特别地进行设定变更而作为用于第一设备1的语音输入装置来动作。

另外，本实施方式的第二设备2例如构成为即使在休眠状态下也可以仅语音识别唤醒字，响应于语音输入唤醒字，将动作模式从休眠状态变更为接受语音指令的起动状态。

＜服务器＞

图5是表示本实施方式的服务器3的详细结构的一个例子的图。

服务器3具有认证码注册部31、核对指令接受部32、核对处理部33、以及核对结果通知部34。服务器3的该功能例如由在服务器3上动作的HTTP服务器程序来实现。此外，认证码注册部31、核对指令接受部32、核对处理部33、以及核对结果通知部34相当于本发明的“第三控制部”。

另外，服务器3具有数据库35，该数据库35存储注册从第一设备1接收到的认证码的临时注册数据D1、以及在第一设备1和第二设备2的认证成立的情况下用于建立第一设备1和第二设备2的通信的会话数据D2。

认证码注册部31接受来自第一设备1(认证码注册指令部14)的认证码注册请求，根据该注册请求，在临时注册数据D1中注册从第一设备1中接收到的认证码。此外，由认证码注册部31注册的认证码被暂时保持，在经过一定时间之后丢弃。

在这里，从第一设备1接收到的认证码通常也可以通过与由第一设备1(认证码生成部13)生成认证码时的加密算法对应的解读算法，作为第一设备1的ID信息注册。

核对指令接受部32接受来自第二设备2(核对指令部23)的核对指令。

核对处理部33根据来自第二设备2的核对指令，核对从第二设备2接收到的认证码是否被注册在临时注册数据D1中。即，核对处理部33执行从第二设备2接收到的认证码与从第一设备1接收到的认证码是否相同的核对处理。

在这里，核对处理部33在从第二设备2接收到的认证码与临时注册数据D1中注册的第一设备1的认证码相同的情况下，作为认证成立，将用于建立第一设备1和第二设备2的通信的会话数据D2注册到数据库35中。此外，会话数据D2中，例如，包含第一设备1的IP地址、第二设备2的IP地址、以及第一设备1和第二设备2中哪一个设备是被用作用户界面的设备等数据。

另一方面，核对处理部33在从第二设备2接收到的认证码与临时注册数据D1中注册的第一设备1的认证码不相同的情况下，作为认证不成立来处理。

核对结果通知部34对第一设备1以及第二设备2分别通知核对处理部33的核对结果(即，认证成立或者认证不成立的结果)。

＜认证处理流程＞

图6是表示本实施方式的信息处理系统U中的用于建立第一设备1和第二设备2的通信的认证处理的一系列的流程的图。

首先，第一设备1基于随机数和自身的ID信息，生成认证码(步骤S11)。接下来，第一设备1将认证码转换为声音信号，并将该声音信号从扬声器106输出(步骤S12)。接下来，第一设备1将自身生成的认证码与认证码注册请求一起发送至服务器3，并使该认证码注册到服务器3中(步骤S13)。

第二设备2经由麦克风207，获取从第一设备1输出的声音信号。此时，第二设备2基于从第一设备1输出的唤醒用的声音信号而起动，之后，获取从第一设备1输出的认证码用的声音信号(步骤S21)。然后，第二设备2从声音信号中提取认证码(步骤S22)。接下来，第二设备2将提取出的认证码发送至服务器3，进行该认证码的核对请求(步骤S23)。

服务器3以从第二设备2接受到认证码的核对请求为契机，进行从第一设备1接收到的认证码与从第二设备2接收到的认证码的核对处理(步骤S31)。然后，服务器3在从第一设备1接收到的认证码与从第二设备2接收到的认证码一致的情况下，建立第一设备1与第二设备2之间的通信(步骤S32)。然后，服务器3对第一设备1以及第二设备2分别通知核对结果(步骤S33)。

然后，第一设备1根据从服务器3接收核对结果(在这里，为认证成立)，设定用于能够经由服务器3获取被输入至第二设备2的语音指令的会话数据(步骤S14)。另外，第二设备2通过扬声器206报告该核对结果(步骤S24)。

通过如以上那样的一系列的流程，执行用于建立第一设备1和第二设备2的通信的认证处理。

＜信息处理流程＞

图7是表示在本实施方式的信息处理系统U中，实现建立第一设备1和第二设备2的通信之后的信息处理的结构的一个例子的图。

在图7中，用箭头示出信息处理的流程。此外，在图7中，省略在图3～图5中说明的各结构的图示。

第一设备1具有第一语音指令获取部17a、第二语音指令获取部17b、语音指令识别部18、以及指令内容执行部19。

第一语音指令获取部17a获取被输入至设置于第一设备1的麦克风107的语音指令。第二语音指令获取部17b获取经由服务器3转送的被输入至第二设备2的语音指令。此外，第一设备1在建立第一设备1和第二设备2的通信的前阶段(即，在会话数据设定部16中设定会话数据之前)，将第一语音指令获取部17a设定为开启状态，并且，将第二语音指令获取部17b设定为关闭状态。而且，在建立了第一设备1和第二设备2的通信之后(即，在会话数据设定部16中设定有会话数据之后)，将第一语音指令获取部17a变更设定为关闭状态，并且，将第二语音指令获取部17b变更设定为开启状态。

语音指令识别部18对经由第一语音指令获取部17a或者第二语音指令获取部17b获取到的语音指令实施语音识别处理。语音指令识别部18例如参照外部存储装置104中存储的声音模型、词典、以及语言模型等数据(未图示)，对语音指令的时间序列的语音特征量进行解析。而且，语音指令识别部18基于解析出的语音指令的时间序列的语音特征量、和外部存储装置104中存储的指令列表(未图示)，来识别语音指令的内容。此外，在图7中，记载有第一设备1具备语音指令识别部的例子，但也能够使外部装置(例如，云上的语音识别服务)具有语音识别部的功能。在该情况下，第一设备1将语音指令发送至外部装置，并从外部装置接收语音指令的识别结果。

指令内容执行部19根据语音指令识别部18识别出的语音指令的内容，执行与该语音指令的内容对应的处理(例如，外部存储装置104中存储的指令列表所表示的处理内容)。此外，指令内容执行部19在语音指令的内容指示与第二设备2的通信的切断的情况下，将该意思发送至服务器3(通信切断部37)。

第二设备2具有声音信号获取部21、以及语音指令发送部25。声音信号获取部21使用麦克风207，获取从第一设备1输出的声音信号。语音指令发送部25将经由声音信号获取部21获取到的语音指令发送至服务器3。

服务器3具有数据转送部36以及通信切断部37。

数据转送部36在从第二设备2接收到语音指令时，参照管理DB35的会话数据D2，确认是否存在待与第二设备2通信连接的设备。然后，数据转送部36在确认出作为待与第二设备2通信连接的设备存在第一设备1的情况下，将从第二设备2接收到的语音指令转送至第一设备1。

通信切断部37在从第一设备1的指令内容执行部19接收到通信切断指令的情况下，删除管理DB35的会话数据D2，并切断第一设备1和第二设备2的通信。

本实施方式的信息处理系统U在第一设备1和第二设备2之间建立了通信之后，以向第二设备2输入了语音指令为契机，以事件驱动方式使第一设备1动作。此外，这样的动作例如由web－hook(或者Reverse API)来实现。

由此，能够将具有高性能的麦克风的第二设备2用作用户界面，使第一设备1动作。

[效果]

如以上所述，根据本实施方式的信息处理系统U，能够使用设备上现有的扬声器以及麦克风，并且通过简单的方法，在高度地确保安全的状态下，进行建立第一设备1和第二设备2之间的通信时的认证处理。特别是，根据本实施方式的信息处理系统U，在不用进行第一设备1和第二设备2的对位就能够执行认证处理的点，有用。

另外，在本实施方式的信息处理系统U中，第一设备1以及第二设备2构成为利用网络应用程序而动作。由此，在不具有专用的应用程序的设备中，也能够容易地执行认证处理。

(其它实施方式)

本发明并不限于上述实施方式，考虑各种变形方式。

在上述实施方式中，作为信息处理系统U的一个例子，示出第一设备1具有语音识别功能的方式。然而，本发明的信息处理系统U也可以是第二设备2或者服务器3具有语音识别功能的结构。在该情况下，第一设备1也可以是仅在与第二设备2建立有通信的情况下，以语音指令动作的设备。

另外，在上述实施方式中，作为第二设备2的一个例子，示出构成为不论是否建立有与第一设备1的通信，都将经由麦克风207输入的语音指令全部发送至服务器3的方式。然而，本发明的第二设备2也可以在通常时(即，与第一设备1建立通信之前)，基于经由麦克风207输入的语音指令，单独地动作。在该情况下，第二设备2为在服务器3中的认证处理的结果为认证成立的情况下，设定会话数据，在经由第二设备2的麦克风207输入了语音指令的情况下，设定变更为对服务器3发送该语音指令的方式即可。

以上，对本发明的具体例进行了详细说明，但这些只是例示，并不对权利要求书进行限定。在权利要求书所记载的技术中，包含使以上例示出的具体例分别变形、变更而成的结构。

根据本公开的信息处理系统，能够通过简单的方法，进行用于建立2个设备之间的通信的认证处理。

附图标记说明

U…信息处理系统；1…第一设备；2…第二设备；3…服务器；11…随机数生成部；12…ID信息获取部；13…认证码生成部；14…认证码注册指令部；15…声音信号生成部；16…会话数据设定部；17a…第一语音指令获取部；17b…第二语音指令获取部；18…语音指令识别部；19…指令内容执行部；21…声音信号获取部；22…认证码提取部；23…核对指令部；24…核对结果报告部；25…语音指令发送部；31…认证码注册部；32…核对指令接受部；33…核对处理部；34…核对结果通知部；35…数据库；D1…临时注册数据；D2…会话数据；36…数据转送部；37…通信切断部；101…CPU；102…ROM；103…RAM；104…外部存储装置；105…接口；106…扬声器；107…麦克风；201…CPU；202…ROM；203…RAM；204…外部存储装置；205…接口；206…扬声器；207…麦克风。