有害行为检测系统及方法

技术领域

本发明涉及一种信息处理系统等的技术，并涉及应用于对职场环境中的职权骚扰等有害行为进行观察、检测及应对支援等有效的技术。

背景技术

作为重大的社会问题，存在职权骚扰(power harassment)、性骚扰(sexualharassment)、霸凌(bullying)、恶意投诉或顾客骚扰(customer harassment)等的有害行为。在公司、学校、店铺等各种职场环境中，员工、学生、店员等人因为此类有害行为而遭受精神上和身体上的痛苦。另外，由于此有害行为而导致职场环境恶化。作为有害行为的具体例，可列举：暴力语言、威胁、强迫、虐待、过度的说教或要求等。针对此类社会问题，一般的对策停留在教育或启发等的建立意识或设置咨询窗口的程度，而尚未能实现有效的对策。此类社会问题造成很大的社会负担。针对此类有害行为，寻求一种使用信息处理系统等而可支援防止和应对的机制。

作为有关此类社会问题的现有技术例，可列举日本特开2008-165097号公报(专利文献1)、日本特开2017-211586(专利文献2)。专利文献1中记载了提供一种以早期发现霸凌并抑制为目的的录音装置等的主旨。专利文献1中记载了下述主旨：将儿童的行动不在大人视线内的时段预先登录行程，依照此行程进行录音，从录音的语音数据检测出目的为诽谤中伤的关键字，以早期发现霸凌。专利文献2中记载了一种作为心理分析装置，应付转账诈欺等的社会工程的主旨。专利文献2中记载了下述主旨：对发声者的语音数据进行感情分析，并对关于发声者的文本数据进行脉络分析，比对感情分析的结果与脉络分析的结果，根据比对结果分析发声者的心理。

现有技术文献

专利文献

专利文献1：日本特开2008-165097号公报

专利文献2：日本特开2017-211586号公报

发明内容

发明所欲解决的课题

以往，关于职场环境中的职权骚扰、性骚扰、霸凌等有害行为，尚未充分研究使用信息处理系统等进行观察、检测、应对等的机制。作为以往技术的例子，可列举保安公司等使用位置信息和监控摄像机影像等来进行看顾对象使用者的系统等，但无法判断有害行为相关人的身心状态。另外，如专利文献1的例子，虽有使用语音来实现检测霸凌等的技术，但仅判断关键字，而无法判断身心状态，检测精度等尚有改善空间。

本发明的目的在于提供一种技术，使用信息处理系统而可检测职场环境中的职权骚扰、性骚扰、霸凌等有害行为并可支援应对。本发明的另一目的在于提供一种技术，可检测有害行为的被害者和加害者并进行照管，有助于改善职场环境和防止恶化等。以具体实施方式说明本发明的其他课题和效果等。

解决课题的技术方案

本发明中的代表性实施方式具有以下所示构成。一实施方式的有害行为检测系统，具备对包含在职场环境中的人员间的职权骚扰、性骚扰及霸凌的有害行为进行观察及检测的计算机，其中，所述计算机，取得包含下述内容的数据：已输入对象的周遭语音的语音数据；根据语音识别从所述语音数据提取的包含表达对话内容的语词的语音信息、根据感情识别从所述语音数据而分类出的表达感情的感情信息及所述对象的活力数据的至少一者；日期时间信息；以及所述对象的位置信息；根据所述取得的数据，使用位于所述对象周围的其他人的语词及感情、以及所述对象的语词、感情及活力数据的五个要素之中的至少一个要素，计算关于所述有害行为的指标值；根据所述指标值，推测所述有害行为的状态，该状态包含所述有害行为的被害者及加害者中至少一者，以及有无所述有害行为或所述有害行为的程度；输出应对数据，用以应对与所述推测状态对应的所述有害行为。

发明效果

根据本发明中的代表性实施方式，使用信息处理系统而可检测职场环境中的职权骚扰、性骚扰、霸凌等有害行为，并可支援对应。根据本发明中的代表性实施方式，可检测此类行为相关的被害者和加害者并进行照管，而有助于改善职场环境和防止恶化等。

附图说明

图1是显示本发明实施方式1的有害行为检测系统的构成的图。

图2是显示实施方式1中职场环境的第1例(公司)的图。

图3是显示实施方式1中职场环境的第2例(学校)的图。

图4是显示实施方式1中职场环境的第3例(店铺)的图。

图5是显示实施方式1中计算机的处理流程的图。

图6是显示实施方式1中信息终端及服务器的构成的图。

图7是显示实施方式1中发生有害行为的两种模式的图。

图8是显示实施方式1中取得数据的图表的构成例的图。

图9是显示实施方式1中指标值的计算式、各要素的评价用设定表及判定条件的设定表的图。

图10是显示实施方式1的变化例的有害行为检测系统的构成的图。

图11是显示本发明实施方式2的有害行为检测系统的构成的图。

图12是显示本发明实施方式3的有害行为检测系统的构成的图。

具体实施方式

(实施方式1)

使用图1～图10说明本发明实施方式1的有害行为检测系统及方法。实施方式1的有害行为检测系统是具备计算机的系统，该计算机对在职场环境中的人员间的职权骚扰等的有害行为进行观察及检测。实施方式1的有害行为检测方法是具有通过实施方式1的有害行为检测系统的计算机来执行的工序的方法。

[有害行为检测系统(1)]

图1显示实施方式1的有害行为检测系统的基本构成。实施方式1的有害行为检测系统中，作为计算机，具有：对象H1的信息终端1、运营商的服务器装置2以及订户H3的订户终端3，所述装置经由通信网5适当地通信连接。信息终端1是职场环境的多人之中的对象H1所有并携带的智能手机或可穿戴终端等的装置。订户终端3是订户H3所使用的智能手机或个人电脑等的装置。此有害行为检测系统是根据计算机的信息处理来观察并检测有害行为的系统，其是支援对于有害行为的应对等的系统。运营商管理有害行为检测系统并提供其服务。

作为应用对象的职场环境，例如为公司，但不限于此，可以是下述学校、店铺等各种职场环境。职场环境内存在包含对象H1和其他人H2等多人，例如员工。对象H1是签订使用有害行为检测系统服务的使用者，例如设为使用者A。对象H1例如为有害行为的被害者。其他人H2是相对于对象H1而言的其他人，其是职场环境内的其他人。其他人H2是未签订使用有害行为检测系统服务的使用者，例如设为使用者B。其他人H2例如为有害行为的加害者。加害者换句话说即为攻击者，是对于对象H1施以压力或暴力等的人。

订户H3是与签订使用有害行为检测系统服务的对象H1有关的使用者，其是已设定的指定人，例如为使用者A的家人(例如父母或配偶)。保安H4是作为应对的一例派遣到职场环境内的已设定的指定人。在检测到对于对象H1的有害行为且该有害行为的程度严重时，派出保安H4。保安H4视现场状况进行对象H1与其他人H2之间的调停、听取、暴力制止、保护、连络等。保安H4可以是例如特定的员工，也可以替换成订户H3。

信息终端1具备构成有害行为检测功能的应用程序等。信息终端1具备从麦克风输入周遭语音以取得语音数据的功能。另外，信息终端1具备根据输入的语音数据，通过语音识别处理取得包含表达对话内容的语词的文本或文字列等语音信息的功能。另外，信息终端1具有根据输入的语音数据，通过感情识别处理取得发声者感情的功能。此感情是选自平常/喜/怒/哀/乐等预定的多个感情分类之中的感情值。另外，信息终端1具备根据输入的语音数据，通过声纹识别处理进行发声者是对象H1还是其他人H2的区分、或进行个人识别的功能。另外，信息终端1具备作为测量对象H1的活力数据的活动量计的功能。

此外，对象H1所持信息终端1并不限于1台，可以是联合的多个信息终端，也可以是例如智能手机与可穿戴终端的组合。可穿戴终端具备例如作为活动量计的功能或其他感应器的功能。其他实施方式中，信息终端1也可以包含固定设置于职场环境的1台以上的个人电脑或其他设备。此情况下，在周围一定距离范围内有人时，该固定的信息终端1可以取得此人的语音。

信息终端1例如设定成语音输入功能等始终为开启状态，该开启状态下自动取得周遭语音的语音数据。对象H1可以通过操作切换有害行为检测功能的开启/关闭。信息终端1输入伴随着对象H1与位于其周围的其他人H2之间的对话等的语音，并存储为语音数据。信息终端1根据该语音数据识别声纹，取得语词等的语音信息，并取得根据分类的感情。另外，信息终端1与此同时取得ID、日期时间、位置及活力数据等。ID可列举使用者ID、终端ID和终端地址等。信息终端1使用所述数据和信息计算关于有害行为的可能性和状态的指标值。信息终端1将ID、日期时间、位置、语音数据、声纹信息、语音信息、感情信息、活力数据及指标值等的各种数据和信息建立关联并存储。信息终端1使用包含指标值的数据，构成用以对服务器2进行状态通知的预定发送数据D1，并发送至服务器2。

服务器2是设置于运营商的数据中心或云计算系统等的系统内的服务器装置，配有存储装置和通信装置等。运营商内的分析作业人员进行服务器2的管理作业和数据分析辅助作业等。服务器2接收来自信息终端1的与语音有关的发送数据D1并存储，进行关于有害行为的可能性和状态的分析处理，生成与该结果状态对应的应对数据D2并输出。服务器2例如将应对数据D2发送至已设定的订户终端3。应对数据D2的输出包含关于有害行为状态的即时通知和定期报告的发送等。此外，关于从对象H1的信息终端1接收的数据和设定信息，运营商根据契约，考量隐私等而实施加密等的对策处理，对DB等进行安全管理。

[有害行为检测系统(2)]

实施方式1的有害行为检测系统具有有害行为检测功能，其是根据使用对象H1周遭语音的分析处理推测并检测有害行为，用以保护对象H1不遭受有害行为的功能。另外，此功能包含对应有害行为的状态程度而进行不同种类应对的功能。

此外，一般来说，很难判断一种行为是否符合职权骚扰等，而是视个例而异。实施方式1的有害行为检测系统及功能中的有害行为的判断虽只是推测，是处理有害行为的可能性，但对实际有害行为的防止、检证和应对支援是有效的。职场环境人员可以使用此功能所判断的信息(应对数据D2)，有效地对被害者及加害者进行应对和照管。

构成实施方式1的有害行为检测系统的计算机，特别是根据语音对话中其他人H2的语词、感情、对象H1本人的语词、感情及活力数据五个要素的组合来计算指标值。此指标值是关于其他人H2和对象H1的身心状态的评价值。计算机掌握包含指标值在时序上的变化。计算机根据指标值判断有无有害行为或有害行为的程度等的状态(下述危险度)。然后，计算机依照该状态决定应对，生成对应的应对数据D2并输出。应对是选自已设定的多个应对种类的应对。由此，有害行为检测系统可检测职权骚扰等的有害行为，并支援相关人员进行应对。此有害行为检测系统可以通过使用多个要素的复合性分析而提高检测精度。

[服务使用方式]

对象H1等的使用者在职场环境中使用实施方式1的有害行为检测系统的服务使用方式，大致区分有对象H1为单独个人的情况和多人集团的情况。图1等的构成例是显示对象H1为个人时的使用方式。图1中，例如公司内某个员工、即使用者A为对象H1，其他员工的其他人H2则不是对象，未持有信息终端1。此使用方式的情况，对象H1个人可保护自己不遭受职场环境内的职权骚扰等的有害行为。对象H1及订户H3可根据有害行为检测功能所生成的应对数据D2，接收关于有害行为的被害可能性的指示。由此，对象H1及订户H3容易应对有害行为。另外，反之对象H1个人也可能不自觉地对其他人H2进行有害行为。此时，对象H1等也可以通过此功能接收关于有害行为的加害可能性的指示，而能够防止加害。

[有害行为]

有害行为是包含职权骚扰、性骚扰、霸凌、恶意投诉等的概念，也是包含暴力行为和犯罪行为等的概念。图1中，所谓有害行为，是成为加害者的其他人H2通过暴力语言对成为被害者的对象H1施以精神上和身体上的痛苦或伤害的行为。实施方式1的有害行为检测系统的有害行为检测功能是通过分析处理从伴随此类有害行为的语音推测并检测有害行为的功能。

伴随着有害行为的语音、语词、感情及活力等要素的组合，可取得各种状态的值。例如，职权骚扰时，即使其他人H2的语词为普通语词(例如“先做这项工作”)时，此时的感情也可能是“怒”。另外，即使其他人H2的语词为不良语词(例如“混蛋”)时，此时的感情也可能是“乐”。实施方式1的有害行为检测系统的计算机是以要素的组合进行分析，因此可推测前者有职权骚扰的可能性或职权骚扰的可能性高，并可推测后者无职权骚扰的可能性或职权骚扰的可能性低。再者，此时，即使对象H1的语词为普通语词(例如“知道了”)，可能此时的感情是“哀”，活力不佳；也可能感情是“平常”或“乐”，活力良好。如此，计算机特别是以多个要素的组合进行评价的方式推测有害行为的可能性或程度，由此能够进行更高精度的推测。

[职场环境]

以下显示将实施方式1的有害行为检测系统应用于三个职场环境及对应的有害行为的事例。第1例为公司，第2例为学校，第3例为店铺。实施方式1的有害行为检测系统并不限于这些事例，同样可以应用于各种职场环境和有害行为。

[职场环境(1)-公司]

图2是显示职场环境为公司时的构成例作为第1例。检测对象的有害行为是员工间的职权骚扰、性骚扰及霸凌。此时的有害行为检测系统，换句话说即为职权骚扰检测系统、职权骚扰应对支援系统。此例中，1个员工A作为对象H1使用服务。被害者的例子假设为对象H1、即员工A，加害者的例子假设为其他人H2、即员工B。位于公司内部或外部的订户H3例如为对象H1的家人。订户H3也可能是公司的经营者或总务部负责人等。也可以将保安H4设为特定的员工等。

此外，根据厚生劳动省的规定，所谓职场的职权骚扰是针对在同一职场工作的人，凭借职务上的地位或人际关系等的在职场内的优势，超过业务正常范围施以精神上和身体上的痛苦、或恶化职场环境的行为。以下列举职权骚扰的典型例。1.身体上的攻击(暴力行为等)；2.精神上的攻击(暴力语言、威胁、侮辱等)；3.人际关系的切割(无视、排斥等)；4.过度要求(强加业务上不需要或不能完成的工作等)；5.过少要求(安排业务上不合理的水平远低于个人能力和经验的工作、或不派工作等)；6干涉个人隐私(过度干涉私事等)。公司放任职权骚扰的加害者时，也可能被问责违反职场环境调整义务。

另外，根据厚生劳动省的规定，所谓性骚扰是指在职场上做出违反劳动者意愿的带有性意涵的言行，因拒绝该行为，受到解雇、降级、减薪等不利的影响，或因带有性意涵的言行使职场环境变得不愉快，对劳动者的能力发挥造成不良影响。根据男女雇用机会均等法，规定企业经营者有义务提出性骚扰的对策。

图2中，员工A可能遭受来自员工B、C、D等其他人H2的职权骚扰等有害行为。例如，员工B发出“这个家伙”等的暴力语言，员工A可能发出答复的语言，或在未回答而沉默后嘟囔出消极语词等。此时，信息终端1根据输入语音构成发送数据D1，并发送至服务器2。服务器2进行关于职权骚扰等状态的判定，构成应对数据D2，并发送至订户H3的订户终端3等。职权骚扰等的程度高时，即时派遣保安H4。

[职场环境(2)-学校]

图3是显示职场环境为学校的情况作为第2例。检测对象的有害行为是学生间的霸凌、或教师与学生之间的霸凌和其他暴力。此时的有害行为检测系统换句话说即为霸凌检测系统、霸凌应对支援系统。此例中，1个学生A作为对象H1使用服务。被害者的例子假设为对象H1、即学生A，加害者的例子假设为其他人H2、即学生B。位于学校的内部或外部的订户H3，例如为对象H1的家人(例如父母)。也可以将订户H3或保安H4设为特定的教师等。此外，教师有可能是加害者，也有可能是被害者。

在防止霸凌对策推进法中，禁止学校在编儿童或学生间的霸凌。防止霸凌对策推进法中，所谓霸凌是针对儿童等，该当事儿童等于在编学校在读期间等，与当事儿童等有一定人际关系的其他儿童等带给当事儿童心理上或物理上影响的行为，并令作为该行为对象的儿童等感到身心痛苦。

图3中，学生A可能遭受来自学生B、C、D等其他人H2的霸凌。此时，同样地，信息终端1将发送数据D1发送至服务器2，服务器2进行关于霸凌状态的判定，将应对数据D2发送至订户H3的订户终端3等。订户H3可以通过通知和报告确认对象H1是否遭受霸凌。

[职场环境(3)-店铺]

图4是显示职场环境为店铺的情况作为第3例。检测对象的有害行为特别是顾客(换句话说即为恶意投诉者)对店员的恶意投诉等的骚扰行为。此时的有害行为检测系统换句话说即为恶意投诉检测系统、恶意投诉应对支援系统。此例中，1个店员A作为对象H1使用服务。被害者的例子假设为对象H1、即店员A，加害者的例子假设为其他人H2、即相当于恶意投诉者的顾客。位于店铺内部或外部的订户H3例如为店铺的客户服务室的客服人员或其他店员及经营者等。也可以将保安H4设为顾客负责人等的店员。

恶意投诉者是针对店员A进行非原本正当的投诉、而是进行恶意投诉(换句话说即为顾客骚扰)的人。恶意投诉的例子为针对店铺、商品、服务等，在无问题或问题轻微的情况下，仍认为有问题或问题严重而进行伴随无理漫骂或说教或要求的投诉。

图4中，店员A有遭受来自顾客的恶意投诉的情况。此时，同样地，信息终端1将发送数据D1发送至至服务器2，服务器2进行关于恶意投诉状态的判定，将应对数据D2发送至订户H3的订户终端3等。订户H3可确认发生恶意投诉，并可立即应对。恶意投诉的程度高时，即时派遣保安H4。

[处理流程(1)]

图5显示实施方式1的有害行为检测系统的主要处理流程。该流程具有工序S1～S11。以下按照工序的顺序进行说明。处理的主体为计算机。图5的流程对应下述图6的构成例。

工序S1中，预先进行有害行为检测系统中的用户设定。此用户设定中，对信息终端1及服务器2在图6的DB50之中的顾客DB51设定与对象H1及订户H3的服务使用契约有关的各种信息。此设定信息包含使用者ID、对象H1的信息终端1及订户H3的订户终端3的联系方式等信息。另外，此设定信息包含有害行为检测功能相关的判定条件、应对种类、通知及报告的时机等信息。另外，此设定信息包含基于对象H1的语音的声纹的数据(记载为声纹数据)。在图6的DB50之中的未图示的声纹DB登录有每个对象H1的声纹数据。

工序S2中，信息终端1在包含语音输入功能的有害行为检测功能的开启状态下，自动从麦克风输入周遭语音，取得语音数据。此时的语音包含对象H1本人的语音，或周遭其他人H2的语音等，在此时间点尚未区分这些语音。

工序S3中，信息终端1从语音数据进行声纹识别处理。在此声纹识别处理中，信息终端1从语音数据提取声纹，将该输入的声纹与信息终端1内在图6的DB40中未图示的声纹DB的对象H1的声纹数据进行比对，区分每个语音区间的发声者是对象H1还是其他人H2。此声纹DB具有与服务器2端的声纹DB对应的内容。另外，也可以在此声纹识别处理中进行个人识别。此情况下，信息终端1从输入的声纹识别发声者的其他人H2是哪个人。将由此声纹识别处理的结果所得的信息记载为声纹信息，其中至少包含对象H1与其他人H2的区别信息。

工序S4中，信息终端1从语音数据进行感情识别处理。在此感情识别处理中，信息终端1将输入的语音数据的波形、特别是频率等的特性与信息终端1内在图6的DB40之中未图示的感情DB的波形数据进行比对并分析。此感情DB具有与服务器2端的感情DB对应的内容。由此，信息终端1推测发声者(亦即工序S3中所区分的对象H1或其他人H2)的感情为预定多个感情的分类值(平常/喜/怒/哀/乐)之中的1个感情值。将由此感情识别处理的结果所得的信息记载为感情信息，其中至少包含上述感情值。

工序S5中，信息终端1从语音数据进行语音识别处理，取得语音信息。此语音识别处理中，信息终端1将从语音数据识别的文本与信息终端1内在图6的DB40之中未图示的关键字DB的关键字进行比对，检测出符合的语词。此关键字DB具有与服务器2端的关键字DB对应的内容。由此，信息终端1从对话内容检测出表达有害行为可能性的语词。将由此语音识别处理的结果所得的信息记载为语音信息，其中至少包含上述语词。

另一方面，工序S6的处理是与工序S2～S5的处理同时进行。此外，工序S3～S5的处理顺序也可以为其他顺序。工序S6中，信息终端1取得对应当时语音输入的日期时间(例如年月日时分秒)及信息终端1的位置(例如利用GPS等定位的位置信息)。另外，信息终端1依照该日期时间量测并取得对象H1的活力数据。活力数据的项目例如可以应用脉搏数及体温，但不限于此。

工序S7中，信息终端1将工序S2～S6所取得的各数据和信息建立关联并暂时存储于存储器。信息终端1使用上述各工序所取得的数据和信息中的多个要素、亦即日期时间、位置、声纹、语词、感情及活力数据等，计算有害行为的可能性和表示状态的指标值。此指标值可在日期时间中每个时间点取得。另外，在某个时间点取得多个要素的数据时，通过该多个要素、特别是语词、感情及活力数据的组合的分析来计算此指标值。基本上，此指标值在有害行为的可能性高时负值变大，可能性低时正值变大。信息终端1将所计算的指标值与各数据建立关联并暂时存储于存储器(例如图6的DB40)。此外，图6的实施方式1的构成例中，此指标值是在信息终端1内进行计算，但下述实施方式2中，此指标值是在服务器2内进行计算。

工序S8中，信息终端1生成包含在工序S7中计算的指标值的预定发送数据D1，进行加密并发送至服务器2。此发送数据D1包含信息终端1的ID、对象H1的ID、工序S6的日期时间及位置、工序S3的声纹信息(对象H1与其他人H2的区别)及工序S7的指标值等信息。实施方式1中，此发送数据D1不包含工序S2的语音数据、工序S5的语音信息、工序S4的感情信息及工序S6的活力数据。在其他实施方式中，可以视用户设定而于发送数据D1中包含所述数据。

工序S9中，服务器2将从信息终端1接收的发送数据D1解密并存储于存储器及图6的DB50之中的状态DB52。服务器2从发送数据D1读取信息终端1的ID、对象H1的ID、日期时间、位置及指标值等的信息。服务器2根据时序上每个时间点的指标值，通过与预定的判定条件进行比对，判定关于有害行为的可能性及对象H1的状态的指标值、即危险度。此危险度是关于对象H1身心状态的评价值，对应有害行为的可能性和程度。作为更具体的方式，服务器2合计每个时间点的指标值，将当时的合计指标值作为危险度。服务器2将该危险度与预定的多个临界值范围进行比对，判断其符合多个等级中的哪个等级。此外，作为其他实施方式中的方式，也可以将每个时间点的指标值直接作为危险度。危险度的计算并不限定于每个时间点的指标值的合计，也可以为其他统计方式。

工序S10中，服务器2从在工序S9中判定的危险度决定应对的种类。作为具体的方式，服务器2依照危险度的等级选择相应的应对种类(通知、报告、保安派遣等)。然后，服务器2生成与该应对种类对应的应对数据D2。在应对为通知时，服务器2依据已设定的通知顺序及设定信息，生成包含预定信息的通知信息。在应对为报告时，服务器2依据已设定的报告生成顺序及设定信息，生成包含预定信息的报告数据。

工序S11中，服务器2根据图6的顾客DB51的信息将应对数据D2输出至与应对种类对应的订户终端3等的联系方式(IP地址、电子邮件地址或电话号码等)。在应对为即时通知时，服务器2将应对数据D2的通知信息即时发送至订户终端3等。在应对为报告时，服务器2以对应报告提出间隔的定期时间点将应对数据D2的报告数据发送至订户终端3等。报告的定期时间点可设定为1天、1周等的单位。另外，在工序S11内，应对为派遣保安时，服务器2将派遣指示发送给规定的保安H4的联络方式，所述派遣指示包含对象H1的ID、对应位置的职场环境内的场所和区域的信息。

工序S11之后，此流程结束。同样地重复此流程的各工序。工序S9～S11换句话说即为经由服务器2监视有害行为的工序。

[系统构成例(1)]

图6显示信息终端1及服务器2的构成，作为图1的实施方式1的有害行为检测系统的更详细的构成例。此构成例是将信息终端1与服务器2联合，分担有害行为检测功能的处理整体。信息终端1执行各数据取得及指标值计算等作为一部分的处理，服务器2执行危险度判定及应对数据输出等作为另一部分的处理。

虽图中未显示，作为一般的构成要素，信息终端1具备由中央处理器、只读存储器、随机存取存储器等所构成的处理器、存储器、通信界面电路、麦克风、扬声器、触控面板等的输入输出装置、操作按钮、各种感应器及电池等，所述构成要素经由系统总线连接。信息终端1内保持有用以实现有害行为检测功能的应用程序、DB40及用户设定信息等。在信息终端1端的DB40中存储有某个使用者(对象H1)相关的信息。

信息终端1具备语音输入部11、语音数据存储部12、语音数据处理部13、日期时间取得部14、位置取得部15、活力数据取得部16、指标值计算部17、数据生成发送部18作为功能区块。各功能区块是利用处理器等进行软件程序处理，或由电路(例如集成电路芯片)等所构成。

语音输入部11取得从麦克风输入的语音作为语音数据。语音数据存储部12将来自语音输入部11的语音数据存储于存储器以作为处理用。此外，在下文进行叙述，也可以是处理后不保存语音数据的设定、亦即删除语音数据的设定。

语音数据处理部13通过对语音数据存储部12的语音数据进行预定处理来取得声纹信息、语音信息、感情信息等。更详细地，语音数据处理部13包含声纹识别处理部、语词识别处理部、感情识别处理部等。

声纹识别处理部根据声纹识别处理从语音数据取得声纹信息。声纹信息是根据声纹来区分和识别发声者的信息。声纹识别处理部将输入语音数据的声纹与信息终端1内的DB40内的声纹DB的声纹数据进行比对，区分发声者是对象H1还是其他人H2，可能的话识别个人并特定使用者ID。声纹识别处理可使用周知技术。此外，信息终端1内的声纹DB可以是从服务器2的DB50内未图示的声纹DB取得的DB，也可以不取得而以参照服务器2端的声纹DB的处理替代。

感情识别处理部根据感情识别处理从语音数据取得感情信息。感情信息是作为感情分类的值而选自例如平常/喜/怒/哀/乐五种的数值。感情识别处理可使用周知技术。因为语音数据波形中的频率等的特性反映感情的状态，所以可以通过感情识别处理推测感情。感情识别处理部将输入语音数据的波形与信息终端1内的DB40内的感情DB的感情波形数据进行比对，由此进行感情的分类。此外，信息终端1内的感情DB可以是从服务器2的DB50内未图示的感情DB取得的DB，也可以不取得而以参照服务器2端的感情DB的处理替代。感情值可为更详细的分类值，并不限于上述。

语词识别处理部根据语音识别处理从语音数据取得包含表达对话内容的文本或语词的语音信息。语音识别处理可使用周知技术。语词识别处理部将利用语音识别从输入语音数据提取的语词与信息终端1内的DB40内的关键字DB的关键字进行比对，由此提取符合的语词。此外，信息终端1内的关键字DB可以是从服务器2的DB50内未图示的关键字DB取得的DB，也可以不取得而以参照服务器2端的关键字DB的处理替代。

日期时间取得部14使用时钟取得当前的日期时间信息。位置取得部15使用GPS接收器或室内测位系统等取得当前的位置信息。位置信息可以是例如纬度及经度等的信息，也可以是例如公司内的楼层和区域等的信息。活力数据取得部16使用信息终端1的活动量计的功能量测对象H1的脉搏数、体温等，以取得每个项目的活力数据。

指标值计算部17参照上述语音数据、声纹信息、语音信息、感情信息、日期时间信息、位置信息及活力数据之中已可取得的数据。指标值计算部17使用所述数据，根据要素组合的分析来计算关于有害行为的指标值。此外，即使语词、感情、活力数据等要素之中只能取得1个的情况下，也可以使用该1个要素进行相应的推测。另外，关于指标值的计算时使用的要素，可在用户设定中变更。默认设定是使用语词、感情及活力数据的全部要素的设定，但可以是仅语词、仅感情、仅活力数据、语词与感情的组合、感情与活力数据的组合、语词与活力数据的组合等各种设定。此外，实施方式1中，指标值和评价值定义为正负增减的值(例如-1.5、-1、0、+0.5、+1等)，但并不限于此，也可以为其他定义的值(例如0以上的值或百分率(％)等)。

数据生成发送部18参照包含上述指标值的数据。数据生成发送部18使用所述数据构成预定的发送数据D1，实施加密等的处理并发送至服务器2。实施方式1中，发送数据D1是包含信息终端1的ID、对象H1的ID、日期时间、位置、发声者的区别及指标值的数据，如上所述，不包含语音数据等。实施方式1中没有在通信网5上发送语音数据，因此可抑制通信网5上的负载。

虽图中未显示，服务器2具备由中央处理器、只读存储器、随机存取存储器等所构成的处理器、存储器、通信界面电路、输入输出装置等作为一般构成要素，所述构成要素经由系统总线连接。

服务器2具备数据接收部21、数据存储部22、分析部23、应对运作部24及DB50作为功能区块。DB50是由存储装置和DB服务器等所构成，更详细地，包含顾客DB51、状态DB52、历史记录DB53等，还包含未图示的声纹DB、关键字DB、感情DB等。各功能区块是利用处理器等进行软件程序处理、或由电路(例如集成电路芯片)等所构成。服务器2内保持有用以实现有害行为检测功能的服务器程序、DB50及设定信息等。服务器2端的DB50存储有多个使用者相关的信息。

数据接收部21接收来自信息终端1的发送数据D1，进行解密等的处理，以取得发送数据D1内的数据。数据存储部22将发送数据D1及各数据记载于处理用的存储器及DB50内。数据存储部22将包含每个时间点的指标值的数据存储于状态DB52内。分析部23使用发送数据D1内的指标值等的数据，判定关于有害行为及对象H1的状态的危险度。分析部23将所判定的危险度记载于状态DB52内。

应对运作部24依照对象H1的危险度决定应对的种类，生成对应的应对数据D2，并发给订户终端3等的联系人。更详细地，应对运作部24包含：进行即时通知的通知部、生成报告数据并发送的报告部、派遣保安H4的保安派遣部等。

DB50内的数据已加密。顾客DB51设定有对运营商是顾客的对象H1及订户H3相关的服务契约信息、用户设定信息等。状态DB52保持有每个对象H1的指标值及危险度等的信息，包含时序上的变化历史记录。历史记录DB53中保持有每个对象H1在时序上的应对(应对数据D2的输出)的历史记录信息。声纹DB中登录有每个对象H1的声纹数据。感情DB中登录有用于感情识别处理的波形数据。关键字DB中登录有用于语词识别处理的关键字。另外，服务器2对是作为使用者的对象H1的信息终端1和订户H3的订户终端3提供例如由Web网页所构成的用户设定页面等作为用户界面。

[分析]

实施方式1的有害行为检测系统的计算机根据基于上述语音所取得的多个要素的数据、亦即其他人H2的语词、感情、对象H1的语词、感情及活力数据等五个要素的组合分析，计算关于有害行为的指标值，并判定危险度。以下说明此分析方式。

首先，针对考量上述对象H1与其他人H2的区别时的五个要素、或不考量对象H1与其他人H2的区别时的三种要素，可计算每个要素的指标值(有时记载为评价值)。亦即，可分别独立计算关于语词的指标值(有时记载为语词评价值)、关于感情的指标值(有时记载为感情评价值)及关于活力数据的指标值(有时记载为活力评价值)。例如，仅以语词进行判断时，虽可根据符合特定的关键字而在一定程度上推测有害行为的可能性，但是特定的关键字未必是表达有害行为等，而在精度上存在问题。另外，仅以活力数据进行判断时，虽可根据与平时活力值的偏差等而在一定程度上推测有害行为的可能性，但是无法与单纯身体不适时区别开来等，而在精度上存在问题。

再者，为了提高精度，可以通过利用两个以上的要素(对应的评价值)的组合进行复合分析来计算指标值。例如，可以应用以语词与感情的组合进行判断的方式、及以语词与感情与活力的组合进行判断的方式。由此，可提高关于有害行为的推测精度。实施方式1的有害行为检测系统，例如，使用组合语词评价值与感情评价值与活力评价值而定义的计算式来计算反映三个要素的指标值。

[有害行为发生模式]

图7显示发生有害行为的状况的两种模式。(A)显示第1模式。此例中，在公司等的职场环境中，使用者A为对象H1，其为被害者一方，使用者B为其他人H2，其为加害者一方。图7中的纵向概略地表示时序。作为对话内容，使用者B对使用者A说出职权骚扰等有害行为相关的语词w1(例如“不必来了”等的漫骂)。根据感情识别，该语词w1对应感情e1(例如：愤怒)。使用者A对使用者B的语词w1无法回答而忍耐，答复为沉默。因此，虽然无法取得此时的语词及感情的数据，但可取得活力数据v1。活力数据v1反映此状况的压力。例如，脉搏数和体温与平常值的偏差大的状态。如此，第1模式的情况下，作为数据，可取得其他人H2的语词w1、感情e1及对象H1本人的活力数据v1这三个要素的数据。

同样地，(B)显示第2模式。作为对话内容，使用者B对使用者A说出职权骚扰等有害行为相关的语词w2(例如“这个家伙”等的漫骂)。根据感情识别，该语词w2对应感情e2(例如：愤怒)。使用者A对使用者B的语词w2说出语词w3(例如“对不起”)作为答复。根据感情识别，语词w3对应感情e3(例如：哀伤)，另外，可取得此时的活力数据v3。感情e3和活力数据v3反映此状况的压力。此情况下，作为数据，可取得其他人H2的语词w2、感情e2、对象H1的语词w3、感情e3及活力数据v3这五个要素的数据。另外，之后使用者A在独处的状况下嘟囔出对应消极语词等的语词w4(例如“想死”)。该语词w4对应感情e4(例如：哀伤)，且可取得活力数据v4。如此，第2模式的情况下，至少可取得对象H1的语词、感情及活力数据等三个要素，进一步可取得其他人H2的语词、感情、对象H1的语词、感情及活力数据这五个要素。

第1模式时的分析例如下所述。首先，可从其他人H2的语词w1与感情e1的组合计算指标值。再者，也可以从其他人H2的语词w1与感情e1与对象H1的活力数据v1的组合计算指标值。可以从任一种指标值计算当时的危险度x1。服务器2可将危险度x1与临界值进行比对以判断等级，并决定对应等级的应对。

第2模式时的分析例如下所述。首先，可从其他人H2的语词w2与感情e2的组合计算指标值。另外，可从对象H1的语词w3与感情e3与活力数据v3的组合计算指标值。再者，可从其他人H2的语词w2与感情e2以及对象H1的语词w3与感情e3与活力数据v3五个要素的组合计算指标值。可从任一种指标值计算当时的危险度x3。服务器2可将危险度x3与临界值进行比对以判断等级，并决定对应等级的应对。同样地，在下一个时间点，可从对象H1的语词w4与感情e4与活力数据v4的组合计算指标值，并可从该指标值计算该时间点已更新的危险度x4。服务器2可将危险度x4与临界值进行比对以判断等级，并决定对应等级的应对。

如上述分析例中所述，实施方式1的有害行为检测系统是以多个要素的组合计算指标值和危险度，由此可高精度地推测有害行为的可能性和对象H1的状态。有害行为检测系统具有与对象H1未出声的第1模式的情况及对象H1有出声的第2模式的情况对应而进行各自的分析处理的功能，可应对任一种模式。另外，有害行为检测系统可设定处理模式和要素。

[取得数据图表]

图8显示存储时序数据的图表的构成例，其可根据来自对象H1的信息终端1的发送数据D1而在服务器2的DB50的状态DB52内取得。该图表中，行编号(#)的方向对应时序，各行显示每个时间点所取得的数据群，各列对应数据的要素等。此外，此例中，该图表中的取得数据不仅为指标值，还显示存储语词、感情、活力数据等要素的情况。在发送数据D1中包含语词等的方式的情况，服务器2将包含语词等的取得数据存储于状态DB52的图表。在发送数据D1中不含语词等的方式的情况，由信息终端1与服务器2分担，将一部分数据存储于信息终端1端的DB的图表，另一部分数据存储于服务器2端的DB的图表。

该图表具有行编号(#)、日期、时间、位置、语词、发声者声纹、发声者感情、体温、体温偏差、脉搏数、脉搏数偏差、指标值(危险度)，作为与列对应的项目。另外，虽图中未显示，图表中也设定有对象H1平时的体温(例如36℃)及脉搏数(例如65)。“日期”及“时间”项目对应上述日期时间信息(年月日时分)。“位置”项目对应上述位置信息，此处显示抽象化的纬度及经度。“语词”项目对应上述语音信息的语词。“发声者声纹”项目对应上述声纹信息，并显示区分或识别发声者的使用者ID。例如对象H1本人为使用者ID＝A。“发声者感情”项目对应上述感情信息，显示平常/喜/怒/哀/乐五种值。“体温”项目对应上述活力数据之中的体温数据项目。“体温偏差”项目显示对象H1的“体温”值与预设的平时体温值的偏差。“脉搏数”项目对应上述活力数据之中的脉搏数数据项目。“脉搏数偏差”项目显示对象H1的“脉搏数”值与预设的平时脉搏数值的偏差。

“指标值(危险度)”项目是表示每个时间点的有害行为的可能性和状态的指标值。在各时间点的指标值是由语词、感情、活力数据等要素所计算的值，基本上是以有害行为的可能性越低正值变得越大、有害行为的可能性越高负值变得越大的方式进行计算。“合计”行的“指标值”是关于相同对象H1在各时间点的指标值的合计，显示关于最新时间点的对象H1的状态的危险度。实施方式1中，将该合计的指标值的危险度用于判定应对。此图表中同样存储每个对象H1的数据，保持每个对象H1当前的状态。

[条件]

图9进一步显示关于计算指标值及危险度的条件的设定例。在实施方式1的有害行为检测系统中已预设该条件。(A)显示指标值的计算式。基本的指标值计算式为：[指标值(S)]＝([语词评价值(W)]+[活力评价值(V)])×[感情评价值(E)]。也以记号S表示指标值、以记号W表示语词评价值、以记号V表示活力评价值、以记号E表示感情评价值。亦即，该计算式是以针对关于发声者语词的评价值与关于对象H1活力数据的评价值两者，乘以作为系数的关于发声者感情的评价值的方式进行复合评价的算式。在具体例中，活力数据有两个项目(体温、脉搏数)，因此，此情况下，若将体温评价值设为V1、脉搏数评价值设为V2，则计算式为：S＝(W+V1+V2)×E。使用三个以上的项目时同样可行。

此外，其他实施方式中，也可以将指标值的计算式设为其他式。例如，不使用语词评价时，设W＝0，计算式可设为：S＝V×E。不使用活力数据评价时，设V＝0，计算式可设为：S＝W×E。不使用感情评价时，设E＝1，计算式可设为：S＝(W+V)。另外，若为评价语词与活力的关系的方式时，除了S＝W+V以外，也可以为S＝W×V。另外，若为各要素具有权重的方式时，使用每个要素的系数(Cw、Cv、Ce)，例如可为S＝(Cw×W+Cv×V)×(Ce×E)。此外，使用此类其他方式时，只要与其相应地将评价体系(设定表)设为不同即可。

作为关于条件的设定表之一，(B)显示关于语词评价的设定表。此表中预设用以从说话内容推测有害行为的关键字。此表具有发声者、关键字、语词评价值(W)作为列。“发声者”项目显示对象H1本人与其他人H2的区别。“关键字”项目显示表示有害行为的可能性的关键字。“语词评价值(W)”显示关于发声者的语词符合所述关键字时的有害行为的可能性的评价值。例如，其他人H2的语词为“混蛋”时，W＝-0.5。对象H1本人的语词为“想死”时，W＝-1.5。若为未登录的语词，W＝0。

作为关于条件的设定表之一，(C)显示关于活力评价、特别是体温评价的设定表。此表具有体温偏差范围、体温评价值(V1)作为列。“体温偏差范围”项目显示关于对象H1当时的体温与己设定的平时体温的偏差的临界值范围。“体温评价值(V1)”显示关于以对象H1当时的体温所计算的体温偏差符合“体温偏差范围”时的有害行为的可能性的评价值。例如，体温偏差在0以上且0.2以下的范围内时V1＝0，在0.3以上且0.5以下的范围内时V1＝-0.25之类，偏差越大负值变得越大。

同样地，(D)显示特别是关于脉搏数评价的设定表。该表具有脉搏数偏差范围、脉搏数评价值(V2)作为列。“脉搏数偏差范围”项目显示关于对象H1当时的脉搏数与己设定的平时脉搏数的偏差的临界值范围。“脉搏数评价值(V2)”显示关于以对象H1当时的脉搏数所计算的脉搏数偏差符合“脉搏数偏差范围”时的有害行为的可能性的评价值。

作为关于条件的设定表之一，(E)显示关于感情评价的设定表。此表具有发声者感情、感情评价值(E)作为列。“发声者感情”项目显示发声者(对象H1或其他人H2)的感情分类的五种值(平常/喜/怒/哀/乐)。感情评价值(E)显示关于发声者当时的感情符合“发声者感情”的值时的有害行为的可能性的评价值，其作为上述计算式的系数。例如，发声者的感情为“平常”时E＝1，“喜”时E＝0.2，“怒”时E＝1.3，“哀”时E＝1.3，“乐”时E＝0.2。

[危险度及应对的判定]

图9的(F)进一步显示从危险度判定应对时的条件的设定表。此表具有危险度范围、等级、应对种类作为列。“危险度范围”项目显示危险度的临界值范围。“等级”项目显示与“危险度范围”相应的等级。“应对种类”项目显示与“等级”相应的应对(换句话说即为应对行动)的种类。实施方式1中，主要设定四个等级及应对种类。危险度的等级越高，表示危险性和可能性越高。此例中，危险度符合0以上的范围时，相当于等级1，决定第1应对。危险度符合-10以上且未满0的范围时，相当于等级2，决定第2应对。危险度符合-20以上且未满-10的范围时，相当于等级3，决定第3应对。危险度符合未满-20的范围时，相当于等级4，决定第4应对。

等级1为平常、没有问题，第1应对仅记录状态信息，而不对订户终端3进行即时通知等。此外，作为变化例，也可以将第1应对设为通知订户终端3平常的状态。等级2表示注意、要观察，第2应对为通知订户终端3注意的主旨，进行即时通知或定期报告。等级3表示警告，第3应对为通知订户终端3即时的警告的主旨。等级4表示重大危险，第4应对为即时通知订户终端3，并同时派遣保安H4。

[用户设定]

实施方式1的有害行为检测系统可以针对职场环境、或每个对象H1和订户H3设定有害行为的检测相关的判定条件等。在有害行为检测系统中，如图9的例子所示，已设定基本判定条件。再者，作为变化例，可以依照每个对象H1和订户H3的用户设定而变更其判定条件的临界值等。由此，可设成依照每个使用者的意图和个人差异(压力耐性等)而调整的判定条件。

作为例子，关于图9(F)的判定条件，可以变更危险度范围的临界值。例如，使用者A1的情况下，将危险度范围的临界值上下调整。例如，等级2与等级3的界限不是-10，而变更成-15或-5等。作为其他例，也可以变更应对。例如，使用者A2的情况下，作为等级4的第4应对，可不设定“派遣保安”，而设为“警告通知”。或者可以将第4应对设为“订户确认及了解后派遣保安”。也可以根据职场环境而将第4应对设为“报警”。

[应对数据输出]

实施方式1的有害行为检测系统的有害行为检测功能包含针对有害行为进行即时检测、通知、应对运作的功能。例如，如第2应对或第3应对所示，应对为通知时，具有以下构成。

应对为第2应对且为发送定期报告的情况，具有以下构成。服务器2在报告中记载每个对象H1及订户H3预设的种类的信息。例如，报告中包含对象H1的ID、日期时间、位置、危险度、预定讯息等信息。服务器2根据状态DB52例如以1天、1周等预定期间的单位统计状态和结果，并记载于报告。服务器2在定期的时间点将报告发送至订户终端3。统计信息可以包含有害行为的次数、频率、平均值等，也可以包含图表。可设为下述方式：报告数据以Web网页所构成并保持于服务器2，且可从订户终端3等阅览服务器2上的报告数据。

应对为第3应对且为即时通知警告的情况，具有以下构成。服务器2即时地将警告的通知信息发送至订户终端3。此通知信息中记载了每个对象H1及订户H3预先进行用户设定的种类的信息内容。例如，此通知信息包含对象H1的ID、日期时间、位置、危险度及预定警告讯息(例如“推测使用者A正遭受职权骚扰的可能性高。”)等信息。

应对为第4应对的派遣保安的情况，具有以下构成。服务器2中已预设作为派遣对象的保安H4等人的联系方式等的信息。服务器2通知订户终端3的同时，使用电话或电子邮件等对保安H4的联络方式进行派遣指示的联络。该指示中包含对象H1等所处场所和区域的信息。保安H4依照该指示，前往对象H1等所处现场并进行调停等。作为其他应对的例子，也可以是即时通报民警00。

服务器2已推定加害者时，不只是记载被害者信息，也可以依照设定将加害者信息记载于应对数据D2内。

[分析例]

使用图8数据和图9条件的分析例如下所述。此外，图8的数据例对应图7(A)的第1模式。图8的图表中，在第1行的时间点，其他人H2的使用者B说出例如“混蛋”，且当时的感情为平常。对于此，对象H1的使用者A的体温偏差为0，脉搏数偏差为1。从此时各数据的状态，根据图9的条件，语词评价值(W)成为-0.5，感情评价值(E)成为1，活力评价值(V)成为V1＝0、V2＝0。由算式算出指标值(S)成为S＝(W+V1+V2)×E＝(-0.5+0+0)×1＝-0.5。同样地，在第2行的时间点，其他人H2的使用者C说出例如“混蛋”，且当时的感情为愤怒。相对于此，对象H1的体温偏差为1，脉搏数偏差为10。此时，W＝-0.5、E＝1.3、V1＝-0.5、V2＝-0.5。指标值(S)成为S＝(-0.5-0.5-0.5)×1.3＝-1.95。

在第3行的时间点，于另一位置，不明的其他人说出例如“别开玩笑”，且当时的感情为愤怒。相对于此，对象H1的体温偏差为0，脉搏数偏差为12。此时，W＝-0.3、E＝1.3、V1＝0、V2＝-0.75。指标值(S)成为S＝(-0.3+0-0.75)×1.3＝-1.365。在第4行的时间点，其他人H2的使用者B说出例如“这个家伙”，且当时的感情为喜悦。对于此，对象H1的体温偏差为0，脉搏数偏差为0。此时，W＝-0.5、E＝0.2、V1＝0、V2＝0。指标值(S)成为S＝(-0.5+0+0)×0.2＝-0.1。在第5行的时间点，其他人H2的使用者D说出关键字DB中未登录的语词，且当时的感情为愤怒。对于此，对象H1的体温偏差为0.5，脉搏数偏差为5。此时，W＝0、E＝1.3、V1＝-0.25、V2＝-0.25。指标值(S)成为S＝(0-0.25-0.25)×1.3＝-0.65。

之后，在第24行的时间点，对象H1的使用者A说出语词“好痛苦”，且当时的感情为哀伤。当时的体温偏差为1，脉搏数偏差为5。此时，W＝-0.5、E＝1.3、V1＝-0.5、V2＝-0.25。指标值(S)成为S＝(-0.5-0.5-0.25)×1.3＝-1.625。在第25行的时间点，对象H1说出未登录的语词，且当时的感情为哀伤。当时的体温偏差为1，脉搏数偏差为10。此时，W＝0、E＝1.3、V1＝-0.5、V2＝-0.5。指标值(S)成为S＝(0-0.5-0.5)×1.3＝-1.3。在第26行的时间点，对象H1说出语词“想死”，且当时的感情为哀伤。当时的体温偏差为1，脉搏数偏差为13。此时，W＝-1.5、E＝1.3、V1＝-0.5、V2＝-0.75。指标值(S)成为S＝(-1.5-0.5-0.75)×1.3＝-3.575。

服务器2计算每个时间点的危险度。例如，在第26行之前的时间点，危险度是第1行至第26行为止的指标值的合计，成为(-0.5-1.95……-3.575)＝-11.065。服务器2根据图9的判定条件，判定其危险度符合等级3的危险度范围，因此决定第3应对。

[追加功能-语音数据的记录和删除]

实施方式1的有害行为检测系统具有以下追加功能作为其他功能。在追加功能中，信息终端1或服务器2可以依照用户设定将所取得的语音数据等各数据记录并保留以用作证据，也可以设为自动删除。

使用者考量之后要使用语音数据的情况，可进行上述记录的设定。此设定的情况，例如，上述图1和图6的构成中，信息终端1将语音数据记录并保持于内部存储器等。或是服务器2将语音数据记录并保持于DB50内。所述记录的语音数据是在已将每个对象H1的ID、日期时间、位置、语音信息、指标值、应对数据D2等建立关联的状态下作为历史记录加以管理。使用者后续为了确认等而想要参照语音数据时，进行预定的输入操作(例如日期时间等的条件指定)。据此，可以从信息终端1内或服务器2内读取符合的语音数据及与其关联的信息，并进行重放或显示。订户H3等可以通过确认所述语音数据和信息，而进行关于职权骚扰等的行为的确认。语音数据等保持于服务器2端的DB50时，可以将使用者的数据安全地保持于对应第三方的运营商端，而可用于后续确认等。

进行上述删除的设定时，信息终端1或服务器2会删除必要处理后的语音数据。此情况下，可减少信息终端1或服务器2的存储器使用量。使用者在意包含语音的隐私时，可以此方式设定删除语音数据。

[追加功能-时间和场所的限定]

实施方式1形成下述构成：根据用户设定，基本上始终进行有害行为检测功能相关的语音数据取得和发送数据生成等的基本处理。信息终端1可以依照用户设定而始终输入语音并取得语音数据，也可以仅在限定的时间取得语音数据。后者的设定例如可列举以下构成例。作为第1构成例，预先在用户设定中，针对每个对象H1及订户H3，设定作为取得语音的对象的日期时间(包含时段)及场所等。例如，场所限定于以对象H1所属公司的位置为中心的范围，日期时间限定于该公司的上班时间。例如，信息终端1使用既有的感应器等，确认当前的日期时间和场所的状态是否符合设定的日期时间和场所的条件。信息终端1仅在符合时将有害行为检测功能自动切换成开启状态，并执行所述语音数据取得等的处理。在不满足条件时，信息终端1自动切换成关闭状态。此设定的情况下，可减少信息终端1的处理量和电池使用量。

作为第2构成例，信息终端1在语音输入功能为开启状态的前提下，判断来自麦克风的输入语音的音量是否成为预定音量临界值以上或该音量状态是否持续预定时间以上。在满足该条件时，信息终端1使有害行为检测功能为开启状态，执行所述处理。在不满足条件时，信息终端1自动切换成关闭状态。此设定的情况下，同样可以减少信息终端1的处理量和电池使用量。此设定的情况下，例如其他人H2发出大声漫骂等语音时，则会触发启动而执行处理。

[效果等]

如上所述，根据实施方式1的有害行为检测系统，例如可推测并检测关于公司内的职权骚扰等的有害行为的可能性，并可支援应对。根据实施方式1的有害行为检测系统，可进行被害者及加害者的检测和照管，并可抑制和早期检测有害行为，而有助于改善职场环境和防止恶化等。根据实施方式1的有害行为检测系统，个人的对象H1可以保护自己不遭受有害行为。根据实施方式1的有害行为检测系统，即使在加害者和被害者无自觉时，也可以指出职权骚扰等的可能性，而可防止有害行为和改善认知。根据此系统，可在第一时间检测出有害行为并应对，而可在事件等发生前进行防范。根据此系统，可从第三方的观点评价有害行为并进行应对。

作为其他实施方式也可如下。实施方式1中，运营商的服务器2存在于通信网5上，并与多个职场环境通信连接，且对多个对象H1提供服务。不限于此，服务器2也可以是在某个特定职场环境内设于区域网络等的服务器。亦即，可以在某个职场环境中以客户端服务器方式实现所述功能。另外，虽然构成有害行为检测系统的计算机主要显示以信息终端1与服务器2所构成的情况，但并不限于此，也可以进一步设有其他联合装置(例如区域网络上的服务器)。另外，运营商的服务器2也可以收集来自多个对象H1的信息终端1的数据，并进行例如统计处理等的分析处理。由此，可以更新DB50的设定信息，例如判定条件。分析也可以包含例如年龄、性别、职业等的属性分析。另外，例如在店铺等的职场环境中设置有监控摄像机系统等的情况下，有害行为检测系统也可以取得监控摄像机的影像数据，并与上述数据并用而进行分析。

作为变化例，图1中的订户H3也可以是与对象H1相同的方式。此情况下，输出来自服务器2的通知等的应对数据D2时，则发送至对象H1的信息终端2。

作为变化例，在基于语音的分析处理时，可以并用音量等的参数。例如，可以设为下述方式：其他人H2的语词音量为临界值以上时以及语词间的音量差较大时，相应地使评价值变大等。

[变化例-多个对象]

图10显示在实施方式1的变化例的有害行为检测系统中，某个职场环境中存在多个对象H1的使用方式。例如，公司内某部门的全部员工分别成为对象H1。订户H3是例如与所述多个员工有关的经营者或总务部负责人等规定的人。订户H3使用该服务来抑制及检测各员工的职权骚扰等的行为。此使用方式的情况下，各员工同样地持有信息终端1。此使用方式的情况下，在导入时间点即可获得关于有害行为的相应抑制效果。再者，此使用方式下，员工不自觉地进行或遭受职权骚扰等的情况下，皆可检测其有害行为的可能性并指出。另外，此方式中，可取得来自被害者一方的信息终端1的发送数据D1与来自加害者一方的信息终端1的发送数据D1两者，因此可考量被害者与加害者两者而推测和判定有害行为。

图10的例子中，作为多个对象H1，有员工的使用者A、B、C、D等。各对象H1持有信息终端1。例如，使用者A持有信息终端1A，使用者B持有信息终端1B。各信息终端1及服务器2的构成与例如图6的情况相同。在此例中，关于在某个时间点的有害行为，使用者A设为被害者，使用者B设为加害者。

在发生有害行为的状况中，使用者A的信息终端1A根据语音输入构成发送数据D1A，并发送至服务器2。使用者B的信息终端1B根据语音输入构成发送数据D1B，并发送至服务器2。服务器2接收发送数据D1A及发送数据D1B，针对各对象H1(使用者A、B)，判定危险度，决定各应对，并生成各应对数据D2(D2A、D2B)。例如，服务器2将应对数据D2(D2A、D2B)发送至订户终端3等。

另外，此构成例中，服务器2也可以将应对数据D2A发送至信息终端1A，将应对数据D2B发送至信息终端1B。发送至各信息终端1的应对数据D2也可以具有对应该使用者状态的内容而有所差异。例如，针对使用者A，通知传达有害行为被害者的可能性的消息，针对使用者B，通知传达有害行为加害者的可能性的消息。根据此变化例，能够针对职场环境的多人，对被害者及加害者两者进行检测和照管。

(实施方式2)

使用图11，说明本发明实施方式2的有害行为检测系统。以下说明实施方式2等中与实施方式1不同的构成部分。实施方式1为在信息终端1与服务器2之间联合并分担处理的构成。此分担可为各种构成。实施方式2是在服务器2中进行有害行为检测功能相关的主要处理的构成。

图11显示实施方式2的有害行为检测系统的构成。作为与所述图6的构成不同的构成点，信息终端1不具备语音数据处理部13和指标值计算部17。信息终端1的数据生成发送部18取得语音数据、日期时间、位置、活力数据等，且构成包含所述数据的发送数据D1，进行加密等，并发送至服务器2。在实施方式2中，在通信网5上传送包含语音数据的发送数据D1。

相对于上述图6的构成，服务器2追加语音数据处理部25及指标值计算部26。语音数据处理部25根据发送数据D1所包含的语音数据，通过与所述相同的处理，取得声纹信息、语音信息及感情信息。指标值计算部26根据与所述相同的多个要素的组合分析，计算指标值。分析部23使用以指标值计算部26所计算的指标值判定危险度。DB50中包含顾客DB51、状态DB52、历史记录DB53、声纹DB54、感情DB55、关键字DB56等。在服务器2端的DB50中存储有多个使用者相关的信息。

如上所述，根据实施方式2的有害行为检测系统，也可得到与实施方式1类似的效果。

(实施方式3)

使用图12，说明本发明实施方式3的有害行为检测系统。实施方式3形成在信息终端1中进行有害行为检测功能相关的主要处理的构成。

图12显示实施方式3的有害行为检测系统的构成。相对于所述图6的构成，信息终端1具备分析部31、应对运作部32、通信部33、显示部34及DB60。分析部31使用以指标值计算部17所计算的指标值判定危险度。应对运作部32依照危险度决定应对，并生成应对数据D2，控制通知和报告等的动作。通信部33根据来自应对运作部32的控制，进行与服务器2的通信、与订户终端3的通信及联络保安H4等。另外，显示部34在显示器上显示应对数据D2的通知和报告等信息。

DB60对应服务器2端的DB50，将日期时间、位置、语音数据、声纹信息、语音信息、感情信息、活力数据及指标值和危险度等各种数据建立关联并保持。在信息终端1端的DB60中存储有某个使用者(对象H1)相关的信息。在实施方式3的构成中无所述发送数据D1，取而代之的是有对服务器2发送的通知信息D6等。通知信息D6是通知信息终端1中的服务使用的状态等的信息。此外，在通知信息D6中可以包含指标值和危险度的信息，也可以包含表示已执行应对运作的应对信息。

相对于所述图6的构成，服务器2不具备分析部23和应对运作部24，而具备服务处理部29。服务处理部29接受多个来自各信息终端1的访问，进行服务使用契约及用户设定等的处理，并将设定信息等存储于DB50。另外，服务处理部29取得来自各信息终端1的通知信息D6，将服务使用状态和历史记录等的信息存储于DB50内。

如上所述，根据实施方式3的有害行为检测系统，也可以得到与实施方式1或2类似的效果。

附图标记说明

1 信息终端

2 服务器

3 订户终端

5 通信网

H1 对象

H2 其他人

H3 订户

H4 保安

D1 发送数据

D2 应对数据