数据变换装置、系统以及方法

技术领域

本公开涉及从工业设备等监视对象收集的IoT数据的处理。

背景技术

近年来，将具备多种传感器的工业设备(以下也称为“资产”)所产生的IoT(Internet of Things：物联网)数据与机器学习、AI(Artificial Intelligence：人工智能)等最先进的IT(Information Technology：信息技术)技术组合利用的重要性提高。

在监视利用了IoT数据的资产中的故障等的情况下，在故障等的检测、监视故障等预兆的有无的预兆诊断中要求迅速性。

通常，IoT数据不是以原始数据的状态被利用，而是在按照预先决定的变换规则进行变换后被利用(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2020-126533号公报

发明内容

发明所要解决的课题

为了实现IoT数据的利用中的迅速性，IoT数据的变换也期望迅速性。

另外，IoT数据的变换规则由数据学家生成，在多数情况下，根据趋势的变化来更新。通常，变换规则的更新伴随着系统的修改、部署。然而，在变换规则的变更频繁的情况下等，期望不进行修改、部署就能够灵活地变更变换规则。

本公开的一个目的在于提供一种能够进行数据的迅速且灵活的变换的技术。

用于解决课题的手段

依照本公开的一个方式的数据变换装置，对由监视对象所附带的边缘设备取得的数据进行变换，该数据变换装置具有：存储部，其存储监视对象管理信息和数据变换规则信息，所述监视对象管理信息将所述监视对象与表示控制该监视对象的控制器的类别的控制器类别对应起来，所述数据变换规则信息登记有按控制器类别规定了变换规则的所述控制器类别单位的数据集，所述变换规则表示数据的变换方法；以及运算部，其具备高速缓冲存储器，并能够执行使用存储在所述存储部中的信息实现数据的变换的软件程序，所述运算部将所述数据变换规则信息在所述高速缓冲存储器中展开，根据从所述边缘设备接收到的数据确定与该数据对应的监视对象，参照所述监视对象管理信息确定与所述确定的监视对象对应的控制器类别，从所述高速缓冲存储器读取与所述确定的控制器类别对应的变换规则，使用该变换规则来变换所述数据。

发明效果

根据本公开的一个方式，能够以数据集为单位进行变换规则的灵活的更新，另外能够进行迅速的数据的变换。

附图说明

图1是数据处理系统的框图。

图2是表示数据变换装置的功能结构的框图。

图3是表示数据变换装置的硬件结构的框图。

图4是数据变换部执行的处理的流程图。

图5是表示输入到数据变换部的原始数据的一例的图。

图6是表示步骤S105的详细处理的流程图。

图7是例示数据变换的表。

图8是表示数据变换规则的更新状况的概念图。

图9是表示变换规则生成画面的一例的图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。

图1是数据处理系统的框图。

数据处理系统具有边缘设备13和数据变换装置15。

资产11是成为监视对象的工业设备等。资产11也可以是多个。资产11具有控制器12。控制器12是用于进行资产11的监视和控制的装置。控制器12从资产11的各种传感器(未图示)等取得数据。从控制器12发送的数据是由资产11收集到的未被加工的原始数据。

边缘设备13设置于资产11，从控制器12取得数据，以原始数据的状态发送到数据变换装置15。来自边缘设备13的原始数据经由网关14被数据变换装置15接收。网关14设置在云上，将来自边缘设备13的数据转发给数据变换装置15。

数据变换装置15具有管理数据库16、数据变换部17和数据湖(Data Lake)18。管理数据库16是存储各种管理数据的数据库(也称为“DB”)。数据变换部17是基于管理数据库16的各种管理数据对从边缘设备13接收到的原始数据进行变换的数据变换引擎。由数据变换部17变换后的变换后数据被发送到外部装置19和消息队列20。

数据变换装置15如何对数据进行变换没有特别限定，但在本实施方式中变换为被上下文化的有意义的数据。由数据变换装置15接收到的原始数据和由数据变换装置15变换后的变换后数据也被蓄积在数据湖18中。

外部装置19从数据变换装置15接收变换后数据，用于各种应用程序的处理。以下，有时将应用程序简称为应用。基于应用的变换后数据的利用方法没有特别限定，外部装置19的应用例如是阈值监视应用、DTC监视应用、位置信息显示应用、高度分析应用、机器学习以及AI应用等。

阈值监视应用将变换后数据的值与规定的阈值进行比较，检测资产11的故障及该故障的预兆等状态变化。DTC监视应用基于从DTC(Diagnostic Trouble Code：诊断故障码)变换后的错误消息来检测资产11的异常。位置信息显示应用使用从GPS数据变换后的位置信息。高度分析应用是对变换后数据施加高度分析的应用，例如，按时间序列蓄积变换后数据，分析时间序列的变换后数据。机器学习以及AI应用对学习数据进行学习而生成预测模型，使用预测模型进行预测的应用即变换后数据被用作学习数据、向预测模型的输入数据。各种应用能够适当地取得并利用登记在管理数据库16中的管理数据和存储在数据湖18中的数据。

另外，变换后数据不仅可以由应用利用，也可以由人直接利用。例如，变换后数据是包含人能够阅读理解的语句或文章的消息，也可以登记于消息队列20。登记在消息队列20中的变换后数据也可以由外部装置21依次取出并显示在显示装置22上。用户能够阅读显示于显示装置22的消息，执行某种适当的行动。

图2是表示数据变换装置15的功能结构的框图。图3是表示数据变换装置15的硬件结构的框图。

参照图2，数据变换装置15除了管理数据库16、数据变换部17以及数据湖18以外，还具有资产管理用GUI部31、设备管理用GUI部32、事件管理用GUI部33以及变换规则生成用GUI部34。参照图3，数据变换装置15具有运算部51、存储部52和通信部53作为硬件。

存储部52是以能够写入以及读出的方式存储数据的存储装置，在该存储部52上构建图2所示的管理数据库16以及数据湖18。另外，在存储部52中存储有实现数据变换装置15的各种处理的软件程序。运算部51是执行储存于存储部52的软件程序的处理的处理器，使用存储部52上的各种数据来执行所希望的处理。图2所示的资产管理用GUI部31、设备管理用GUI部32、事件管理用GUI部33、变换规则生成用GUI部34以及数据变换部17通过运算部51执行软件程序来实现。运算部51具备高速缓冲存储器(未图示)，用于数据变换的处理。通信部53是以有线或无线方式接收由运算部51用于处理的数据，并以有线或无线方式发送由运算部51处理后的数据的通信装置。

管理数据库16中包含资产管理DB35、设备管理DB36、事件管理DB37、数据变换规则DB38。数据变换部17包括第一进程部39和第二进程部40。

资产管理用GUI部31提供用于用户登记管理监视对象的各资产11的资产管理数据的GUI(Graphical user interface，图形用户界面)。用户登记的资产管理数据存储在资产管理DB35中。在资产管理数据中包含将识别资产11的资产序列号与表示该资产11的控制器12的类别的控制器类型建立对应的信息。设备管理用GUI部32提供用于用户登记对设置于各资产11的边缘设备13进行管理的设备管理数据的GUI。用户登记的设备管理数据存储在设备管理DB 36中。事件管理用GUI部33提供用于用户登记与事件关联的事件管理数据的GUI。事件管理数据例如是用于根据数据判定事件的发生的阈值等。由用户登记的事件管理数据存储在事件管理DB 37中。变换规则生成用GUI部34提供用于用户登记数据变换规则的GUI。用户登记的数据变换规则存储在数据变换规则DB38中。数据变换规则中包含将控制器12的控制器类型和从与该控制器类型对应的资产11取得的原始数据的变换中使用的数据变换规则建立对应的信息。

图4是数据变换部17执行的处理的流程图。

在开始图4的处理之前，数据变换部17将存储在数据变换规则DB38中的数据变换规则作为数据变换规则高速缓存61在高速缓存存储器中展开。数据变换规则的形式例如是JSON(JavaScript Object Notation(JavaScript是注册商标))形式。之后，未分类的原始数据被输入到数据变换部17。作为一例，原始数据是JSON形式的MQTT(Message QueueTelemetry Transport，消息队列遥测传输)消息。

该原始数据通过以下所示的处理实时变换。

在步骤S101中，在数据变换部17中，第一进程部39将输入的原始数据存储在数据湖18中。图5是表示输入至数据变换部17的原始数据的一例的图。原始数据101包括数据主体102和资产序列号105。数据主体102包括关键字103和值104。资产序列号105是识别取得了该原始数据101的资产11的连续号码。数据主体102所包含的关键字103表示数据项目，值104表示该数据项目的值。

在步骤S102中，第二进程部40确认从边缘设备13接收到的原始数据101中的资产序列号105。在步骤S103中，第二进程部40参照资产管理数据，确认与该资产序列号对应的控制器12的控制器类型。

在步骤S104中，第二进程部40从数据变换规则高速缓存61取得数据变换规则，该数据变换规则用于变换从设置有该控制器类型的控制器12的资产11取得的数据。

在步骤S105中，第二进程部40使用该数据变换规则，对原始数据进行变换并上下文化。作为一例，变换后数据为JSON格式。

这样，利用数据变换规则高速缓存61的数据变换规则进行数据的变换，因此能够进行迅速的实时变换。

图6是表示步骤S105的详细处理的流程图。

在步骤S201中，第二进程部40根据数据变换规则变换原始数据101的数据主体102中包括的关键字103。接下来，在步骤S202中，第二进程部40根据数据变换规则变换包含在数据主体102中的值104。变换了关键字103和/或值104后的变换后数据作为丰富上下文数据输出。

图7是例示数据变换的表。

表201示出了各种变换的情形。在图7的例子中，变换的种类有(1)分辨率的调整、(2)关键字的映射、(3)测定单位的追加、(4)测定单位的变换、(5)DTC的解码。

(1)分辨率的调整是调整值104的分辨率的数据变换。(2)关键字的映射是将关键字103变换为人可读的语句的数据变换。(3)测定单位的追加是对值104追加单位的数据变换。(4)测量单位的变换是变换值104的单位的数据变换。(5)DTC的解码是解码DTC并将关键字103和值104变换为人可读的消息的数据变换。

图8是表示数据变换规则的更新情况的概念图。数据变换规则的更新不伴随数据变换装置15的修改、部署而在在线的状态下执行。

如上所述，将用户从资产管理用GUI部31登记的资产管理数据存储在资产管理DB35中，将用户从变换规则生成用GUI部34登记的数据变换规则存储在数据变换规则DB38中。数据变换部17将存储在数据变换规则DB38中的数据变换规则在高速缓冲存储器中展开为数据变换规则高速缓存。然后，数据变换部17使用存储在资产管理DB35中的资产管理数据和数据变换规则高速缓存61，对输入的原始数据进行变换，输出变换后数据。

在该状态下，当用户从变换规则生成用GUI部34变更数据变换规则DB38的数据变换规则时，数据变换规则DB38将该变更后的部分的内容反映到数据变换规则高速缓存61中。

这样，数据变换规则DB38内的数据变换规则的变更以及向该数据变换规则高速缓存61的反映不伴随数据变换装置15的修改、部署而执行。

在本实施方式中，登记于数据变换规则DB38的数据变换规则是将规定了数据的变换方法的能够分别生成的多个策略模块结合而成的数据集。变换规则生成用GUI部34将多个策略模块以用户能够选择的方式显示在画面上，将用户从该画面选择的策略模块结合来生成数据集，并登记在数据变换规则DB38中。

图9是表示变换规则生成画面的一例的图。在变换规则生成画面62中，包括显示成为数据变换规则的部件的多个策略模块的第一画面63、将部件组合而生成数据变换规则的第二画面64。通过选择显示于第一画面63的策略模块并配置于第二画面64，来生成数据变换规则。例如，用户通过光标65将显示于第一画面63的策略模块拖放到第二画面64，由此能够在第二画面64上生成数据变换规则。

另外，在上述的本实施方式中，策略模块也可以规定数据变换的运算。例如，在数据变换的策略中也能够包含函数、程序等。在该情况下，也可以规定使用了多个项目的数据的运算。数据学家能够在所蓄积的数据中确认趋势，设定灵活的变换规则以使得从今后接收的数据产生新的价值。例如，当使用数据学家熟悉的程序语言(python等)生成数据变换计算时，可以立即使用该程序作为一个策略模块，而无需修改或部署数据变换装置15。其结果，新数据变换规则能够随时应用于系统。

另外，在本实施方式中，数据变换装置15确定取得了从边缘设备13接收到的数据的资产11，并确定与该资产11对应的控制器类型，但也可以是其他结构。

边缘设备13也可以预先存储表示控制器类型的信息，并向数据变换装置15发送，该控制器类型表示对取得该边缘设备13接收的数据的资产11进行控制的控制器12的类别。并且，数据变换装置15也可以从边缘设备13接收控制器类型的信息和数据，从高速缓冲存储器读取与该接收到的控制器类型对应的变换规则，使用该变换规则来变换数据。数据变换装置15使用从边缘设备13接收到的控制器类型，因此不需要参照管理数据库16来确定控制器类型的处理，能够进行更高速的数据变换。

另外，在本实施方式中，例示了数据变换装置15将变换后数据发送到外部装置19、21，外部装置19、21利用变换后数据的结构，但不限于此。

作为其他结构，也可以是数据变换装置15自身利用变换后数据。例如，在本实施方式中，也可以是数据变换装置15具备外部装置19所具备的各种应用，并执行这些应用的处理。另外，数据变换装置15自身也可以具备显示装置，并显示变换后数据。

以上，对本发明的实施方式进行了叙述，但本发明并不仅限定于这些实施方式，在本发明的技术思想的范围内，也可以组合使用这些实施方式，或者变更一部分的结构。

另外，在本实施方式和/或其变形例中包含以下所示的事项。但是，本实施方式和/或其变形例所包含的事项并不仅限定于以下所示的事项。

(事项1)

一种数据变换装置，对由监视对象所附带的边缘设备取得的数据进行变换，该数据变换装置具有：存储部，其存储监视对象管理信息和数据变换规则信息，所述监视对象管理信息将所述监视对象与表示控制该监视对象的控制器的类别的控制器类别对应起来，所述数据变换规则信息登记有按控制器类别规定了变换规则的所述控制器类别单位的数据集，所述变换规则表示数据的变换方法；以及运算部，其具备高速缓冲存储器，并能够执行使用存储在所述存储部中的信息实现数据的变换的软件程序，所述运算部将所述数据变换规则信息在所述高速缓冲存储器中展开，根据从所述边缘设备接收到的数据确定与该数据对应的监视对象，参照所述监视对象管理信息确定与所述确定的监视对象对应的控制器类别，从所述高速缓冲存储器读取与所述确定的控制器类别对应的变换规则，使用该变换规则来变换所述数据。

由此，作为每个控制器类别的数据集而登记表示数据的变换方法的变换规则，所以能够以数据集为单位进行变换规则的灵活的更新。此外，由于将该变换规则在高速缓冲存储器中展开，在数据的变换中使用高速缓冲存储器上的变换规则，所以能够进行迅速的数据变换。

(事项2)

根据事项1所述的数据变换装置，其中，所述数据包含表示项目的关键字和所述项目的值，所述数据变换规则规定为对所述关键字和所述值中的至少一方进行变换。

(事项3)

根据事项2所述的数据变换装置，其中，所述数据变换规则规定为将所述关键字变换为人能够理解的语句或文章。

由此，用户能够阅读消息而迅速地执行适当的行动。

(事项4)

根据事项2所述的数据变换装置，其中，所述数据变换规则规定为将所述值变换为人能够理解的语句或文章。

由此，用户能够阅读消息而迅速地执行适当的行动。

(事项5)

根据事项4所述的数据变换装置，其中，所述数据变换规则包括分辨率的调整、单位的追加、单位的变换、向代码的语句或文章的变换中的至少一个。

(事项6)

根据权利要求1所述的数据变换装置，其中，所述数据变换规则信息是将规定了数据的变换方法的能够分别生成的一个以上的策略模块结合而成的数据集。

能够灵活地通过多个策略模块的组合生成与多种资产11对应的变换规则。另外，能够通过对现有的策略模块或者变换规则的较少的修正来容易地生成新的变换规则。

(事项7)

根据事项6所述的数据变换装置，其中，所述运算部提供变换规则生成用用户界面，该变换规则生成用用户界面以用户能够选择的方式显示多个策略模块，将所选择的策略模块结合来生成所述数据集。

(事项8)

一种数据变换系统，具有：边缘设备，其设置于监视对象，取得并发送与该监视对象有关的数据；以及数据变换装置，其从所述边缘设备接收所述数据并对该数据进行变换，所述数据变换装置具有：存储部，其存储数据变换规则信息，所述数据变换规则信息登记有按控制器类别规定了变换规则的所述控制器类别单位的数据集，所述变换规则表示数据的变换方法；以及运算部，其具备高速缓冲存储器，并能够执行使用存储在所述存储部中的信息实现数据的变换的软件程序，所述边缘设备还发送表示控制所述监视对象的控制器的类别的控制器类别，所述运算部将所述数据变换规则信息在所述高速缓冲存储器中展开，从所述边缘设备接收所述控制器类别和所述数据，从所述高速缓冲存储器读取与所述接收到的控制器类别对应的变换规则，使用该变换规则来变换所述数据。

由此，由于数据变换装置使用从边缘设备接收到的控制器类别，所以不需要从资产识别信息取得控制器类别信息，能够进行更高速的数据的变换。

(事项9)

根据事项8所述的数据变换系统，其中，所述边缘设备将所述控制器类别包含在与所述数据相同的消息中进行发送，所述数据变换装置从所述高速缓冲存储器读出与所述消息中包含的控制器类别对应的变换规则，使用所述变换规则对所述数据进行变换。

由此，数据变换装置通过与数据相同的消息来接收控制器类别，因此无需保持将监视对象与控制器类别建立对应的信息。

符号说明

11…资产、12…控制器、13…边缘设备、14…网关、15…数据变换装置、16…管理数据库、17…数据变换部、18…数据湖、19…外部装置、20…消息队列、21…外部装置、22…显示装置、31…资产管理用GUI部、32…设备管理用GUI部、33…事件管理用GUI部、34…变换规则生成用GUI部、35…资产管理DB、36…设备管理DB、37…事件管理DB、38…数据变换规则DB、39…进程部、40…进程部、51…运算部、52…存储部、53…通信部、61…数据变换规则高速缓存、62…变换规则生成画面、63…第一画面、64…第二画面。