图像处理学习程序、图像处理程序、信息处理装置以及图像处理系统

技术领域

本发明涉及一种图像处理学习程序、图像处理程序、信息处理装置以及图像处理系统。

背景技术

作为现有技术，提出有一种通过预先对数据集进行聚类来进行超分辨的学习的图像处理学习程序(例如，参照非专利文献1)。

非专利文献1中公开的图像处理学习程序，在从单一的低分辨率图像复原单一的高分辨率图像的单图像超分辨中，准备多个低分辨率图像以作为数据集，在通过k均值算法对该数据集预先进行聚类并划分为分类域的同时，准备与分类域数相同数量的CNN(Convolutional Neural Network，卷积神经网络)模型，使用输入到CNN模型的图像与聚类中心之间的距离来进行学习，以作为超分辨单元。此外，对于作为超分辨单元的学习后的CNN模型，通过使用所输入的图像和聚类中心之间的距离来进行推断。

现有技术文献

非专利文献

非专利文献1Zhen Li、其他5人，”Clustering based multiple branches deepnetworks for single image super-resolution(基于多分支深度网络进行聚类以实现单图像超分辨率)”、Multimedia Tools and Applications(多媒体工具和应用)、SpringerScience+Business Media(施普林格科学+商业媒体)，2018年12月14日

发明内容

本发明所要解决的课题

但是，根据上述非专利文献1中的图像处理学习程序，虽然预先对数据集进行聚类从而提高了学习的效率，但是由于有时例如根据图像的颜色或明暗度等特征量来进行聚类，因此存在未必一定会提高超分辨精度的问题。

因此，本发明的目的在于提供一种图像处理学习程序以及通过该程序进行学习的图像处理程序、信息处理装置和图像处理系统，该图像处理学习程序以无需标记的方式对用于图像处理学习的数据集进行聚类，同时进行图像处理的学习以提高对各个分类域的图像处理的精度。

用于解决课题的方案

为了实现上述目的，本发明的一实施方式提供以下的图像处理学习程序、图像处理程序、信息处理装置以及图像处理系统。

[1]一种图像处理学习程序，使计算机作为以下单元来发挥作用：

多个图像处理单元，其用于对单一的输入图像执行图像处理并输出单一的输出图像；

以及所述学习单元，其用于使用具有多个输入图像和与该多个输入图像相对应的目标图像的学习对象的组所包含的分类域中具有最多输入图像的第k个分类域，使单个或多个未学习的图像处理单元进行学习直至达到与该分类域相对应的已学习完成的第k个图像处理单元大致相同的精度，向该第k个图像处理单元和已学习的该单个或多个图像处理单元输入所述第k个分类域具有的输入图像，将该已学习的单个或多个图像处理单元或该第k个图像处理单元中要输出的输出图像的相对于目标图像的精度高的图像处理单元的分类标签赋给已输入的输入图像，同时，根据精度，通过该输入图像使该已学习的单个或多个图像处理单元或/和该第k个图像处理单元学习。

[2]根据[1]所述的图像处理学习程序，其中，所述学习单元在所述多个图像处理单元的所有的图像处理单元都已经学习完成时结束学习，或者在所述组的所述具有最多输入图像的分类域的输入图像的分类标签仅为所述已学习的单个或多个图像处理单元或第k个图像处理单元中的任意一个时，结束学习。

[3]根据[1]或[2]所述的图像处理学习程序，

其中，使计算机进一步作为将所输入的图像分类至所述分类标签中的任意一个的分类单元发挥作用，

所述学习单元通过使用赋予了所述组的所述分类标签的多个输入图像使所述分类单元学习。

[4]一种图像处理学习程序，使计算机作为以下单元来发挥作用：

多个图像处理单元，其用于对单一的输入图像执行图像处理并输出单一的输出图像；

以及学习单元，其用于当从具有多个输入图像和与该多个输入图像相对应的目标图像的学习对象的组中将输入图像输入到已学习完成的所述图像处理单元中时，指定该已学习完成的图像处理单元要输出的输出图像的相对于目标图像的精度提高的且该输出图像数量最多的图像处理单元，使用该指定的图像处理单元的图像处理的精度提高的输入图像和目标图像使未学习的图像处理单元学习，并在学习完成后，将所述学习对象的组中所包含的输入图像输入到所有的已学习完成的所述图像处理单元中，并且使输出图像的相对于目标图像的精度提高的图像处理单元使用该输入图像和该目标图像分别进行学习。

[5]一种图像处理程序，使计算机作为以下单元来发挥作用：

分类单元，将作为执行图像处理的对象的图像分类为多个预定类别中的某个，并且输入到与分类结果的类别相关联的图像处理单元；

以及多个图像处理单元，其是通过执行[1]至[4]中任意一项所述的图像处理学习程序进行了学习的多个图像处理单元，其对从所述分类单元输入的、作为进行所述图像处理的对象的图像进行图像处理。

[6]根据[5]所述的图像处理程序，其中，所述分类单元通过提取包括在作为执行所述图像处理的对象的图像中的多个部分区域，计算多个部分区域的特征量，并取所计算的特征量的平均值，来对作为执行该图像处理的对象的图像进行分类。

[7]一种信息处理装置，其具有：多个图像处理单元，其用于对单一的输入图像执行图像处理并输出单一的输出图像；

以及所述学习单元，其用于使用具有多个输入图像和与该多个输入图像相对应的目标图像的学习对象的组所包含的分类域中具有最多输入图像的第k个分类域，使单个或多个未学习的图像处理单元进行学习直至达到与该分类域相对应的已学习完成的第k个图像处理单元大致相同的精度，向该第k个图像处理单元和已学习的该单个或多个图像处理单元输入所述第k个分类域具有的输入图像，将该已学习的单个或多个图像处理单元或该第k个图像处理单元中要输出的输出图像的相对于目标图像的精度高的图像处理单元的分类标签赋给已输入的输入图像，同时，根据精度，通过该输入图像使该已学习的单个或多个图像处理单元或/和该第k个图像处理单元学习。

[8]一种图像处理系统，其具备：服务器装置，其经由网络发送作为执行图像处理的对象的图像；

以及信息处理装置，其具有：分类单元，其从所述服务器装置接收作为执行所述图像处理的对象的图像，并将所接收的作为执行该图像处理的对象的图像分类为多个预定类别中的某个，并且输入到与分类结果的类别相关联的图像处理单元；以及多个图像处理单元，其是通过执行所述[1]至[4]中任意一项所述的图像处理学习程序进行了学习的多个图像处理单元，其对从所述分类单元输入的、作为进行所述图像处理的对象的图像进行图像处理。

[9]根据[8]所述的图像处理系统，其中，所述信息处理装置的所述多个图像处理单元使用由所述服务器装置发送的且作为执行图像处理的对象的图像和与作为执行该图像处理的对象的图像相对应的目标图像进行了学习。

发明效果

根据权利要求1、4、7和8所涉及的发明，可以进行图像处理的学习，以提高对分类域的图像处理的精度。

根据权利要求2所涉及的发明，可以当所有的多个图像处理单元都已学习完成时结束学习，或者当组中的具有最多输入图像的分类域的输入图像的分类标签仅为第i或第k中的任意一个时，结束学习。

根据权利要求3所涉及的发明，可以以无需标记的方式对用于图像处理的学习的数据集进行聚类。

根据权利要求5所涉及的发明，可以将作为执行图像处理的对象的图像分类为多个预定类别中的一个，并且通过与分类结果的类别相关联的图像处理单元来对作为执行图像处理的对象的图像进行图像处理。

根据权利要求6所涉及的发明，可以通过提取包括在作为执行图像处理的对象的图像中的多个部分区域，计算多个部分区域的特征量，并取所计算的特征量的平均值，来对作为执行该图像处理的对象的图像进行分类。

根据权利要求9所涉及的发明，可以对由服务器装置发送的且作为执行图像处理的对象的图像执行优化的图像处理。

附图说明

图1是示出第1实施方式所涉及的图像处理系统的结构的一例的概略图。

图2是示出第1实施方式所涉及的终端的结构例的框图。

图3是用于说明终端的超分辨动作的概略图。

图4是示出第1实施方式中的终端的超分辨动作的一例的流程图。

图5A是用于说明第1实施方式中的终端的学习动作的概略图。

图5B是用于说明第1实施方式中的终端的学习动作的概略图。

图5C是用于说明第1实施方式中的终端的学习动作的概略图。

图5D是用于说明第1实施方式中的终端的学习动作的概略图。

图5E是用于说明第1实施方式中的终端的学习动作的概略图。

图5F是用于说明第1实施方式中的终端的学习动作的概略图。

图5G是用于说明第1实施方式中的终端的学习动作的概略图。

图6是示出第1实施方式中的终端的学习动作的一例的流程图。

图7A是用于说明第2实施方式中的终端的学习动作的概略图。

图7B是用于说明第2实施方式中的终端的学习动作的概略图。

图7C是用于说明第2实施方式中的终端的学习动作的概略图。

图8是示出第2实施方式中的终端的学习动作的一例的流程图。

具体实施方式

[第1实施方式]

(图像处理系统的结构)

图1是示出第1实施方式所涉及的图像处理系统的结构的一例的概略图。

作为此图像处理系统的一例的超分辨系统5通过将作为信息处理装置的终端1和网络服务器2经由网络3可相互通信地连接而构成。

终端1例如是笔记本PC(Personal Computer)、智能手机、平板终端等便携式信息处理装置，在主体内具备具有用于处理信息的功能的CPU(Central Processing Unit,中央处理器)、GPU(Graphics Processing Unit，图形处理器)和闪存等电子部件。另外，终端1并不限于便携式信息处理装置，也可以是固定式PC。

网络服务器2是服务器类型的信息处理装置，其根据终端1的请求而进行动作，并且在主体内具备具有用于处理信息的功能的CPU或闪存等电子部件。

网络3是可以进行高速通信的通信网络，例如是因特网或LAN(Local AreaNetwork，局域网)等有线或无线的通信网络。

作为一例，终端1向网络服务器2发送请求以浏览网页。网络服务器2根据请求将构成包括显示在网页上的发送用图像200在内的网页的网页信息20发送到终端1。终端1接收网页信息20和发送用图像200，将作为输入图像的发送用图像200分类为类别，作为图像处理的一例，使用适合于该类别的超分辨单元将发送用图像200高分辨率化(进行超分辨处理)，并且基于网页信息20将显示图像130显示在显示部(13，参照图2)中。另外，这里所说的超分辨是指从单一的低分辨率图像复原单一的高分辨率图像的单图像超分辨(以下相同)。终端1具有分别适合于多个类别的多个超分辨单元，并且通过分开使用多个超分辨单元，与用单一的超分辨单元进行处理的情况相比，提高超分辨的精度。另外，发送用图像200是分辨率比显示图像130低的图像信息，并且是数据量少的信息。此外，多个超分辨单元执行聚类，以将通过后述的方法进行学习并且用于在学习阶段执行分类的单元学习。

(信息处理装置的结构)

图2是示出第1实施方式所涉及的终端1的结构例的框图。

终端1具备：控制部10，其由CPU、GPU等构成并用于在控制各部的同时执行各种程序；存储部11，其由闪存等存储介质构成并用于存储信息；通信部12，其经由网络3与外部进行通信；显示部13，其由LCD(Liquid Crystal Display，液晶显示屏)等构成并用于显示文字或图像；以及操作部14，其由配置在显示部13上的可触摸操作的触摸面板、键盘、开关等构成并用于接受用户的操作。

控制部10通过执行后述的网络浏览器程序110，作为网页信息接收单元100、网页显示控制单元103等发挥作用。此外，通过执行作为后述的图像处理程序的超分辨程序111，作为图像分类单元101、多个超分辨单元1020、1021..等发挥作用。此外，通过执行作为后述的图像处理学习程序的超分辨学习程序114，作为将图像分类单元101、多个超分辨单元1020、1021..等学习的学习单元104等发挥作用。

网页信息接收单元100经由通信部12从网络服务器2接收包括发送用图像200在内的网页信息20，并作为网页信息112存储在存储部11中。另外，网页信息112的存储也可以是暂时的。

图像分类单元101将网页信息接收单元100接收到的发送用图像200分类为类别，并且从多个超分辨单元1020、1021..中选择适合于该发送用图像200的类别的超分辨单元。另外，图像分类单元101例如是通过CNN(Convolutional Neural Network)进行了学习的单元，但也可以是通过逻辑回归、支持向量机、决策树、随机森林、SGD(Stochastic GradientDescent，随机梯度下降法)、核密度估计、k最近邻算法、感知机等进行了学习的单元。

作为图像处理单元的多个超分辨单元1020、1021…是专门用于不同类别的图像的超分辨的超分辨单元，对作为由图像分类单元101分类的输入图像的发送用图像200进行超分辨处理，并且生成作为输出图像的高分辨率的超分辨图像信息113并存储在存储部11中。另外，超分辨单元1020、1021…例如是通过CNN进行了学习的单元，但是也可以是学习了等效算法的单元。

网页显示控制单元103根据网页信息112，使用超分辨图像信息113替代发送用图像200，并将网页的显示图像130显示在显示部13上。

学习单元104使图像分类单元101、多个超分辨单元1020，1021...学习。稍后将对学习方法的详细情况进行说明。另外，学习单元104和超分辨学习程序114对于终端1来说并非是必不可少的结构，一般由不同的装置来执行以及存储，为了便于说明而包含在结构中。也就是说，学习单元104和超分辨学习程序114由不同的装置执行即可，只要终端1中具备作为通过不同的装置进行了学习的结果的图像分类单元101、多个超分辨单元1020、1021..以及超分辨程序111即可。

存储部11存储使控制部10作为上述的各单元100、103进行动作的网络浏览器程序110、使控制部10作为上述的各单元101、1020、1021..进行动作的超分辨程序111、网页信息112、超分辨图像信息113以及使控制部10作为上述的学习单元104进行动作的超分辨学习程序114等。

(超分辨系统的动作)

接下来，通过将本实施方式中的作用分为(1)超分辨动作和(2)学习动作来进行说明。在“(1)超分辨动作”中，对执行通过“(2)学习动作”已学习完成的超分辨程序111，并对发送用图像200进行超分辨处理的动作进行说明。此外，在“(2)学习动作”中，对通过执行超分辨学习程序114来使图像分类单元101、多个超分辨单元1020、1021…进行学习的动作进行说明。

(1)超分辨动作

图3是用于说明终端1的超分辨动作的概略图。此外，图4是示出终端1的超分辨动作的一例的流程图。

首先，终端1的网页信息接收单元100经由通信部12从网络服务器2接收包括发送用图像200在内的网页信息20，并作为网页信息112存储在存储部11中(S10)。

接下来，终端1的图像分类单元101从网页信息接收单元100接收到的网页信息20中提取发送用图像200(S11)。

接下来，图像分类单元101从所提取的发送用图像200中提取多个补丁2001、2002、2003...作为部分区域。图像分类单元101对多个补丁2001、2002、2003..进行批量处理，并获得对多个补丁2001、2002、2003..的输出。图像分类单元101基于作为学习结果的超分辨程序111进行动作，根据对针对多个补丁2001、2002、2003…的输出进行平均化而得到的值来将该发送用图像200分类为类别(S12)，并在多个超分辨单元1020、1021..中，选择与分类结果的类别对应的且适合于该发送用图像200的超分辨的超分辨单元1021(S13)。

接下来，图像分类单元101选择的超分辨单元1021对发送用图像200进行超分辨处理(S14)，生成高分辨率的超分辨图像信息113并存储在存储部11中。

接下来，终端1的网页显示控制单元103根据网页信息112，使用超分辨图像信息113替代发送用图像200，并将网页的显示图像130显示在显示部13上(S15)。

(2)学习动作

图5A～图5G是用于说明第1实施方式中的终端1的学习动作的概略图。此外，图6是示出第1实施方式中的终端1的学习动作的一例的流程图。

首先，如图5A所示，终端1的学习单元104通过作为未学习的第0个超分辨单元的超分辨单元1020，对作为学习对象的整个组50中所包含的整个学习用低分辨率图像500l0～500l7进行学习(S20)。下面将对学习方法进行说明。

超分辨单元1020对学习用低分辨率图像500l0～500l7的第j个学习用低分辨率图像500lj进行超分辨处理，获得超分辨图像500sr0j。接下来，学习单元104通过与分辨率比预先准备好的学习用低分辨率图像500l0～500l7高的作为目标图像的原始图像500h0～500h7的第j个原始图像500hj进行比较来计算差分。对于差分，例如使用MSE(Mean Squarederror，均方误差)或MAE(Mean Absolute Error，平均绝对误差)，但是，关于差分计算，也可以使用已学习完成的CNN进行计算。学习单元104反馈该差分，并且以使该差分变小的方式，对整个学习用低分辨率图像500l0～500l7将超分辨单元1020学习。下面，有时将该差分小称为超分辨的“精度高”。

接下来，如图5B所示，终端1的学习单元104通过作为未学习的第1个超分辨单元的超分辨单元1021(S22)，在整个组50中所包含的分类域中最大的分类域，也就是在图5B的情况中还没有被分类，因此对整个学习用低分辨率图像500l0～500l7(S23)进行学习。学习方法与如下所述的第0个超分辨单元的学习相同。

超分辨单元1021对学习用低分辨率图像500l0～500l7的第j个学习用低分辨率图像500lj进行超分辨处理，获得超分辨图像500sr1j。接下来，学习单元104与预先准备好的学习用低分辨率图像500l0～500l7的高分辨率的原始图像500h0～500h7的第j个原始图像500hj进行比较，计算差分。学习单元104反馈该差分，并且以使该差分变小的方式，对整个学习用低分辨率图像500l0～500l7将超分辨单元1021学习。

另外，学习单元104也可以复制已学习完成的超分辨单元1020作为超分辨单元1021，来抑制学习所需的时间和处理成本。

接下来，如图5C所示，终端1的学习单元104通过与最大分类域相对应的第k个超分辨单元、也就是说在图5C的情况下作为第k＝0个超分辨单元的超分辨单元1020和作为第i＝1个超分辨单元的超分辨单元1021进行超分辨处理，根据超分辨的精度重新赋予作为最大分类域的整个组50中所包含的学习用低分辨率图像500l0～500l7的分类标签来划分分类域(S24)，同时基于该分类标签来使精度高的一方的超分辨单元1020或超分辨单元1021学习(S25)。下面将对划分方法和学习方法进行详细说明。

超分辨单元1020及超分辨单元1021对学习用低分辨率图像500l0～

500l7的第j个学习用低分辨率图像500lj进行超分辨处理，获得超分辨图像500sr0j及超分辨图像500sr1j。接下来，学习单元104分别与高分辨率的原始图像500hj进行比较，并且分别计算差分。学习单元104将输出该差分小的一方的超分辨图像500sr0j或超分辨图像500sr1j的超分辨单元1020或超分辨单元1021的分类标签(0或1)赋予给学习用低分辨率图像500lj并对组50进行聚类的同时，对于第j个学习用低分辨率图像500lj使差分小的超分辨单元1020或超分辨单元1021反馈学习。另外，超分辨单元1020和超分辨单元1021的差分一致时，学习单元104选择超分辨单元1020及超分辨单元1021中的任意一方，将分类标签(0或1)赋予给学习用低分辨率图像500lj并对组50进行聚类的同时，对于第j个学习用低分辨率图像500lj使所选择的超分辨单元1020或超分辨单元1021反馈学习。此外，反馈学习的并不一定是超分辨单元1020或者超分辨单元1021中的一方，也可以根据各自的精度进行加权来学习。也就是说，也可以对差分小的一方的超分辨单元1020或超分辨单元1021增大进行反馈学习的加权，也可以对差分大的一方的超分辨单元1020或超分辨单元1021减小进行反馈学习的加权。

作为上述聚类的结果，如图5D所示，将组50划分为赋予了超分辨单元1020的标签0的组500、和赋予了超分辨单元1021的标签1的组501。此外，超分辨单元1020和超分辨单元1021作为学习结果，以与用其他的超分辨单元1021和超分辨单元1020分别对组500和组501进行超分辨处理的情况相比精度更高的方式进行了学习，也就是说，分别为组500以及组501优化了超分辨的精度。

如果划分域(S26：“是”)，则针对下一个未学习的超分辨单元执行步骤S23～S25(S27：“否”，S28)。

接下来，如图5E所示，终端1的学习单元104通过作为未学习的第2个超分辨单元的超分辨单元1022(S22)，在整个组50中所包含的分类域中最大的分类域、也就是在图5E的情况下，对组500中所包含的整个学习用低分辨率图像500l0～500l4(S23)进行学习。另外，学习单元104也可以复制已学习完成的超分辨单元1020作为超分辨单元1022，来抑制学习所需的时间和处理成本。

接下来，如图5F所示，终端1的学习单元104通过与最大分类域相对应的第k个超分辨单元、也就是在图5F的情况下作为第k＝0个超分辨单元的超分辨单元1020和作为第i＝2个超分辨单元的超分辨单元1022进行超分辨处理，根据超分辨的精度重新赋予作为最大分类域的整个组500中所包含的学习用低分辨率图像500l0～500l4的分类标签来划分分类域(S24)，同时基于该分类标签来使一方的超分辨单元1020或超分辨单元1022学习(S25)。

超分辨单元1020及超分辨单元1022对学习用低分辨率图像500l0～

500l4的第j个学习用低分辨率图像500lj进行超分辨处理，获得超分辨图像500sr0j及超分辨图像500sr2j。接下来，学习单元104分别与高分辨率的原始图像500hj进行比较，并且分别计算差分。学习单元104将该差分小的一方的超分辨单元1020或超分辨单元1022的分类标签(0或2)赋予给学习用低分辨率图像500lj并对组500进行聚类的同时，对于第j个学习用低分辨率图像500lj使差分小的超分辨单元1020或超分辨单元1022反馈学习。此外，反馈学习的并不一定是超分辨单元1020或者超分辨单元1022中的一方，也可以根据各自的精度进行加权来学习。

此外，如上所述，通过与最大的分类域相对应的第k个超分辨单元和单一的第i个超分辨单元进行超分辨处理，根据超分辨精度，划分最大的分类域，同时根据超分辨的精度进行超分辨单元的学习，但也可以通过与最大的分类域相对应的第k个超分辨单元和第i个、第i+1个、第i+2个...多个超分辨单元来进行超分辨处理，根据超分辨精度，划分最大的分类域，同时根据超分辨的精度进行超分辨单元的学习。

作为上述聚类的结果，如图5G所示，将组500划分为赋予了超分辨单元1020的标签0的组500、和赋予了超分辨单元1022的标签2的组502。此外，超分辨单元1020、超分辨单元1021以及超分辨单元1022作为学习结果，分别针对组500、组501以及组502来优化超分辨的精度。

针对所准备的所有超分辨单元执行完步骤S23～S25后(S27：“是”)，结束操作。此外，即使在未对所准备的所有超分辨单元执行上述动作的情况下，如果未划分域(S26：“否”)，则不使用结束动作但未学习的超分辨单元。

此外，学习单元104在完成上述所有步骤，完成所有的超分辨单元1020、1021…的学习，并且划分了组50的分类域时，针对赋予了该组50的分类标签的学习用低分辨率图像500lj将图像分类单元101学习。另外，对于图像分类单元101的学习，与图3所示的情况相同，可以通过从学习用低分辨率图像500lj中提取多个补丁并执行批量处理来进行学习，或者可以通过将学习用低分辨率图像500lj作为1个补丁直接来处理进行学习。

(第1实施方式的效果)

根据上述的第1实施方式，在单图像超分辨中，当使多个超分辨单元1020、1021…学习时，使与用于超分辨的学习的数据集(组50)中较大的分类域50k相对应的超分辨单元102k和新进行学习的超分辨单元102i进行竞争学习，赋予分类域50k中所包含的图像的超分辨精度高的超分辨单元102k或102i的标签后进行聚类，同时，将产生高精度的结果的超分辨单元102k或102i设为对通过该图像来学习进行划分的分类域50k和50i最优化的超分辨单元102k和102i，因此无需预先对用于超分辨的学习的数据集(组50)进行标记就可以进行聚类，从而可以高效地进行各分类域50k以及50i的超分辨单元102k以及102i的最优化。此外，由于可以通过超分辨单元的学习来自发地对数据集进行聚类，因此无需标记就可以准备用于图像分类单元101的学习的数据集，可以高效地将图像分类单元101学习。

此外，通过准备多个超分辨单元1020、1021..并结合图像的类别进行专门化，从而可以整体上提高精度，同时可以将超分辨单元1020、1021…分别作为轻量模型。此外，可以通过在终端1中使已学习完成的多个超分辨单元1020、1021…和图像分类单元101发挥作用来减少发送用图像200的容量，并减少网络3的通信量。

[第2实施方式]

第2实施方式与第1实施方式的不同之处在于，在学习动作中的聚类中未赋予分类标签。另外，关于结构以及超分辨动作，由于与第1实施方式相同，因此省略说明。

(3)学习动作

图7A～图7C是对第2施方式中的终端1的学习动作进行说明的概略图。此外，图8是示出第2实施方式中的终端1的学习动作的一例的流程图。

首先，终端1的学习单元104通过作为未学习的第0个及第1个超分辨单元的超分辨单元1020及超分辨单元1021，来对作为学习对象的整个组50中所包含的整个学习用低分辨率图像500l0～500l7进行学习(S30)。另外，由于学习方法与第1实施方式相同，因此省略说明。

接下来，假设变量l＝2(S31)，如图7A的上部所示，将作为学习对象的整个组50中所包含的所有学习用低分辨率图像500l0～500l7输入到已学习完成的超分辨单元1020以及超分辨单元1021中，对第i个学习用低分辨率图像500li进行超分辨处理，获得超分辨图像500sr0i以及500sr1i。接下来，图像分类单元101与预先准备好的学习用低分辨率图像500l0～500l7的高分辨率的原始图像500h0～500h7的第i个原始图像500hi相比，如图7A的下部所示，将差分小的超分辨单元、也就是精度高的超分辨单元作为精度信息101a1进行记录，并且指定精度最高的图像数最多的模型k(S32)。在图7A的情况是k＝0。另外，精度信息101a1的记录也可以是暂时性的存储。在此状态下，在概念上，将组50划分为超分辨单元1020高精度地进行超分辨处理的组500，和超分辨单元1021高精度地进行超分辨处理的组501。

接下来，如图7B的上部所示，将作为学习对象的整个组50中所包含的所有学习用低分辨率图像500l0～500l7输入到已学习完成的超分辨单元1020以及超分辨单元1021中，对第i个学习用低分辨率图像500li进行超分辨处理，获得超分辨图像500sr0i以及500sr1i。接下来，图像分类单元101与预先准备好的学习用低分辨率图像500l0～500l7的高分辨率的原始图像500h0～500h7的第i个原始图像500hi相比，使用与超分辨图像500sr0i之间的差分最小的第i个学习用低分辨率图像500li以及原始图像500hi的学习集来使未学习的第l个超分辨单元、也就是超分辨单元102l进行学习(S33)。超分辨单元102l的学习一直进行到成为与超分辨单元1020相同程度的精度为止。在此状态下，如图7B下部所示，在概念上，将组50划分为超分辨单元1020高精度地进行超分辨处理的组500、超分辨单元1021高精度地进行超分辨处理的组501、和超分辨单元1022高精度地进行超分辨处理的组502。也就是，与图7A下部的状态相比，成为将超分辨单元1021高精度地进行超分辨处理的组划分为2个的状态。

接下来，如图7C的上部所示，将作为学习对象的整个组50中所包含的所有学习用低分辨率图像500l0～500l7输入到已学习完成的超分辨单元1020、超分辨单元1021以及超分辨单元1022中，对第i个学习用低分辨率图像500li进行超分辨处理，获得超分辨图像500sr0i、500sr1i以及500sr2i。接下来，图像分类单元101与预先准备好的学习用低分辨率图像500l0～500l7的高分辨率的原始图像500h0～500h7的第i个原始图像500hi相比，使差分最小的超分辨单元、也就是精度最高的超分辨单元对第i个学习用低分辨率图像500li以及原始图像500hi的学习集进行反馈学习(S34)。

在此状态下，如图7C下部所示，在概念上，将组50划分为超分辨单元1020高精度地进行超分辨处理的组500、超分辨单元1021高精度地进行超分辨处理的组501、和超分辨单元1022高精度地进行超分辨处理的组502。另外，与图7B下部的状态相比，划分结果未必一致是因为反馈学习后，超分辨单元1020、超分辨单元1021、超分辨单元1022中产生了变化。

此外，如图7C下部所示，图像分类单元101与预先准备好的学习用低分辨率图像500l0～500l7的高分辨率的原始图像500h0～500h7的第i个原始图像500hi相比，将差分小的超分辨单元、也就是精度高的超分辨单元作为精度信息101a2进行记录，并且指定精度最高的图像数最多的模型k(S32)。在图7C的情况是k＝0或1。

如此一来，对所有的未学习模型执行步骤S32～S34(S35、S36)。

此外，学习单元104在完成上述所有步骤，完成所有的超分辨单元1020、1021…的学习后，使用最终得到的精度信息101al，对该组50将图像分类单元101学习。

(第2实施方式的效果)

根据上述的第2实施方式，在单图像超分辨中，当使多个超分辨单元1020、1021…学习时，对精度高的超分辨单元进行计数，使与用于超分辨的学习的数据集(组50)中较大的分类域50k相对应的超分辨单元102k和新进行学习的超分辨单元102i进行竞争学习，因此无需预先对用于超分辨的学习的数据集(组50)进行标记并且无需在学习过程中进行标记就可以进行聚类，从而可以高效地进行超分辨单元102k以及102i的最优化。

[其他实施方式]

另外，本发明并不限定于上述实施方式，在不脱离本发明的宗旨的范围内可以进行各种变形。

在上述实施方式中，说明了从网络服务器2经由网络3发送包括发送用图像200在内的网页信息20，并通过终端1对发送用图像200进行超分辨处理的例子，但是只要是发送低分辨率图像并通过终端1进行超分辨处理的结构即可，当然不需要包含在网页信息20中进行发送。也就是说，并不限定于网页浏览器，也可以将用于使图像分类单元101以及超分辨单元1020、1021…动作的超分辨程序111组合到终端1所包含的任意的应用程序中。

另外，用于学习的图像的组50和发送用图像200可以分别不同，也可以相同。在不同的情况下，可以根据组50创建作为一般模型的超分辨单元1020、1021...。此外，在相同的情况下，可以创建最适合于发送用图像200的超分辨单元1020、1021...。

在上述实施方式中，作为图像处理的例子列举了超分辨处理进行了说明，但是作为其他例子，本发明也可以应用于关于图像去噪、模糊去除、锐化等图像处理的学习，对图像处理的内容并没有特别限定。此外，对于使用该学习方法进行学习的图像处理，也同样地，图像处理的内容不限于超分辨处理。

在上述实施方式中，通过程序来实现控制部10的各单元100～104的功能，但是也可以通过ASIC等硬件来实现各单元的全部或一部分功能。此外，也可以将在上述实施方式中所使用的程序存储在CD-ROM等记录介质中来提供。此外，在不变更本发明的主旨的范围内，可以进行上述实施方式中所说明的上述步骤的替换、删除、追加等。

产业应用性

提供一种图像处理学习程序以及通过该程序进行学习的图像处理程序、信息处理装置和图像处理系统，该图像处理学习程序以无需标记的方式对用于图像处理的学习的数据集进行聚类，同时进行图像处理的学习以提高对各个分类域的图像处理的精度。

符号说明

1 终端

2 网络服务器

3 网络

5 超分辨系统

10 控制部

11 存储部

12 通信部

13 显示部

14 操作部

20 网页信息

50 组

100 网页信息接收单元

101 图像分类单元

1020、1021 超分辨单元

103 网页显示控制单元

104 学习单元

110 网络浏览器程序

111 超分辨程序

112 网页信息

113 超分辨图像信息

114 超分辨学习程序

130 显示图像

200 发送用图像