掌桥专利:专业的专利平台
掌桥专利
首页

识别方法、装置及电子设备

文献发布时间:2023-06-19 09:35:27


识别方法、装置及电子设备

技术领域

本申请属于通信技术领域,具体涉及一种识别方法、装置及电子设备。

背景技术

社交媒体平台拥有海量内容,但并非所有内容都是适宜发布的信息。各个社交媒体平台都会有内容审查技术,一般来说可分为人工审查和计算机技术的审查。计算机技术虽然节省人工成本,但十分受限于人工智能技术。尤其是当内容发布者了解计算机审查能力的边界,就容易衍生相应的防审查机制。

例如,某个应用可以发布文字、图片及视频等多种内容载体。首先该应用具有很强的文字内容审查机制,如涉黄涉暴内容检测及敏感词检测等。因此很多依赖于文字形式的自媒体作者转而使用将文字变为图片内的文字的形式躲避审查。但随着文字识别(OpticalCharacter Recognition,OCR)技术的发展,此类图片也会被转化为正常文本进行审核。因此对于部分图片内的文字内容,也依旧会被进行审核。

这类技术存在瓶颈,即OCR技术的准确率。内容发布者了解了技术瓶颈后转而使用涂抹敏感词的方式来逃避审查。即现有的单纯基于OCR技术的文本转换技术会被内容发布者找到技术边界并规避,从而逃避审查。

发明内容

本申请实施例的目的是提供一种识别方法、装置及电子设备,能够解决内容发布者使用涂抹敏感词的方式来逃避图片审查的问题。

为了解决上述技术问题,本申请是这样实现的:

第一方面,本申请实施例提供了一种识别方法,包括:

获取目标图片中的第一文本信息;

提取所述第一文本信息中的第一关键词,根据所述第一关键词在所述第一文本信息中的位置信息,得到所述第一关键词的置信度;其中,所述置信度用于指示所述第一关键词在所述第一文本信息中的语义连贯性;

在所述第一关键词的置信度小于预设值的情况下,将所述第一关键词替换为第二关键词。

第二方面,本申请实施例提供了一种识别装置,包括:

第一获取模块,用于获取目标图片中的第一文本信息;

第二获取模块,用于提取所述第一文本信息中的第一关键词,根据所述第一关键词在所述第一文本信息中的位置信息,得到所述第一关键词的置信度;其中,所述置信度用于指示所述第一关键词在所述第一文本信息中的语义连贯性;

替换模块,用于在所述第一关键词的置信度小于预设值的情况下,将所述第一关键词替换为第二关键词。

第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。

在本申请实施例中,对于以图片形式为载体的文本,根据文本中各个词的置信度来确定被使用刻意涂抹等形式破坏的第一关键词,并将其还原为第二关键词进行审查,从而保证审查内容的正确性。

附图说明

图1表示本申请实施例提供的识别方法的步骤流程图;

图2表示本申请实施例提供的识别装置的结构示意图;

图3表示本申请实施例提供的电子设备的结构示意图之一;

图4表示本申请实施例提供的电子设备的结构示意图之二。

具体实施方式

下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象,而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施,且“第一”、“第二”等所区分的对象通常为一类,并不限定对象的个数,例如第一对象可以是一个,也可以是多个。此外,说明书以及权利要求中“和/或”表示所连接对象的至少其中之一,字符“/”,一般表示前后关联对象是一种“或”的关系。

下面结合附图,通过具体的实施例及其应用场景对本申请实施例提供的识别方法、装置及电子设备进行详细地说明

如图1所示,本发明实施例提供一种识别方法,包括:

步骤101,获取目标图片中的第一文本信息;

步骤102,提取所述第一文本信息中的第一关键词,根据所述第一关键词在所述第一文本信息中的位置信息,得到所述第一关键词的置信度;其中,所述置信度用于指示所述第一关键词在所述第一文本信息中的语义连贯性;

步骤103,在所述第一关键词的置信度小于预设值的情况下,将所述第一关键词替换为第二关键词。

本申请实施例中,第一关键词的置信度小于预设值则意味着该第一关键词所在的位置可能被涂鸦或遮挡。

可选地,上述目标图片有部分文字被涂鸦或遮挡(该涂鸦或遮挡可以为部分或全部涂鸦或遮挡),通过OCR技术无法完整识别该目标图片上的所有正确文字。

需要说明的是,第二关键词在第一文本信息中的置信度大于第一关键词在第一文本信息中的置信度。也就是说,第二关键词为上述目标图片中被遮挡或涂鸦的原词或原词的近似词,将第一关键词替换为第二关键词之后得到的文本信息为目标图片的原文本信息或近似原文本信息。

作为一个可选实施例,步骤101包括:

利用文字识别OCR模型对所述目标图像进行文字识别,获取目标图片包括的文字,生成所述第一文本信息。例如,OCR模型会对目标图片内的印刷文字进行逐字识别,识别结果会将目标图片转化为文字形式,从而生成第一文本信息。

作为另一个可选实施例,步骤102包括:

对所述第一文本信息进行分词,得到多个词;例如,将第一文本输入语义理解模型进行分词,语义理解模型输入分词得到的该第一文本信息的多个词,并记录每个词的位置;

利用语义理解模型对所述第一文本信息和所述多个词进行处理,获取各个词的置信度。例如,将每个词,每个词的位置以及第一文本信息同时输入语义理解模型,语义理解模型输出各个词的语义连贯性的置信度。

对可疑位置(即第一关键词所在的位置)的判断可以看作一个分类的流程,即判断该词是否与上下文语义连贯。置信度大于预设值则认为该词语上下文连贯,不作为可疑位置;置信度小于预设值则认为该词所在位置为可疑位置,则该词被称为第一关键词。

本申请实施例中提供两种确定第二关键词的方式,方式一为从数据库中获取第一关键词的近似词,将置信度最高的近似词确定为第二关键词;方式二为由语言生成模型直接生成第二关键词。上述两种方式可以单独进行,也可以同时进行,在上述两种方式同时进行时,可以进一步基于置信度来确定最终的第二关键词。

其中,针对方式一,即作为另一个可选实施例,所述方法还包括:

获取所述第一关键词的多个近似词以及各个近似词的置信度;

将置信度最高的近似词确定为所述第二关键词。

其中,第一关键词的近似词可以为:与第一关键词字音相同的词、或者与第一关键词字义相同的词,或者与第一关键词字形相同的词等,在此不做具体限定。

例如,将第一关键词和第一文本信息输入文本纠错模型,则该文本纠错模型输出第一关键词可能的近似词以及各个近似词对应的置信度。

再例如,第一关键词对应的近似词包括:词A、词B、词C;其中,词A在第一文本信息中的置信度为60%,词B在第一文本信息中的置信度为80%,词C在第一文本信息中的置信度为95%,则确定词C为所述第二关键词。

其中,获取所述第一关键词的多个近似词以及各个近似词的置信度,包括:

根据所述第一文本信息所属的类别,从数据库中获取与该类别相关的多个近似词;

将所述第一关键词依次替换为多个近似词,依次获取各个近似词的置信度。

例如,对所述第一文本信息进行内容识别,确定所述第一文本信息所属的类别;根据所述第一文本信息所属的类别,从数据库中获取该类别对应的多个近似词;例如,将第一文本信息所属的类别作为数据库的输入,查询该类别下的近似词。

需要说明的是,对第一文本信息进行内容识别从而确定所述第一文本信息所属的类别具体可以为:对第一文本信息中的关键字、关键词(如人名、娱乐、政治、体育等)进行识别,基于第一文本信息中的关键字或关键词来确定第一文本信息所属的类别。例如,第一文本信息中包括关键词“第3届篮球比赛”、“运动员”等,则确定第一文本信息所属的类别为体育类别。

可选地,利用语义理解模型对第一文本信息的类别进行判断,如政治新闻(可能涉及政治人物),科普介绍(可能涉及售卖意向的广告或联系方式等),小说(可能涉及色情,暴力行为等描述)等等。如第一文本信息的内容经过语义理解模型被识别为政治类别。

需要说明的是,利用语义理解模型确定第一文本信息所属的类别时,可能会识别出多个类别,可以将识别出的多个类别均确定为第一文本信息所属的类别;或者通过各个类别的确信度来确定部分类别为第一文本信息所属的类别。例如,语义理解模型将第一文本信息作为输入进行类别判断,进行分类,每一个类别输出对应的确信度(确信度是语义理解模型对该类别结果的确信程度),为了防止某些文本可能有多种类别,将语义理解模型输出的确信度最高的前N(N为大于或者等于1的整数)个类别作为该文本信息所属的类别。

其中,近似词的置信度的确定方式为:

将各个近似词逐个替换第一文本信息中对应的第一关键词,并将替换后的文本以及对应的近似词输入语义理解模型,从而输出该近似词的置信度。

可选地,将所有近似词都输入语义理解模型,并将所有近似词的置信度结果降序排序,获取置信度最高的近似词来确定第二关键词。

需要说明的是,利用数据库中的近似词及近似词的置信度确定第二关键词的方式能够更为准确得到被遮挡或被涂鸦的位置的原词。

针对方式二,即作为本申请的一个可选实施例,所述步骤103中将所述第一关键词替换为第二关键词包括:

将所述第一关键词替换为目标符号;其中,该目标符号所在的位置为疑似被涂鸦或疑似被遮挡的位置;

利用语言生成模型,生成所述第二关键词,并替换所述目标符号。

其中,语言生成模型可以直接生成词语,不需要从数据库中进行查询。例如,将带有目标符号的文本信息输入语言生成模型,语言生成模型会自动在该目标符号的位置生成语言生成模型认为对应的第二关键词。语言生成模型的工作原理一般为:结合目标符号所在位置的上下文信息以及整个文本信息对目标符号所在位置的词进行估计,从而生成目标符号所在位置对应的第二关键词。并将目标符号替换为第二关键词,从而得到替换后的文本信息。

需要说明的是,利用语言生成模型生成第二关键词的方式相较于利用数据库中的近似词及近似词的置信度确定第二关键词的方式更为简单,快速,可提升第二关键词的确定顺序,从而提升图片审查速率。

作为本申请的另一个可选实施例,步骤103之后,所述方法还包括:

对替换为第二关键词之后得到的文本信息进行审查,获取审查结果。审查结果包括:审查通过,或者,审查不通过。审查通过的即可发布,审查不通过的则禁止发布。其中,对替换之后得到的文本信息的审查至少包括:是否符合法律法规的审查、是否出现敏感内容、敏感词汇等的审查、是否符合发布要求的审查等。其具体的审查规则可由审查方自行设定,在此不做具体限定。

在获取审查结果之后,若审查结果为不通过,本申请实施例的一个可选实施例进一步包括:

提取第一文本信息中的部分关键字或关键词,并将提取到的关键字或关键词纳入审查词库,从而完善审查词库,以便在后续审查过程中提升审查准确度及审查效率。

综上,本发明实施例对于以图片形式为载体的文字内容,即使使用刻意涂抹等形式的破坏,也可以被还原为近似原始内容或原始内容进行审查,从而保证内容的正确性。尤其是在类似于儿童模式等与内容安全非常相关的场景,非常需要这种能保障内容的正确性与安全性。

需要说明的是,本申请实施例提供的识别方法,执行主体可以为识别装置,或者该识别装置中的用于执行加载识别方法的控制模块。本申请实施例中以识别装置执行识别方法为例,说明本申请实施例提供的识别装置。

如图2所示,本发明实施例还提供一种识别装置200,包括:

第一获取模块201,用于获取目标图片中的第一文本信息;

第二获取模块202,提取所述第一文本信息中的第一关键词,根据所述第一关键词在所述第一文本信息中的位置信息,得到所述第一关键词的置信度;其中,所述置信度用于指示所述第一关键词在所述第一文本信息中的语义连贯性;

替换模块203,在所述第一关键词的置信度小于预设值的情况下,将所述第一关键词替换为第二关键词。

作为一个可选实施例,所述识别装置还包括:

第三获取模块,用于获取所述第一关键词的多个近似词以及各个近似词的置信度;

第一确定模块,将置信度最高的近似词确定为所述第二关键词。

作为一个可选实施例,所述第三获取模块包括:

第一获取子模块,用于根据所述第一文本信息所属的类别,从数据库中获取与该类别相关的多个近似词;

第二获取子模块,用于将所述第一关键词依次替换为多个近似词,依次获取各个近似词的置信度。

作为一个可选实施例,所述替换模块包括:

第一替换子模块,用于将所述第一关键词替换为目标符号;

第二替换子模块,用于利用语言生成模型,生成所述第二关键词,并替换所述目标符号。

作为一个可选实施例,所述识别装置还包括:

审查模块,用于对替换为第二关键词之后得到的文本信息进行审查,获取审查结果。。

本发明实施例对于以图片形式为载体的文字内容,即使使用刻意涂抹等形式的破坏,也可以被还原为近似原始内容或原始内容进行审查,从而保证内容的正确性。尤其是在类似于儿童模式等与内容安全非常相关的场景,非常需要这种能保障内容的正确性与安全性。

需要说明的是,本发明实施例提供的识别装置是能够执行上述识别方法的装置,则上述识别方法的所有实施例均适用于该装置,且均能达到相同或相似的有益效果。

本申请实施例中的识别装置可以是装置,也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备,也可以为非移动电子设备。示例性的,移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本或者个人数字助理(personaldigital assistant,PDA)等,非移动电子设备可以为网络附属存储器(Network AttachedStorage,NAS)、个人计算机(personal computer,PC)、电视机(television,TV)、柜员机或者自助机等,本申请实施例不作具体限定。

本申请实施例中的识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统,可以为ios操作系统,还可以为其他可能的操作系统,本申请实施例不作具体限定。

本申请实施例提供的识别装置能够实现图1的方法实施例实现的各个过程,为避免重复,这里不再赘述。

可选的,如图3所示,本申请实施例还提供一种电子设备,包括处理器301,存储器302,存储在存储器301上并可在所述处理器302上运行的程序或指令,该程序或指令被处理器302执行时实现上述识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

需要注意的是,本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图4为实现本申请各个实施例的一种电子设备的硬件结构示意图。

该电子设备400包括但不限于:射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、以及处理器410等部件。

本领域技术人员可以理解,电子设备400还可以包括给各个部件供电的电源(比如电池),电源可以通过电源管理系统与处理器410逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图4中示出的电子设备结构并不构成对电子设备的限定,电子设备可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置,在此不再赘述。

其中,处理器410,用于获取目标图片中的第一文本信息;提取所述第一文本信息中的第一关键词,根据所述第一关键词在所述第一文本信息中的位置信息,得到所述第一关键词的置信度;其中,所述置信度用于指示所述第一关键词在所述第一文本信息中的语义连贯性;在所述第一关键词的置信度小于预设值的情况下,将所述第一关键词替换为第二关键词。

本发明实施例对于以图片形式为载体的文字内容,即使使用刻意涂抹等形式的破坏,也可以被还原为近似原始内容或原始内容进行审查,从而保证内容的正确性。尤其是在类似于儿童模式等与内容安全非常相关的场景,非常需要这种能保障内容的正确性与安全性。

需要说明的是,本发明实施例提供的电子设备是能够执行上述识别方法的电子设备,则上述识别方法的所有实施例均适用于该电子设备,且均能达到相同或相似的有益效果。

应理解的是,本申请实施例中,输入单元404可以包括图形处理器(GraphicsProcessing Unit,GPU)4041和麦克风4042,图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元406可包括显示面板4061,可以采用液晶显示器、有机发光二极管等形式来配置显示面板4061。用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071,也称为触摸屏。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆,在此不再赘述。存储器409可用于存储软件程序以及各种数据,包括但不限于应用程序和操作系统。处理器410可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器410中。

本申请实施例还提供一种可读存储介质,所述可读存储介质上存储有程序或指令,该程序或指令被处理器执行时实现上述识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

其中,所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质,包括计算机可读存储介质,如计算机只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等。

本申请实施例另提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现上述识别方法实施例的各个过程,且能达到相同的技术效果,为避免重复,这里不再赘述。

应理解,本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。

需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外,需要指出的是,本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能,还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能,例如,可以按不同于所描述的次序来执行所描述的方法,并且还可以添加、省去、或组合各种步骤。另外,参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述,但是本申请并不局限于上述的具体实施方式,上述的具体实施方式仅仅是示意性的,而不是限制性的,本领域的普通技术人员在本申请的启示下,在不脱离本申请宗旨和权利要求所保护的范围情况下,还可做出很多形式,均属于本申请的保护之内。

以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。

相关技术
  • 生物统计识别方法,用于获取生物统计数据以实施此生物统计识别方法的便携式电子设备和电子设备
  • 一种身份识别方法、活体识别方法、装置及电子设备
技术分类

06120112219962