面向汽车垂直领域的搜索平台架构
文献发布时间:2023-06-19 10:58:46
技术领域
本申请涉及一种搜索平台架构,具体是面向汽车垂直领域的搜索平台架构。
背景技术
现在目前后后端系统基本都是基本Spring+DataBase来进行构建,传统的服务,数据都是格式化的,比如,年龄,姓别等,这样可以充分发挥数据的查询优势。但是在特殊的垂直领域,比如电商,汽车等领域,更注重的是全文检索,如果使用数据库来进行检索,将会非常缓慢,甚至不可用,现在新词,热词层出不穷,如当用户搜索“苹果”的时候,我们应当返回吃的苹果还是苹电相关的电子产品呢?还有文章的排序等,这些都是一个良好的搜索平台应该要解决的问题。
部分搜索架构是使用NoSQL,比如MongoDB,它们都能够地非结构化的文章进行快速检索,但NoSQL虽然能够快速检索,但是在实际使用过程中我们会使用到大量的查询聚合计算操作,比如查询某个价格区间等,而且对于索引的实效性要求较高,像MongoDB都不能很好解决这方面问题,部分搜索架构是通过词典,对关键词进行完全匹配,进行纠荀或者意图识别,但基于词典的技术虽然能解决大部分词,但是现在互联网热词,新词层出不穷,很容易出现长尾词,所以需要一种自动化解决方案进行处理,部分搜索架构是对召回的文章进行排序,通过定义计算公式来重新打分,但其人工定义的方法适应性差,完全需要根据经验设置值,当维度越来越多时,会变得难以扩展维护。因此,针对上述问题提出面向汽车垂直领域的搜索平台架构。
发明内容
面向汽车垂直领域的搜索平台架构,包括引擎和人工干预模块,所述引擎内部设置有人工干预模块,所述引擎内部设置有query过滤模块、纠错模块、query拦截模块和query重写链模块,所述引擎内部设置有分析器链模块,所述分析器链模块的输出端的引擎内部设置有策略执行分析模块,所述引擎内部设置有分析器链配置模块,所述策略执行分析模块的输出端的引擎内部设置有信息处理模块,所述引擎内部设置有搜索处理模块,所述引擎内部设置有ES引擎服务模块,所述引擎内部是设置有结果展示模块。
进一步地,所述分析器链模块内部设置有word识别模块、停用词处理模块、地区归一模块、标签归一模块、Sort分析器模块和Filter分析器模块。
进一步地,所述分析器链配置模块输出端加载至分析器链模块内部,所述分析器链模块输出端加载至策略执行分析模块内部。
进一步地,所述策略执行分析模块的输出端加载至信息处理模块内部,所述信息处理模块的输出端加载至ES引擎服务模块内部。
进一步地,所述信息处理模块内部设置有搜索处理器和特征模块。
进一步地,所述搜索处理模块内部设置有搜索处理器配置和Sorter配置。
进一步地,所述ES引擎服务模块的输出端加载至结果展示模块内部,所述结果展示模块内部设置有build结果集、无结果推荐和结果集干预。
进一步地,所述搜索处理器内部设置有queryBuild模块和FilterBuild模块。
进一步地,所述特征模块内部设置有rank离线特征模块和在线特征提取,所述在线特征提取内部设置有位置特征和query相关性点击特征。
进一步地,所述搜索处理器配置的输出端加载至搜索处理器,所述Sorter配置的输出端加载至特征模块内部。
本申请的有益效果是:本申请提供了一种带有信息提取、医患联系提醒功能的医院智能化管理系统。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。
图1为本申请一种实施例的搜索系统架构示意图;
图2为本申请一种实施例的系统框架示意图;
图3为本申请一种实施例的分析器链模块的结构示意图;
图4为本申请一种实施例的搜索处理器的结构示意图;
图5为本申请一种实施例的特征模块的结构示意图;
图6为本申请一种实施例的数据流程示意图。
图中:1、引擎,2、人工干预模块,3、query过滤模块,4、纠错模块,5、query拦截模块,6、query重写链模块,7、分析器链模块,8、分析器链配置模块,9、策略执行分析模块,10、信息处理模块,11、搜索处理模块,12、ES引擎服务模块,13、结果展示模块,14、word识别模块,15、停用词处理模块,16、地区归一模块,17、标签归一模块,18、Sort分析器模块,19、Filter分析器模块,20、搜索处理器,21、queryBuild模块,22、FilterBuild模块,23、特征模块,24、rank离线特征模块,25、在线特征提取,26、位置特征,27、query相关性点击特征,28、搜索处理器配置,29、Sorter配置,30、build结果集,31、无结果推荐,32、结果集干预。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本申请中,术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、“内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申请及其实施例,并非用于限定所指示的装置、元件或组成部分必须具有特定方位,或以特定方位进行构造和操作。
并且,上述部分术语除了可以用于表示方位或位置关系以外,还可能用于表示其他含义,例如术语“上”在某些情况下也可能用于表示某种依附关系或连接关系。对于本领域普通技术人员而言,可以根据具体情况理解这些术语在本申请中的具体含义。
此外,术语“安装”、“设置”、“设有”、“连接”、“相连”、“套接”应做广义理解。例如,可以是固定连接,可拆卸连接,或整体式构造;可以是机械连接,或电连接;可以是直接相连,或者是通过中间媒介间接相连,又或者是两个装置、元件或组成部分之间内部的连通。对于本领域普通技术人员而言,可以根据具体情况理解上述术语在本申请中的具体含义。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
请参阅图1-6所示,面向汽车垂直领域的搜索平台架构,包括引擎1和人工干预模块2,引擎1内部设置有人工干预模块2,引擎1内部设置有query过滤模块3、纠错模块4、query拦截模块5和query重写链模块6,引擎1内部设置有分析器链模块7,分析器链模块7的输出端的引擎1内部设置有策略执行分析模块9,引擎1内部设置有分析器链配置模块8,策略执行分析模块9的输出端的引擎1内部设置有信息处理模块10,引擎1内部设置有搜索处理模块11,引擎1内部设置有ES引擎服务模块12,引擎1内部是设置有结果展示模块13。
分析器链模块7内部设置有word识别模块14、停用词处理模块15、地区归一模块16、标签归一模块17、Sort分析器模块18和Filter分析器模块19,通过word识别模块14、停用词处理模块15、地区归一模块16、标签归一模块17、Sort分析器模块18和Filter分析器模块19配合,基于词典和规则方法,基于词典和规则的方法在搜索中最为常见,好的词典一般能够解决超过80%甚至以上的问题,而准确率也能达到90%甚至以上;分析器链配置模块8输出端加载至分析器链模块7内部,分析器链模块7输出端加载至策略执行分析模块9内部;策略执行分析模块9的输出端加载至信息处理模块10内部,信息处理模块10的输出端加载至ES引擎服务模块12内部;信息处理模块10内部设置有搜索处理器20和特征模块23;搜索处理模块11内部设置有搜索处理器配置28和Sorter配置29;ES引擎服务模块12的输出端加载至结果展示模块13内部,结果展示模块13内部设置有build结果集30、无结果推荐31和结果集干预32;搜索处理器20内部设置有queryBuild模块21和FilterBuild模块22,queryBuild模块21为查询生成模块21;特征模块23内部设置有rank离线特征模块24和在线特征提取25,在线特征提取25内部设置有位置特征26和query相关性点击特征27;搜索处理器配置28的输出端加载至搜索处理器20,Sorter配置29的输出端加载至特征模块23内部。
本申请在使用时,整个系统建立在硬件设备中,先连接ES集群,ES集群可以对查询结果进行缓存,加快查询速度;ElasticSearch(ES)负责数据存储,建立索引并提供查询功能,然后仅能关键词校验,以及部分参数标准化,如翻页,版本号等,接着对查询词进行分词并分析查询意图,先爬虫过滤,再进行关键词纠错,能根据拼音,同义词查询,然后进行意图识别,如识别二手车,新车等,对ES返回的结果进行精排,主要使用LTR等相关机器学习技术,对外提供查询接口,然后进行车型,品牌查询,最后进行分类查询,查询文章,视频等资源,索引和查询:搜索最底使用Lucene作为数据存储引擎,提供分词,建立索引,查询,打分等功能,Lucene是apache软件基金会4jakarta项目组的一个子项目,是一个开放源代码的全文检索引擎工具包,但它不是一个完整的全文检索引擎,而是一个全文检索引擎的架构,提供了完整的查询引擎和索引引擎,部分文本分析引擎(英文与德文两种西方语言),目的是为软件开发人员提供一个简单易用的工具包,以方便的在目标系统中实现全文检索的功能,或者是以此为基础建立起完整的全文检索引擎,主要包括三部分,一是创建索引,二是存储索引,三个查询索引,意图识别:意图识别主要包括:基于词典和规则方法,基于词典和规则的方法在搜索中最为常见,好的词典一般能够解决超过80%甚至以上的问题,而准确率也能达到90%甚至以上,基于机器学习和深度学习,规则和词典的泛化能力不足,召回率达不到预期,用户输入的内容比较复杂,规则和词典难以覆盖,搜索排序:排序学习是一个有监督的机器学习过程,对每一个给定的查询-文档对,抽取特征,通过日志挖掘或者人工标注的方法获得真实数据标注,然后通过排序模型,使得输入能够和实际的数据相似,为中台提供符合restful风格的接口,restful是一种网络应用程序的设计风格和开发方式,基于HTTP,可以使用XML格式定义或JSON格式定义,RESTFUL适用于移动互联网厂商作为业务使能接口的场景,实现第三方OTT调用移动网络资源的功能,动作类型为新增、变更、删除所调用资源。
本申请的有益之处在于:该系统可以根据用户的搜索关键词,能识别出用户的意图,返回相应的车型,文章以及视频等内容,根据业务类型封装相应的数据,保障业务系统的稳定性,当提取接口出现错误时不能影响页面正常的使用,且在维度增多后,人仍然便于维护,在可以快速检索的同时,也能够根据索引的实效性进行关键词匹配,充分利用ES的近实时功能,配合redis的高效查询功能,快速识别短语文本中的汽车相关词汇,分析用户的查询意图,后台再根据意图进行查询,最后对结果进行排序,从而方便用户可以快速准确的找到需要查询的内容,解决了传统的搜索平台的搜索结果较为杂乱无序的问题,提高了用户的检索效率。
涉及到电路和电子元器件和模块均为现有技术,本领域技术人员完全可以实现,无需赘言,本申请保护的内容也不涉及对于软件和方法的改进。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
- 面向汽车垂直领域的搜索平台架构
- 一种面向工业app领域的云平台架构