KY开元·(中国)集团

AI通信大数据行程卡自动识别方法、系统、介质和设备

2026-07-28 00:30

  (71)申请人智诚时空科技,浙江,有限公司地址325000浙江省温州市浙南科技城创新创业新天地1号楼604室

  本申请涉及AI通信大数据行程卡自动识别方法,利用图片检测和文本识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表,文本列表包括文本,基于文本列表获得途径地搜索文本列表,基于途径地搜索文本列表利用智能文字分割引擎提取途径地文本,具体是将搜索文本列表中的文本根据分段规则进行分段,得到若干个子文本,将每串子文本进行分割,分割后的每串字符串均与预设的数据库中的字符串进行差别度比对得到差别度,计算每个子文本的若干串字符串的差别度之和得到差别度结果值,提取数据库中对应最小的差别度结果值的所述若干串字符串作为该子文本识别后的途径地文本,可提高途径地文本提取的成功率和准确度。

  利用图片检测和文本识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表,所述文本列表至少包括文本,

  将所述途径地搜索文本列表中的文本根据分段规则进行分段,得到若干个子文本,

  将每个所述子文本进行分割得到若干串字符串,分割后的每串字符串均与预设的数据库中的字符串进行差别度比对得到差别度,计算每个子文本的若干串字符串的差别度之和得到差别度结果值,其中,所述数据库的字符串包括地区名字符串,

  提取数据库中对应最小的差别度结果值的所述若干串字符串作为该子文本识别后的途径地文本。

  2.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,所述分段规则包括,利用滑行窗对所述待提取文本进行框选分段得到若干个子文本,所述滑行窗的长度=所述预设的数据库中长度最长的字符串+N个字符,所述N为不小于1的整数。

  3.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,所述将每个所述子文本进行分割得到若干串字符串包括,将每串所述子文本进行一次分割,得到两串字符串。

  4.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,所述分割后的每串字符串均与预设的数据库中的字符串进行差别度比较得到差别度包括,计算每串字符串与所述预设的数据库中的字符串的编辑距离得到差别度。

  5.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,若差别度结果值的最小值大于预设值,则不提取所述差别度结果值所对应的数据库的若干字符串作为该子文本识别后的途径地文本。

  6.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,所述途径地搜索文本列表的获取方法包括如下步骤,

  对通行大数据行程卡的图像通过图像处理得到“白色”的信息区,所述信息区内含有手机号、更新日期和途径地的文本信息,识别所述文本信息形成子文本列表,所述子文本列表包括手机号、更新日期和途径地的文本信息以及文本的位置坐标,

  基于所述文本的位置坐标获取所述子文本列表中更新日期下方的文本作为所述途径地搜索文本列表。

  7.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,所述利用图片检测和识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表之后,执行如下步骤,

  对所述文本列表中的每行文本设置文本框,计算文本框长边与图片水平方向的夹角A,如果夹角A大于45°,则不参与后续的文本提取,

  对所述文本列表中的每行文本设置文本框,利用每条文本的文本框左上角的坐标,按从上到下,从左到右的顺序对文本列表的文本进行重新排序。

  8.根据权利要求1所述的AI通信大数据行程卡自动识别方法,其特征在于,所述文本列表还包括文本所在文本框四个顶点的位置坐标,基于所述文本列表提取手机号码,手机号码的提取方法包括如下步骤,

  遍历所述文本列表,取文本列表中的汉字文本,计算汉字文本和文本“的动态行程卡”的编辑距离,如果编辑距离小于2,且文本的位置坐标在图像的上半部,则将该行文本定为候选文本,取文本列表中的数字文本,如果连续最长数字的数量大于4个,且文本中数字的总数量小于12个,则也列为候选文本,

  如果数字文本的数字数量大于6个并且小于12个,且数字的第一位是1,则取数字文本的前3个和后4个数字,中间用“****”隔开,作为最终的手机号码,

  如果数字文本的数字数量大于3个并且小于7个,则使用文本框的位置坐标进行判断,若所述文本框的左侧有3个数字,且首位数字为1,则该3个数字和右侧的后4个数字加上中间的“****”组成手机号码,

  9.根据权利要求1或8所述的AI通信大数据行程卡自动识别方法,其特征在于,所述文本列表还包括文本所在文本框四个顶点的位置坐标,基于所述文本列表提取更新日期,更新日期的提取方法包括如下步骤,

  遍历所述更新日期的搜索文本列表,在文本的连续最长数字的数量大于4个,且数字的总量为13个或14个的情况下,如果文本中非数字部分和文本“更新于,”的编辑距离小于2,则直接认定该文本为更新日期信息,否则将文本作为候选添加到候选列表中,

  遍历候选列表,如果数字的总量为13个,则在最后添加0,再转化为时间格式,将转换后的时间和当前时间作对比,如果时间差在24小时以内,则认为提取到了正确的时间,否则表示更新时间获取失败,不再进行后续的信息提取。

  10.根据权利要求9所述的AI通信大数据行程卡自动识别方法,其特征在于,

  先判断所述文本列表中是否含有文本“请收下绿色行程卡”,若文本的匹配度在预设值以上,且所述文本的位置坐标在手机号码的位置坐标之上,则确定行程码颜色为绿色,否则继续判断,

  基于文本的位置坐标,若在更新日期和途经地之间识别到单个的文本“个”或“T” ,则认为是绿码,否则继续判断,

  11 .根据权利要求10所述的AI通信大数据行程卡自动识别方法,其特征在于,所述识别所述图像包括如下步骤,

  最后去除圆形轮廓,找周长在预设范围内的轮廓,调用Opencv函数获取所述轮廓的近似多边形和所述近似多边形的凸包,找到凸包中边长数在3和6之间且凸包内的近似多边形有多余的两条边,则判断该外接多边形就是箭头“↑”。

  图像识别模块,用于利用图片检测和识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表,所述文本列表至少包括文本,

  途径地搜索文本列表获取模块,用于基于所述文本列表获得途径地搜索文本列表,

  途径地文本提取模块,用于基于所述途径地搜索文本列表利用智能文字分割引擎提取途径地文本,所述利用智能文字分割引擎提取途径地文本包括如下步骤,

  将所述途径地搜索文本列表中的文本根据分段规则进行分段,得到若干个子文本,

  将每个所述子文本进行分割得到若干串字符串,分割后的每串字符串均与预设的数据库中的字符串进行差别度比对得到差别度,计算每个子文本的若干串字符串的差别度之和得到差别度结果值,其中,所述数据库的字符串包括地区名字符串,

  提取数据库中对应最小的差别度结果值的所述若干串字符串作为该子文本识别后的途径地文本。

  13.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述计算机程序被调用时执行权利要求1至11任一项所述的AI通信大数据行程卡自动识别方法。

  14.一种计算机设备,包括存储器和处理器,所述存储器用于存储计算机程序,其特征在于,所述计算机程序被所述处理器调用时执行权利要求1至11任一项所述的AI通信大数据行程卡自动识别方法。

  [0001] 本申请涉及图像识别的技术领域,尤其是涉及AI通信大数据行程卡自动识别方法、系统、介质和设备。

  [0002] 传染病以来,为帮助大家便捷地证明自己的行程,提高企业、社区、交通部门等机构的行程查验工作效率,利用中国电信、中国联通、中国移动三家基础电信企业的通信大数据,由工信部中国信通院联合三大运营商,在政务服务平台上推出的疫情防控通信大数据行程卡,为全国16亿手机用户提供行程查询服务。支持一键查询14天内到访国家,地区,和国内城市,驻留超过4小时, 。

  [0003] 通过查看和筛选个人的动态行程卡信息来限制途经中高风险地区人群行程的方法,已经被全国多地区和单位所使用。

  [0004] 然而人工查看不仅增加防疫工作量,而且查看的人员需要与每个被查看的人员密切接触,一旦其中有感染者,很容易造成交叉感染。

  [0005] 目前,普通用户常用的方法是利用手机截取行程卡的截图发送到行程卡采集的服务端,虽然手机截图可以保证图片的清晰度,减少信息提取的难度,但在一些网络安全要求高,无法接入通信大数据行程数据服务的情况下要获取用户的通信大数据行程卡信息,就无法使用简单的方法将截图发送到服务端。例如,通过安装APP的方法会导致整个流程冗长,效率很低。所以,较为简单的方法是采用摄像机来拍摄手机屏幕,然后获取通信大数据行程卡的信息。但是这种方法存在的问题是,摄像机本身所处的环境以及用户放置手机的姿态不规范等因素会导致拍摄出来的图片可能存在不清晰、信息缺失等问题。

  [0006] 目前没有针对通行大数据行程卡图片中的信息进行提取的现有产品或技术。如果直接使用OCR模型提取信息,一方面由于OCR模型只能输出识别出的文本和文本位置,无法直接得到大数据行程卡中手机号、更新日期、途经地、颜色等结构化信息,另一方面,由于拍摄环境等因素的影响,OCR模型识别存在漏识别、错识别的问题,从而导致行程码结构化信息提取的成功率和准确度都较低,因此,发明人认为亟需解决这个问题。

  [0007] 为了提高行程码信息提取的成功率和准确度,本申请提供AI通信大数据行程卡自动识别方法、装置、介质和设备。

  [0008] 第一方面,本申请提供的AI通信大数据行程卡自动识别方法采用如下的技术方案,

  利用图片检测和文本识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表,所述文本列表至少包括文本,

  基于所述途径地搜索文本列表利用智能文字分割引擎提取途径地文本,包括如下步骤,

  将所述途径地搜索文本列表中的文本根据分段规则进行分段,得到若干个子文本,

  将每个所述子文本进行分割得到若干串字符串,分割后的每串字符串均与预设的数据库中的字符串进行差别度比对得到差别度,计算每个子文本的若干串字符串的差别度之和得到差别度结果值,其中,所述数据库的字符串包括地区名字符串,

  提取数据库中对应最小的差别度结果值的所述若干串字符串作为该子文本识别后的途径地文本。

  [0009] 通过以上的技术方案,采用OCR模型或者其它的图片检测和识别模型对图像进行识别得到文本列表,根据途径地文本在行程卡的位置,缩小文本范围,得到途径地搜索文本列表,但由于搜索文本列表中的途径地文本信息可能很长,因此先预设存储有地区名字符串的数据库,采用分段规则对途径地搜索文本列表中的文本进行分段,得到若干个子文本,对于分段得到的每个子文本再进行分割,得到多种分割结果,对分割后的每串字符串分别计算与数据库中的地区名字符串的差别度,将一个子文本的所有字符串对应的差别度进行求和得到差别度结果值,如果差别度结果值最小,说明与数据库中的字符串的匹配度越高,因此,提取数据库中对应最小的差别度结果值字符串作为该子文本识别后的途径地文本,这个过程中,对子文本中存在漏字或者错字的情况,可以被自动纠正过来,可解决通用OCR 模型文字识别错误和无法提取结构化信息的问题,进而可提高途径地文本提取的成功率和准确度。

  [0010] 结合第一方面,在第一方面的某些实现方式中,所述分段规则包括,利用滑行窗对所述待提取文本进行框选分段得到若干个子文本,所述滑行窗的长度=所述预设的数据库中长度最长的字符串+N个字符,所述N为不小于1的整数。

  [001 1] 通过以上技术方案,设定滑行窗的长度,能确保将城市名完整地框选,使得分段出来的子文本能体现完整的城市名。

  [0012] 结合第一方面,在第一方面的某些实现方式中,所述将每个所述子文本进行分割得到若干串字符串包括,将每串所述子文本进行一次分割,得到两串字符串。

  [0013] 通过以上的技术方案,通过一次分割,得到两串字符串,可以得到最小的差别度结果值一次分割方案,该分割方案分割出来的字符串即为完整的途径地文本,实现较少分割次数得到局部最优的划分结果。

  [0014] 结合第一方面,在第一方面的某些实现方式中,所述分割后的每串字符串均与预设的数据库中的字符串进行差别度比较得到差别度包括,计算每串字符串与所述预设的数据库中的字符串的编辑距离得到差别度。

  [0015] 通过以上的技术方案,衡量差别度采用计算每串字符串与所述预设的数据库中的字符串的编辑距离,可以快速得到差别度的数值,差别度即编辑距离的值,编辑距离越小,说明书两个字符串的相似度越大。

  [0016] 结合第一方面,在第一方面的某些实现方式中,数据库还包括每个字符串出现过的频率,若与数据库中的字符串的编辑距离相同的城市字符串有多个,则选取频率高的字符串作为最小编辑距离的字符串。

  [0017] 通过以上的技术方案,当途径地搜索文本列表中的文本出现错字时,则可能出现与数据库中的字符串的编辑距离相同的地区名字符串有多个,这时选取频率高的字符串作为最小编辑距离的字符串,可以得到较为准确的途径地文本。

  [0018] 结合第一方面,在第一方面的某些实现方式中,若差别度结果值的最小值大于预设值,则不提取所述差别度结果值所对应的数据库的若干字符串作为该子文本识别后的途径地文本。

  [0019] 通过以上的技术方案,由于文本中可能包含非地区名的文本,例如“您于前14天内到达或途经,北京市”中的“您于前14天内到达或途经,”属于非地区名的文本,因此,设定预设值,可以将此类文本进行识别并剔除,进而减少进一步分析的文本数量。

  [0020] 结合第一方面,在第一方面的某些实现方式中,所述途径地搜索文本列表的获取方法包括如下步骤,

  对通行大数据行程卡的图像通过图像处理得到“白色”的信息区,所述信息区内含有手机号、更新日期和途径地的文本信息,识别所述文本信息形成子文本列表,所述子文本列表包括手机号、更新日期和途径地的文本信息以及文本的位置坐标,

  基于所述文本的位置坐标获取所述子文本列表中更新日期下方的文本作为所述途径地搜索文本列表。

  [0021] 通过以上的技术方案,由于行程卡中真正需要被提取的有用信息均在“白色”的信息区内,因此,获取“白色”的信息区内的文本信息,可以解决途径地文本无法判断文字结尾的问题。还可减少分析其它无用的文本信息,进而提高有用信息的提取效率,更新日期下方的文本即为途径地文本,可快速定位到途径地文本。

  [0022] 结合第一方面,在第一方面的某些实现方式中,按顺序拼接所述搜索文本列表中的所有文本。

  [0023] 通过以上的技术方案,由于图片检测和识别模型识别出来的文本不是串起来的,而是分为很多条文本,每条文本带有位置坐标,因此,需要将文本进行按顺序拼接,形成一连串的文本,才能进行下一步的文本处理。

  [0024] 结合第一方面,在第一方面的某些实现方式中,所述文本列表还包括每条文本的置信度,如果文本列表中出现置信度小于0.8的文本,则直接返回失败。

  [0025] 通过以上的技术方案,置信度低于0.8,说明文字识别结果不可靠,该识别结果不可用。

  [0026] 结合第一方面,在第一方面的某些实现方式中,如果搜索文本列表中首行文本数小于10,则去除。

  [0027] 通过以上的技术方案,如果搜索文本列表中首行文本数小于10,则去除该文本,可避免中间的箭头被识别成文字。

  [0028] 结合第一方面,在第一方面的某些实现方式中,所述利用图片检测和识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表之后,执行如下步骤,

  [0029] 通过以上的技术方案,如果识别到的文本条数小于3,说明用户的手机放反了,所拍摄到的行程卡图像是反的,因此,需要将文本列表旋转180°。

  [0030] 结合第一方面,在第一方面的某些实现方式中,所述利用图片检测和识别模型对

  对所述文本列表中的每行文本设置文本框,计算文本框长边与图片水平方向的夹角A,如果夹角A大于45° ,则不参与后续的文本提取。

  [0031] 通过以上的技术方案,如果夹角大于45° ,则认为是错向文字,错向文字不参与后续的文本提取。

  [0032] 结合第一方面,在第一方面的某些实现方式中,所述利用图片检测和识别模型对通行大数据行程卡的图像进行识别,至少得到文本列表之后,执行如下步骤,

  对所述文本列表中的每行文本设置文本框,利用每条文本的文本框左上角的坐标,按从上到下,从左到右的顺序对文本列表的文本进行重新排序。

  [0033] 通过以上的技术方案,由于搜索文本列表中的文本存在可能出现排序不正确的情况,而文本的位置坐标是正确的,因此,可以根据其位置坐标将该文本调换到正确的位置,进而可以得到正确的文本列表。

  [0034] 结合第一方面,在第一方面的某些实现方式中,基于所述文本列表和所述图像识别行程码颜色,包括如下步骤,

  先判断所述文本列表中是否含有文本“请收下绿色行程卡”,若文本的匹配度在预设值以上,且所述文本的位置坐标在手机号码的位置坐标之上,则确定行程码颜色为绿色,否则继续判断,

  基于文本的位置坐标,若在更新日期和途经地之间识别到单个的文本“个”或“T” ,则认为是绿码,否则继续判断,

  [0035] 通过以上的技术方案,只有绿色的行程卡才有“请收下绿色行程卡”的文本,而鉴于拍摄到的图像可能出现反光或者缺字等问题,若文本的匹配度在预设值以上,且所述文本的位置坐标在手机号码的位置坐标之上,即可认为行程卡的颜色为绿色,由于只有绿色行程卡带有箭头“↑”,因此,如果能够在文本中识别到单个的文本“个”或“T”,且该文本位于更新日期和途经地之间,则可以认为行程卡的颜色为绿色,或者如果能够在图像中识别到箭头“↑” ,则也可以认为行程卡的颜色为绿色,通过提供多种行程卡颜色的识别方式,可以更加准确地识别出行程卡的颜色是绿色还是非绿色,而不会因为图像存在某方面的缺陷就无法得到识别的结果。

  [0036] 结合第一方面,在第一方面的某些实现方式中,所述识别所述图像包括如下步骤,

  最后去除圆形轮廓,找周长在预设范围,像素数为300至2000,内的轮廓并获取该轮廓的外接多边形,获取所述外接多边形的凸包,找到凸包中边长数在3和6之间且凸包内的外接多边形有多余的两条边,则判断该外接多边形就是箭头“↑”。

  [0037] 通过以上的技术方案,将图片信息转化为hsv颜色空间并设置mask将非绿色转化为黑色,相当于只提取绿色的部分,可减少其它颜色对边缘检测的干扰,接着进行二值化和高斯模糊处理,可减少噪声干扰,最后进行腐蚀和膨胀,可减少细小裂纹,增大边缘联通。

  [0038] 结合第一方面,在第一方面的某些实现方式中,所述文本列表还包括文本所在文本框四个顶点的位置坐标,基于所述文本列表提取手机号码,手机号码的提取方法包括如下步骤,

  遍历所述文本列表,取文本列表中的汉字文本,计算汉字文本和文本“的动态行程卡”的编辑距离,如果编辑距离小于2,且文本的位置坐标在图像的上半部,则将该行文本定为候选文本,取文本列表中的数字文本,如果连续最长数字的数量大于4个,且文本中数字的总数量小于12个,则也列为候选文本,

  如果数字文本的数字数量大于6个并且小于12个,且数字的第一位是1 ,则取数字文本的前3个和后4个数字,中间用“****”隔开,作为最终的手机号码,

  如果数字文本的数字数量大于3个并且小于7个,则使用文本框的位置坐标进行判断,若所述文本框的左侧有3个数字,且首位数字为1,则该3个数字和右侧的后4个数字加上中间的“****”组成手机号码,

  [0039] 通过以上的技术方案, (1)汉字文本和文本“的动态行程卡”的编辑距离小于2,且汉字文本的位置坐标在图像的上半部,可直接将该行文本作为候选文本, (2)模型在识别过程中,由于拍摄的图像质量问题,可能将“****”识别为数字,因此,将连续最长数字大于4 ,且文本中数字的总数量小于12个的情况列为手机号码的候选文本, (3)如果数字文本的数字数量大于6个并且小于12个,说明文本符合手机号码的数字数量,如果首位数字是1,则可以判断该文本为手机号码,但实际上行程卡上的手机号码的前三位和后四位之间并不是数字,而是四颗星“****” ,因此,将中间的四位数字替换成四颗星“****” ,进而得到正确的行程卡手机号码。 (4)如果数字文本的数字数量大于3个并且小于7个,则可能数字文本只包含手机号码的后4位,前3位可能在该文本的左侧,则使用文本框的位置坐标进行判断,若所述文本框的左侧有3个数字,且首位数字为1 ,则该3个数字和右侧的后4个数字加上中间的“****”组成手机号码。

  [0040] 结合第一方面,在第一方面的某些实现方式中,所述文本列表还包括文本所在文本框四个顶点的位置坐标,基于所述文本列表提取更新日期,更新日期的提取方法包括如下步骤,

  遍历所述更新日期的搜索文本列表,在文本的连续最长数字的数量大于4个,且数字的总量为13个或14个的情况下,如果文本中非数字部分和文本“更新于,”的编辑距离小于2,则直接认定该文本为更新日期信息,否则将文本作为候选添加到候选列表中,

  遍历候选列表,如果数字的总量为13个,则在最后添加0,再转化为时间格式,所有将转换后的时间和当前时间作对比,如果时间差在24小时以内,则认为提取到了正确的时间,否则表示更新时间获取失败,不再进行后续的信息提取。

  [0041] 通过以上的技术方案,由于更新日期可能存在缺少最后一位的情况,采取在最后一位添加0的做法补齐更新日期,由于行程卡的更新时间有时效性,24小时内的行程可以认为是有效的,所以将所有转换后的时间和当前时间作对比,如果时间差在24小时以内,则认为提取到了正确的时间,采用这种方法可以解决更新日期缺少最后一位的问题。

 谷歌地图 百度地图