食品包装生产日期识别方法、装置及存储介质与流程

本发明涉及图像识别领域，特别是食品包装生产日期识别方法、装置及存储介质。

背景技术：

食品包装生产日期识别对于食品生产安全至关重要。过往通过工人人眼检测，检测效率慢且工人容易疲劳并产生错误。由于生产日期识别的背景复杂，变化多样，极大增加了场景文本识别的难度。首先生产日期识别是在食品在传输带上运输的过程中进行的，此时拍摄的图像容易因运动产生模糊；另外食品包装袋上的生产日期由于印刷以及其他干扰，会导致出现不同程度的印刷倾斜。传统的场景文本识别一般需要经过边缘检测，膨胀腐蚀和联通区域检测三个过程，但对拥有复杂背景的文本的检测识别效果差，局限于识别较为简单背景的文本。

技术实现要素：

本发明的目的在于至少解决现有技术中存在的技术问题之一，提供食品包装生产日期识别方法、装置及存储介质。

本发明解决其问题所采用的技术方案是：

本发明的第一方面，食品包装生产日期识别方法，包括以下步骤：

输入包含生产日期的原始图像；

提取所述原始图像的第一特征图；

对所述原始图像进行去模糊处理得到清晰图像；

提取所述清晰图像的第二特征图；

将所述第一特征图与所述第二特征图进行特征融合得到融合特征图；

将所述第二特征图进行倾斜文本校正处理得到角度校正图像；

提取所述角度校正图像的校正特征图；

将所述融合特征图和所述校正特征图拼接得到拼接特征图；

对所述拼接特征图进行场景文本识别处理得到识别结果。

根据本发明的第一方面，食品包装生产日期识别方法，还包括以下步骤：通过整体损失函数优化，其中所述整体损失函数如下：lglobal＝λ1ldeblur+λ2lrotate+λ3lr；其中，ldeblur，lrotate，lr分别是去模糊处理中的第一损失函数、倾斜文本校正处理中的第二损失函数和场景文本识别处理中的第三损失函数，λ1，λ2，λ3均是权衡参数。

根据本发明的第一方面，所述对原始图像进行去模糊处理得到清晰图像包括以下步骤：

将所述原始图像缩放得到缩放图像；

将所述缩放图像经过卷积层和残差层处理，再经过编码器处理得到第一隐藏状态；

将所述第一隐藏状态经过解码器处理，再经过残差层和反卷积层处理得到锐化图像；

将经过上采样处理的所述锐化图像和所述原始图像连接后作为输入，经过卷积层和残差层处理，再经过编码器处理得到第二隐藏状态；

将所述第二隐藏状态和所述第一隐藏状态连接后，经过解码器处理，再经过残差层和反卷积层处理得到清晰图像。

根据本发明的第一方面，所述将第二特征图进行倾斜文本校正处理得到角度校正图像包括以下步骤：

将所述第二特征图经过卷积层处理；

在经卷积层处理处理的第二特征图上生成多个锚点；

以每个所述锚点为中心生成k个相对水平方向具有不同倾斜角度的锚点候选框，其中所述锚点候选框具有四个参数，所述四个参数分别为中心坐标的横坐标、中心坐标的纵坐标、宽和高；

将所述锚点候选框经过分类层和回归层处理得到角度校正图像。

根据本发明的第一方面，所述将第一特征图与第二特征图进行特征融合得到融合特征图包括以下步骤：

将所述第一特征图与所述第二特征图调整为相同的尺寸；

将尺寸相同的第一特征图和第二特征图拼接；

利用卷积核对拼接后的特征图进行特征提取得到融合特征图。

根据本发明的第一方面，所述场景文本识别处理包括文本候选框生成处理、文本候选框定位识别处理和文本行识别处理。

本发明的第二方面，食品包装生产日期识别装置，包括：

图像输入单元，用于输入包含生产日期的原始图像；

第一特征提取单元，用于提取所述原始图像的第一特征图；

去模糊单元，用于对所述原始图像进行去模糊处理得到清晰图像；

第二特征提取单元，用于提取所述清晰图像的第二特征图；

特征融合单元，用于将所述第一特征图与所述第二特征图进行特征融合得到融合特征图；

倾斜文本校正单元，用于将所述第二特征图进行倾斜文本校正处理得到角度校正图像；

第三特征提取单元，用于提取所述角度校正图像的校正特征图；

特征拼接单元，用于将所述融合特征图和所述校正特征图拼接得到拼接特征图；

场景文本识别单元，用于对所述拼接特征图进行场景文本识别处理得到识别结果。

本发明的第三方面，存储介质存储有可执行指令，所述可执行指令用于使计算机执行如本发明第一方面所述的食品包装生产日期识别方法。

上述技术方案至少具有以下的有益效果：对包含生产日期的原始图像进行去模糊处理和倾斜文本校正处理，减少干扰；以及对不同的特征图进行融合或拼接，使提取的特征图不失真，从而提高生产日期的识别准确率。

本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

附图说明

下面结合附图和实例对本发明作进一步说明。

图1是本发明实施例食物包装生产日期识别方法的流程图；

图2是图1中步骤s300的原理图；

图3是本发明实施例食物包装生产日期识别装置的结构图。

具体实施方式

本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。

在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。如果有描述到第一、第二只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。

本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。

参照图1，本发明的第一实施例，提供了食品包装生产日期识别方法，包括以下步骤：

步骤s100、输入包含生产日期的原始图像；

步骤s200、提取原始图像的第一特征图；

步骤s300、对原始图像进行去模糊处理得到清晰图像；

步骤s400、提取清晰图像的第二特征图；

步骤s500、将第一特征图与第二特征图进行特征融合得到融合特征图；

步骤s600、将第二特征图进行倾斜文本校正处理得到角度校正图像；

步骤s700、提取角度校正图像的校正特征图；

步骤s800、将融合特征图和校正特征图拼接得到拼接特征图；

步骤s900、对拼接特征图进行场景文本识别处理得到识别结果。

在该实施例中，拍摄的包含生产日期的原始图像由于在传输带上快速运动的原因会模糊，以及印刷问题和其他因素影响导致的印刷倾斜问题。对原始图像进行去模糊处理和倾斜文本校正处理，减少干扰；以及对不同的特征图进行融合或拼接，使提取的特征图不失真，从而提高生产日期的识别准确率。

进一步，食品包装生产日期识别方法，还包括以下步骤：

通过整体损失函数优化，其中整体损失函数如下：lglobal＝λ1ldeblur+λ2lrotote+λ3lr；其中，ldeblur，lrotate，lr分别是去模糊处理中的第一损失函数、倾斜文本校正处理中的第二损失函数和场景文本识别处理中的第三损失函数，λ1，λ2，λ3均是权衡参数。

虽然在去模糊处理、倾斜文本校正处理和场景文本识别处理的过程中会分别产生第一损失函数、第二损失函数和第三损失函数用于预测结果值与真实值的差距，但每个处理的单独优化难以达到整体优化的效果，通过定义一个整体损失函数对整个食品包装生产日期识别过程进行优化，达到整体优化的效果。

参照图2，进一步，步骤s300对原始图像进行去模糊处理得到清晰图像包括以下步骤：

步骤s310、将原始图像缩放得到缩放图像；

步骤s320、将缩放图像经过卷积层和残差层处理，再经过编码器处理得到第一隐藏状态；

步骤s330、将第一隐藏状态经过解码器处理，再经过残差层和反卷积层处理得到锐化图像；

步骤s340、将经过上采样处理的锐化图像和原始图像连接后作为输入，经过卷积层和残差层处理，再经过编码器处理得到第二隐藏状态；

步骤s350、将第二隐藏状态和第一隐藏状态连接后，经过解码器处理，再经过残差层和反卷积层处理得到清晰图像。

需要说明的是，能将原始图像缩放得到多个缩放图像；对每一个缩放图像均经过卷积层和残差层处理，再经过编码器处理得到隐藏状态，该隐藏状态用于与下一层的隐藏状态连接。将该隐藏状态经过解码器处理，再经过残差层和反卷积层处理得到锐化图像；该锐化图像经过上采样处理后，用于和下一层的输入图像连接后作为最终输入。经过多层处理使得到的清晰图像具有更高的清晰度，使模糊图像得到更优的还原。

另外，在去模糊处理的过程中，通过第一损失函数对该过程进行优化。第一损失函数具体为：其中，ni为第i个层上图像的像素个数，是对清晰图像使用双线插值法下采样得到的与第i层缩放图像同样尺寸大小的图像。

进一步，步骤s500将第一特征图与第二特征图进行特征融合得到融合特征图包括以下步骤：

步骤s510、将第一特征图与第二特征图调整为相同的尺寸，其中第一特征图的原始尺寸为(h1，w1，c1)，第二特征图的原始尺寸为(h2，w2，c2)，调整后的高为h＝max(h1，h2)，宽为w＝max(w1，w2)；

步骤s520、将尺寸相同的第一特征图和第二特征图拼接，得到尺寸大小为(h，w，c1+c2)的特征图；

步骤s530、利用卷积核对拼接后的特征图进行特征提取得到融合特征图，其中融合特征图标识为其中wcf为特征提取时需要学习的参数。

进一步，步骤s600将第二特征图进行倾斜文本校正处理得到角度校正图像包括以下步骤：

步骤s610、将第二特征图经过卷积层处理；

步骤s620、在经卷积层处理处理的第二特征图上生成多个锚点；

步骤s630、以每个锚点为中心生成k个相对水平方向具有不同倾斜角度的锚点候选框，其中锚点候选框具有四个参数，四个参数分别为中心坐标的横坐标、中心坐标的纵坐标、宽和高；

步骤s640、将锚点候选框经过分类层和回归层处理得到角度校正图像。

在该实施例中，在锚点候选框经过分类层后，会产生2k个参数，经过回归层后，会产生5k个参数。每个锚点候选框通过分类层会得到两个输出，分别为目标文本的概率和背景的概率；通过回归层可得到四个参数的偏移量，用于调整产生的锚点候选框与实际框的差距，最终从k个锚点候选框得到与实际框最接近的最终预测框。

另外，在倾斜文本校正处理的过程中，通过第二损失函数对该过程进行优化。第二损失函数具体为：lrotate＝lcls(p，l)+λlreg(v^*，v)；lcls(p，l)＝-log(pt)；v^*为锚点候选框的四个参数和倾斜角所组成的参量；v为融合特征图中的最终预测框的四个参数和倾斜角所组成的参量。另外，λ用于控制第二损失函数在锚点候选框内包含目标文本时才计算回归损失，在不包含目标时不计算回归损失，因此λ的取值为0或1。第二损失函数里分别是利用softmax函数计算出来的属于目标和非目标的概率。

进一步，场景文本识别处理包括文本候选框生成处理、文本候选框定位识别处理和文本行识别处理。场景文本识别处理为现有常用技术，在此不再详述。

参照图3，本发明的第二实施例，食品包装生产日期识别装置，能执行本发明的第一实施例的食品生产日期识别方法，包括：

图像输入单元10，用于输入包含生产日期的原始图像；

第一特征提取单元20，用于提取原始图像的第一特征图；

去模糊单元30，用于对原始图像进行去模糊处理得到清晰图像；

第二特征提取单元40，用于提取清晰图像的第二特征图；

特征融合单元50，用于将第一特征图与第二特征图进行特征融合得到融合特征图；

倾斜文本校正单元60，用于将第二特征图进行倾斜文本校正处理得到角度校正图像；

第三特征提取单元70，用于提取角度校正图像的校正特征图；

特征拼接单元80，用于将融合特征图和校正特征图拼接得到拼接特征图；

场景文本识别单元90，用于对拼接特征图进行场景文本识别处理得到识别结果。

本发明的第三实施例，存储介质存储有可执行指令，可执行指令用于使计算机执行如本发明的第一个实施例的食品包装生产日期识别方法。

以上，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。