欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

C++ OpenCV技术实战之身份证离线识别

程序员文章站 2022-03-13 19:36:35
目录总体思路图像的预处理主要代码实现效果opencv身份证离线识别技术的主要技术就是通过opencv找到身份证号码区域,然后通过ocr进行数字识别该区域的截图即可得到身份证号码。本地orc使用tess...

opencv身份证离线识别技术的主要技术就是通过opencv找到身份证号码区域,然后通过ocr进行数字识别该区域的截图即可得到身份证号码。本地orc使用tess-two来完成,tesseract是c++实现的ocr引擎,在android中使用不是很方便,需要封装javaapi才能在android平台中进行调用,然而tess-two已经帮我们做好了这些事情,通过集成tess-two就可以很方便的完成文字识别。

总体思路

C++ OpenCV技术实战之身份证离线识别

图像的预处理

1、无损压缩

首先要处理的问题就是图片的大小不一样,因为每台设备的的像素或者说每个图片的大小本身都不一样,处理过程也会有所差异,所以首先解决的问题就是大小统一,先通过无损压缩把图片处理为大小一致的图像。根据经验值(或者说这是处理证件类的通用手法),先把图像处理为640×400的大小。

2、灰度化

现在大部分的彩色图像都是采用rgb颜色模式,处理图像的时候,要分别对rgb三种分量进行处理,实际上rgb并不能反映图像的形态特征,只是从光学的原理上进行颜色的调配。图像灰度化处理可以作为图像处理的预处理步骤,为之后的图像分割、图像识别和图像分析等上层操作做准备。

其实可以仔细想想,如果是处理一张rgb图像的话,一个像素点需要同时处理3个值,灰度化之后只需要处理一个值。如果是对比的话,一个rgb像素点就有256×256×256种可能,但是如果是对比灰度图的像素点,则只有256种可能,65536倍的速度提升,所以很多时候做其他图像处理之前,先转化为灰度图。

图像灰度化处理有分量法、最大值法、平均值法、加权平均法,其中用得较多的是加权平均法。由于人眼对绿色的敏感最高,对蓝色敏感最低,因此,按下式对rgb三分量进行加权平均能得到较合理的灰度图像:

C++ OpenCV技术实战之身份证离线识别

3、图像二值化

通过以上对彩色图片进行灰度化以后,把获取到的灰度图像进行二值化处理。对于二值化,其目的是将目标用户背景分类,为后续车道的识别做准备。灰度图像二值化最常用的方法是阈值法,他利用图像中目标与背景的差异,把图像分别设置为两个不同的级别,选取一个合适的阈值,以确定某像素是目标还是背景,从而获得二值化的图像。比如以100为阈值对图像进行二值化操作:

f(i, j) = \left{\begin{array}{cc} 0, & (\text { gray }< = 100) \ 255, & (\text { gray }>100) \end{array}\right.

4、膨胀与腐蚀

膨胀与腐蚀属于图像处理中最基本的形态学运算,形态学操作就是基于形状的一系列图像处理操作。opencv为进行图像的形态学变换提供了快捷且方便的函数。主要用于噪声消除、分割出独立的图像元素、在图像中连接相邻的元素、寻找图像中的明显的极大值区域或极小值区域、求出图像的梯度。

简单理解,膨胀就是求局部最大值的操作。腐蚀就是求局部最小值的操作。在处理身份证的时候,我们希望把身份证号码等数字区域连接在一起,即在图像中连接相邻的元素,所以需要使用膨胀处理,就跟蒸馒头的酵母粉一样,可以是我们想要的元素膨胀并且黏合在一起。

5、轮廓检测与图像分割

通过图像的膨胀操作,身份证号码区域已经被连接在一起了,目前需要做的事情就是检测出该区域的轮廓,使用拉普拉斯算子可以完成这个操作,opencv内部也提供了findcontours函数做轮廓检测。

那么如何分割出身份证号码区域呢?其实有一个非常简单的思路,由于身份证号码是一串不换行的数字,宽高比通常是大于9:1的,而且是位于最后一行的,如果有其他的部分的宽高比大于9:1但是却不是位于最后,那么也不能认为是身份证号码,只有坐标是最底部,而且宽高比满足大于9:1的条件才可以。

主要代码

vs2022 + opencv4.5.4

#include <iostream>
#include <opencv2/opencv.hpp>
#include <vector>

#define default_card_width 640
#define default_card_height 400

#define fix_idcard_size size(default_card_width, default_card_height)

#define fix_template_size size(153, 28)

using namespace std;
using namespace cv;

int main() {
    std::cout << "hello, world!" << std::endl;
    mat src = imread("src.png");
    imshow("src", src);

    //处理身份证
    mat src_img = src;
    //1、无损压缩 640*400 (通用卡片类的处理方式)
    resize(src_img, src_img, fix_idcard_size);
    imshow("dst", src_img);
    
    mat dst_img;
    //2、灰度化
    mat dst;
    cvtcolor(src_img, dst, color_bgr2gray);
    imshow("gray", dst);
    
    //3、二值化(降噪)
    threshold(dst, dst, 100, 255, thresh_binary);
    imshow("threshold", dst);
    
    // 4.1 腐蚀、膨胀
    mat erodeelement = getstructuringelement(morph_rect, size(20, 10));
    erode(dst, dst, erodeelement);
    imshow("erode", dst);

    //4、轮廓检测,把所有的连续的闭包用矩形包起来
    /*
     * 一个矩形用两个点表示,contours就包含了很多矩形
     */
    vector<vector<point>> contours;
    vector<rect> rects;
    
    findcontours(dst, contours, retr_tree, chain_approx_simple, point(0, 0));
    
    for (size_t i = 0; i < contours.size(); i++)
    {
        // 基于两点构建矩形
        rect rect = boundingrect(contours.at(i));
        // 绘制矩形
        rectangle(dst, rect, scalar(0, 0, 255));
        imshow("contours", dst);
        // 对符合条件的图片进行筛选,宽高比大于1:9的
        if(rect.width > rect.height*9)
        {
            cout << "找到了" << endl;
            rects.push_back(rect);
            rectangle(dst, rect, scalar(0, 0, 255));
    
            // 还需要再次矫正
            //dst_img = src_img(rect);
        }
    }
    
    // imshow("dst_img", dst_img);
    
    // 如果只找到了一个矩形,说明这个就是,如果多个就找出纵坐标最低的矩形
    if(rects.size() == 1)
    {
        rect rect = rects.at(0);
        dst_img = src_img(rect);
    }else
    {
        int lowpoint = 0;
        rect finalrect;
    
        for (size_t i = 0; i < rects.size(); ++i)
        {
            rect rect = rects.at(i);
            point p = rect.tl();
            if(rect.tl().y > lowpoint)
            {
                lowpoint = rect.tl().y;
                finalrect = rect;
            }
        }
    
        rectangle(dst, finalrect, scalar(255, 255, 0));
        dst_img = src_img(finalrect);
    }
    
    
    imshow("dst_img", dst_img);
    waitkey();
    return 0;
}

cmakelist.txt

cmake_minimum_required (version 3.8)

project(opencv_idcard)

set(cmake_cxx_standard 11)

add_executable (opencv_idcard "opencv_idcard.cpp" )

set(opencv_dir "d:/develop/opencv-4.5.4/opencv-4.5.4-build")

find_package(opencv required)

include_directories(${opencv_include_dirs})

target_link_libraries(opencv_idcard ${opencv_libs})

实现效果

来看看通过一系列的处理效果吧:

C++ OpenCV技术实战之身份证离线识别

接下来要干的事情就主要有两件,首先是继承tess-two到android,这样离线识别便搞定了,另外一件事情就是图像预处理的代码移植到android上,这两件事情完成便搞定了身份证号码离线识别的功能了。

以上就是c++ opencv技术实战之身份证离线识别的详细内容,更多关于c++ opencv身份证离线识别的资料请关注其它相关文章!