python+openCV图像处理

一、什么是opencv？

Open Source Computer Vision Library.OpenCV于1999年由Intel建立，如今由Willow Garage提供支持。OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在Linux、Windows、MacOS操作系统上。它轻量级而且高效——由一系列 C 函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。最新版本是3.1 ，2016年1月29日发布。（引自百度百科openCV）

简言之，通过openCV可实现计算机图像、视频的编辑。广泛应用于图像识别、运动跟踪、机器视觉等领域。

二、安装

直接使用pip安装

pip install numpy Matplotlib #由于opencv依赖numpy

pip install opencv-python 

#或者使用国内镜像

pip install opencv-python -i  https://pypi.douban.com/simple 

安装完成之后再命令行解释器输入：

import cv2 

若没有提示no module错误，则表示安装成功

测试脚本：

import cv2   #导入模块，opencv的python模块叫cv2

imgobj = cv2.imread('pho.jpg') #读取图像

cv2.namedWindow("image") #创建窗口并显示的是图像类型

cv2.imshow("image",imgobj)

cv2.waitKey(0)        #等待事件触发，参数0表示永久等待

cv2.destroyAllWindows()   #释放窗口 

三、学习网站：

https://www.cnblogs.com/lclblack/p/6377710.html opencv环境搭建

http://www.opencv.org.cn 官网中文教程

https://blog.csdn.net/Notzuonotdied/article/details/77876080 Python Matplotlib简易教程

http://python.jobbole.com/87471/ 给深度学习入门者的Python快速教程 - Numpy和Matplotlib篇

https://blog.csdn.net/qq_32211827/article/details/56854985 单通道与三通道的区别

四、图像对比相关

相关背景
要识别两张相似图像，我们从感性上来谈是怎么样的一个过程？首先我们会区分这两张相片的类型，例如是风景照，还是人物照。风景照中，是沙漠还是海洋，人物照中，两个人是不是都是国字脸，还是瓜子脸（还是倒瓜子脸……哈哈……）。

那么从机器的角度来说也是这样的，先识别图像的特征，然后再相比。

很显然，在没有经过训练的计算机(即建立模型)，那么计算机很难区分什么是海洋，什么是沙漠。但是计算机很容易识别到图像的像素值。

因此，在图像识别中，颜色特征是最为常用的。（其余常用的特征还有纹理特征、形状特征和空间关系特征等）

其中又分为

直方图
颜色集
颜色矩
聚合向量
相关图

1、直方图

在Python中利用opencv中的calcHist()方法获取其直方图数据，返回的结果是一个列表，使用matplotlib，画出了这两张图的直方图数据图

import cv2

import numpy

from matplotlib import pyplot


if __name__ == '__main__':

    imgobj1 = cv2.imread('pho.jpg')

    imgobj2 = cv2.imread('ph1.jpg')

    hist1 = cv2.calcHist([imgobj1], [0], None, [256], [0.0, 255.0])

    hist2 = cv2.calcHist([imgobj2], [0], None, [256], [0.0, 255.0])

    pyplot.plot(range(256), hist1, 'r')

    pyplot.plot(range(256), hist2, 'b')

    pyplot.show()![在这里插入图片描述](https://img-blog.csdnimg.cn/20191112084522765.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0dhb3dhbmdfMQ==,size_16,color_FFFFFF,t_70)

    cv2.imshow('img1',imgobj1)

    cv2.imshow('img2',imgobj2)

    cv2.waitKey(0) 

2.灰度图的作用？

灰度图是只含有黑白颜色，和0~255亮度等级的图片。灰度图具有存储小，其亮度值就是256色调色板索引号，从整幅图像的整体和局部的色彩以及亮度等级分布特征来看，灰度图描述与彩色图的描述是一致的特点。因此很多真彩色图片的分析，第一步就是转换为灰度图，然后再进行分析。

真彩色，因为是24位，2(^8) * 2(^8)* 2(^8) = 16777216种颜色，需要调色板16777216 * 4byte字节的空间也就是64MB的调色板空间，所以真彩色是不用调色板的。

例如视频目标跟踪和识别时，第一步就是要转换为灰度图。现有的成熟分析算法多是基于灰度图像的，灰度图像综合了真彩色位图的RGB各通道的信息。

（一）：单通道图，

俗称灰度图，每个像素点只能有有一个值表示颜色，它的像素值在0到255之间，0是黑色，255是白色，中间值是一些不同等级的灰色。（也有3通道的灰度图，3通道灰度图只有一个通道有值，其他两个通道的值都是零）。

（二）:三通道图，
每个像素点都有3个值表示 ，所以就是3通道。也有4通道的图。例如RGB图片即为三通道图片，RGB色彩模式是工业界的一种颜色标准，是通过对红®、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。总之，每一个点由三个值表示。

3、利用直方图判断两张图片的是否相似的方法就是，计算其直方图的重合程度即可。

计算方法如下：

其中gi和si是分别指两条曲线的第i个点。

最后计算得出的结果就是就是其相似程度。

不过，这种方法有一个明显的弱点，就是他是按照颜色的全局分布来看的，无法描述颜色的局部分布和色彩所处的位置。

也就是假如一张图片以蓝色为主，内容是一片蓝天，而另外一张图片也是蓝色为主，但是内容却是妹子穿了蓝色裙子，那么这个算法也很可能认为这两张图片的相似的。

缓解这个弱点有一个方法就是利用Image的crop方法把图片等分，然后再分别计算其相似度，最后综合考虑。

图像指纹与汉明距离
在介绍下面其他判别相似度的方法前，先补充一些概念。第一个就是图像指纹

图像指纹和人的指纹一样，是身份的象征，而图像指纹简单点来讲，就是将图像按照一定的哈希算法，经过运算后得出的一组二进制数字。

说到这里，就可以顺带引出汉明距离的概念了。

假如一组二进制数据为101，另外一组为111，那么显然把第一组的第二位数据0改成1就可以变成第二组数据111，所以两组数据的汉明距离就为1

简单点说，汉明距离就是一组二进制数据变成另一组数据所需的步骤数，显然，这个数值可以衡量两张图片的差异，汉明距离越小，则代表相似度越高。汉明距离为0，即代表两张图片完全一样。

如何计算得到汉明距离，请看下面三种哈希算法

平均哈希法(aHash)
此算法是基于比较灰度图每个像素与平均值来实现的

一般步骤：

1.缩放图片，一般大小为8*8，64个像素值。
2.转化为灰度图
3.计算平均值：计算进行灰度处理后图片的所有像素点的平均值，直接用numpy中的mean()计算即可。
4.比较像素灰度值：遍历灰度图片每一个像素，如果大于平均值记录为1，否则为0.
5.得到信息指纹：组合64个bit位，顺序随意保持一致性。
最后比对两张图片的指纹，获得汉明距离即可。

感知哈希算法(pHash)
平均哈希算法过于严格，不够精确，更适合搜索缩略图，为了获得更精确的结果可以选择感知哈希算法，它采用的是DCT（离散余弦变换）来降低频率的方法

一般步骤：

缩小图片：32 * 32是一个较好的大小，这样方便DCT计算
转化为灰度图
计算DCT：利用Opencv中提供的dct()方法，注意输入的图像必须是32位浮点型，所以先利用numpy中的float32进行转换
缩小DCT：DCT计算后的矩阵是32 * 32，保留左上角的8 * 8，这些代表的图片的最低频率
计算平均值：计算缩小DCT后的所有像素点的平均值。
进一步减小DCT：大于平均值记录为1，反之记录为0.
得到信息指纹：组合64个信息位，顺序随意保持一致性。
最后比对两张图片的指纹，获得汉明距离即可。

dHash算法
相比pHash，dHash的速度要快的多，相比aHash，dHash在效率几乎相同的情况下的效果要更好，它是基于渐变实现的。

步骤：

缩小图片：收缩到9*8的大小，以便它有72的像素点
转化为灰度图
计算差异值：dHash算法工作在相邻像素之间，这样每行9个像素之间产生了8个不同的差异，一共8行，则产生了64个差异值
获得指纹：如果左边的像素比右边的更亮，则记录为1，否则为0.
最后比对两张图片的指纹，获得汉明距离即可。

import cv2

import numpy as np

from matplotlib import pyplot

 

#最简单的以huidu直方图作为相似比较的实现

def classify_gray_hist(image1,image2,size = (256,256)):

    #先调整大小

    image1 = cv2.resize(image1,size)

    image2 = cv2.resize(image2,size)

    hist1 = cv2.calcHist([image1],[0],None,[256],[0.0,255.0])

    hist2 = cv2.calcHist([image2],[0],None,[256],[0.0,255.0])

    #比较直方图

    pyplot.plot(range(256),hist1,'r')

    pyplot.plot(range(256),hist2,'y')

    pyplot.show()

    #计算直方图的重合度

    degree = 0

    for i in range(len(hist1)):

        if hist1[i] != hist2[i]:

            degree = degree + (1-(abs(hist1[i]-hist2[i])/max(hist1[i],hist2[i])))

        else:

            degree = degree + 1

    degree = degree/len(hist1)

    return degree

 

def classify_hist_with_split(image1,image2,size = (256,256)):

    #将图像resize后，分类为三个通道，再计算每个通道的相似值

    image1 = cv2.resize(image1,size)

    image2 = cv2.resize(image2,size)

    sub_image1 = cv2.split(image1)

    sub_image2 = cv2.split(image2)

    sub_data = 0

    for im1,im2 in zip(sub_image1,sub_image2):

        sub_data += calculate(im1,im2)

    sub_data = sub_data/3

    return sub_data

 

def calculate(im1,im2):

    hist1 = cv2.calcHist([im1],[0],None,[256],[0.0,255.0])

    hist2 = cv2.calcHist([im2],[0],None,[256],[0.0,255.0])

    pyplot.plot(range(256),hist1,'r')

    pyplot.plot(range(256),hist2,'y')

    pyplot.show()

    degree = 0

    for i in range(len(hist1)):

        if hist1[i] != hist2[i]:

            degree = degree + (1 - (abs(hist1[i] - hist2[i]) / max(hist1[i], hist2[i])))

        else:

            degree = degree + 1

    degree = degree / len(hist1)

    return degree

平均哈希算法计算

def classify_aHash(image1,image2):

    image1 = cv2.resize(image1,(8,8))

    image2 = cv2.resize(image2,(8,8))

    gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)  #切换至灰度图

    gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)

    hash1 = getHash(gray1)

    hash2 = getHash(gray2)

    return Hamming_distance(hash1,hash2)

 

def classify_pHash(image1,image2):

    image1 = cv2.resize(image1,(32,32))

    image2 = cv2.resize(image2,(32,32))

    gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)   #切换至灰度图

    gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)

    # 将灰度图转为浮点型，再进行dct变换

    dct1 = cv2.dct(np.float32(gray1))

    dct2 = cv2.dct(np.float32(gray2))

    # 取左上角的8*8，这些代表图片的最低频率

    # 这个操作等价于c++中利用opencv实现的掩码操作

    # 在python中进行掩码操作，可以直接这样取出图像矩阵的某一部分

    dct1_roi = dct1[0:8,0:8]

    dct2_roi = dct2[0:8,0:8]

    print(dct1)

    hash1 = getHash(dct1_roi)

    hash2 = getHash(dct2_roi)

    return Hamming_distance(hash1,hash2)

输入灰度图，返回hash

def getHash(image):

    avreage = np.mean(image)  #计算像素平均值

    hash = []

    for i in range(image.shape[0]):

        for j in range(image.shape[1]):

            if image[i, j] > avreage:

                hash.append(1)

            else:

                hash.append(0)

    return hash

计算汉明距离

def Hamming_distance(hash1, hash2):

    num = 0

    for index in range(len(hash1)):

        if hash1[index] != hash2[index]:

            num += 1

    return num

 

#差值感知算法

def dhash(image1,image2):

    image1 = cv2.resize(image1,(9,8))

    image2 = cv2.resize(image2,(9,8))

    gray1 = cv2.cvtColor(image1,cv2.COLOR_BGR2GRAY)  #切换至灰度图

    gray2 = cv2.cvtColor(image2,cv2.COLOR_BGR2GRAY)

    hash1 = dhashcaulate(gray1)

    hash2 = dhashcaulate(gray2)

    return Hamming_distance(hash1,hash2)

 

def dhashcaulate(gray):

    hash_str = ''

    for i in range(8):

        for j in range(8):

            if gray[i, j] > gray[i, j + 1]:

                hash_str = hash_str + '1'

            else:

                hash_str = hash_str + '0'

    return hash_str

 

if __name__ == '__main__':

    imgobj1 = cv2.imread('one.jpg')

    imgobj2 = cv2.imread('three.jpg')

    cv2.imshow('img1',imgobj1)

    cv2.imshow('img2',imgobj2)

    #degree = classify_gray_hist(imgobj1,imgobj2)   #单通道直方图

    #degree = classify_hist_with_split(imgobj1,imgobj2)  #三通道直方图

    #degree = classify_aHash(imgobj1,imgobj2)          #平均哈希法

    #degree = classify_pHash(imgobj1,imgobj2)          #感知哈希法

    degree = dhash(imgobj1,imgobj2)          #差值感知哈希法

    print(degree)

    cv2.waitKey(0) 

方差的计算方式：

import cv2

import matplotlib.pyplot as plt

 

#计算方差

def getss(list):

    #计算平均值

    avg=sum(list)/len(list)

    #定义方差变量ss，初值为0

    ss=0

    #计算方差

    for l in list:

        ss+=(l-avg)*(l-avg)/len(list)

    #返回方差

    return ss

 

#获取每行像素平均值

def getdiff(img):

    #定义边长

    Sidelength=30

    #缩放图像

    img=cv2.resize(img,(Sidelength,Sidelength),interpolation=cv2.INTER_CUBIC)

    #灰度处理

    gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

    #avglist列表保存每行像素平均值

    avglist=[]

    #计算每行均值，保存到avglist列表

    for i in range(Sidelength):

        avg=sum(gray[i])/len(gray[i])

        avglist.append(avg)

    #返回avglist平均值

    return avglist

 

#读取测试图片

img1=cv2.imread("one.jpg")

diff1=getdiff(img1)

print('img1:',getss(diff1))

 

#读取测试图片

img11=cv2.imread("two.jpg")

diff11=getdiff(img11)

print('img11:',getss(diff11))

 

 

x=range(30)

 

plt.figure("avg")

plt.plot(x,diff1,marker="*",label="$walk01$")

plt.plot(x,diff11,marker="*",label="$walk03$")

plt.title("avg")

plt.legend()

plt.show()

 

 

cv2.waitKey(0)

cv2.destroyAllWindows()