基于方向梯度直方图的葡萄叶片识别研究

基于方向梯度直方图的葡萄叶片识别研究

孙宏杰1，宁纪锋1※，刘旭2，杨蜀秦3，颜永丰1

（1.西北农林科技大学信息工程学院,杨凌 712100;

2.西北农林科技大学葡萄酒学院,杨凌 712100;

3.西北农林科技大学机械与电子工程学院,杨凌 712100）

摘要：葡萄品种的分类识别对葡萄优良品种的推广和遗传资源保护都具有重要意义。同一科目不同品种的葡萄叶片外形相似度高，因此，选取能够有效表示叶片的形态结构的特征对于叶片分类具有重要的意义。本文以15种外观相似度高的成熟葡萄的叶片为研究对象，对叶片进行图像预处理后，分别提取葡萄叶片的纹理特征、多级颜色直方图和方向梯度直方图等统计特征，并采用支持向量机方法作为分类器，对样本进行训练，建立葡萄叶片的分类模型。试验结果表明，采用能同时表示叶片梯度和纹理特征的方向梯度直方图算子取得了最好的叶片分类结果，准确率达90.05%，优于其它特征，为基于计算机视觉的同一科目植物叶片识别提供了一种新的方法。

关键词：葡萄叶片；支持向量机；特征提取；方向梯度直方图

中图分类号： TP391.41 文献标识码：A 文章编号

0引言

葡萄是一种非常重要的经济作物，具有重要的营养价值和经济价值。葡萄在全世界有5600万吨左右的产量，1万多个品种，用于生产的品种大约有3000多个，其中酿酒葡萄占了很大比例[1]。葡萄品种多且繁杂，并且不同品种之间相似性高，这使得品种鉴别变得十分困难，给生产和研究带来很大困难，制约着良种的推广和遗传资源的保护。

现有葡萄品种的识别主要以皮埃尔嘎勒[2]为代表的传统形态鉴别为主; 其它较突出的方法有DNA分子遗传标记鉴别［3］、花粉特征鉴别［4］、特殊有机化合物的鉴别［5］等，均采用人工方法进行，工作量大、效率低，且容易受观测者的经验、直觉和环境等因素的影响。随着计算机技术、数字图像处理和模式识别技术不断成熟和完善，利用计算机视觉技术对植物种类的自动识别与分类已经逐步开展[6-7]。

植物的叶片属性是用来分类植物的重要形态特征[8-9]，植物叶片可以提供丰富的纹理信息和几何形状信息，并且采摘时间较长且为二维平面结构，方便进行扫描提取和处理。Sixta[10]利用形状上下文内部距离进行叶片识别。阚江明等[11]使用RBF神经网络作为分类器，利用纹理和形状特征实现了植物叶片的分类识别，并证明了纹理特征可提高叶片识别正确率。王艳菲等[12]使用最近邻结点算法作为分类器，利用改进的空间统计变换直方图作为特征实现了对32种植物的分类识别。虽然植物叶片识别方法在不断改进和提高，但现有的方法多是针对不同植物品种的叶片进行识别，这些植物叶片外形差异较大，利用常规的形状和纹理特征识别较为容易。但是对同一科目不同品种，特别是相似度高的植物叶片研究较少。

本文以成熟期不同品种的葡萄叶片为研究对象，这些叶片的外形相似度较高，常见的形状特征难以有效描述它们的区别。因此，选取能够有效描述葡萄叶片的空间和纹理特征对叶片分类具有重要的意义。本文通过采用叶片的多级颜色直方图、灰度共生矩和方向梯度直方图等特征描述葡萄叶片的形态结构，并利用支持向量机建立相应的预测模型，进行葡萄叶片的分类方法研究，为同种科目的植物叶片分类提供借鉴。

1 实验材料和方法

1.1实验材料

1.1.1实验材料获取

葡萄叶片样本由西北农林科技大学葡萄酒学院提供，采摘时葡萄生长期为做果期，采摘位置为葡萄枝中上部，采摘叶片为成熟葡萄叶片。共采集赤霞珠、黑比诺、雷司令和嘉年华等15个品种的葡萄叶片，每个品种30片叶片。用联想M7600D扫描仪获取葡萄叶片图片，扫描仪分辨率为

dpi，扫描类型为24位彩色。扫描时采取正反面扫描，一共获得900幅图像，其中每个品种有60幅图像，选择其中的40幅作为训练样本，另外20幅图像作为测试样本，一共有600个训练样本图像和300个测试样本图像。

由于葡萄叶柄与叶面连接处有凹口，且方向倾斜，所以在预处理之前先对所有叶片进行左右转置处理，故共有1200个叶片图像作为训练集，有600个叶片图像作为测试集。扫描获取的葡萄叶片图像，如图1所示。

a黑比诺 b赤霞珠 c雷司令 d马瑟兰 e梅尔诺

f西拉 g霞多丽 h小育森 i爱格丽 j贵人香

k嘉年华 l玫瑰香 m魅丽 n品丽珠 o小味儿多

图1 葡萄叶片图像

Fig.1 Grape leaf image

1.1.2葡萄叶片提取

首先将叶片从背景中分割提取出来。具体方法过程为读取图像暗通道，然后利用Otsu阈值分割法，将叶片从背景中分割开，并利用形态学处理去除孔洞。考虑到图像的边缘以及叶脉部分会存在噪声，采用中值滤波去除图像噪声。然后再采用最小外界矩形法获得包含完整叶片的最小图像。图2是黑比诺葡萄叶片提取过程。

a 原图像 b 阈值分割 c 最小外接矩形提取

图2 葡萄叶片图像预处理

Fig.2 Preprocessing of grape leaf image

1.2葡萄叶片的特征表示

植物叶片的形态特征是识别叶片所属种类的有效依据。用于植物叶片分类的图像特征有很多，比如形状特征、颜色特征、纹理特征等。首先，葡萄叶片颜色十分接近，颜色特征几乎失去作用。其次，由于不同品种的葡萄叶片差异性较小，通常作为植物种类识别的形状相对值特征（凹凸度、圆形度、矩形度等）因为不同葡萄叶片品种间的相似性难以有效区别。因此，需要采用新的特征算子提取葡萄叶片的外观结构。

根据采集到的叶片来看，不同品种间的葡萄叶片差异主要来自叶片边缘和叶脉纹理，它们表示葡萄叶片品种间的差异。这些差异能够根据梯度或边缘的方向密度分布表示，而HOG（Histogram of Orientation Gradient）特征[13]主要用来描述局部边缘梯度分布特性，FHOG（Felzenszwalb’sHOG)特征[14]是HOG特征的一种改进，可同时表示感兴趣对象的梯度和纹理信息，并且其对图像几何和光学的形变都具有一定的鲁棒性。因此，本文采用FHOG特征表示葡萄叶片形态结构，并与HOG、灰度共生矩、不变矩、多级颜色直方图特征等做对比，找到一种适合于葡萄叶片的形态特征表示方法。

1.2.1 HOG特征提取

方向梯度直方图（HOG）特征是一种在计算机视觉中用来对检测的物体进行特征描述的算子。该算法是通过提取局部区域梯度分布，表示其空间特征。HOG首先将图像灰度化和归一化，计算每个像素的梯度，再将图像细分为多个小的单元(cell)，计算所有单元中各像素点的梯度或边缘的方向直方图（包括大小和方向），将其投影到固定角度以形成最终的描述特征。然后将若干个单元组成一个块(block)，将一个块内的所有单元特征串联起来构成该块的HOG特征，最后将图像内的所有block特征串联起来即可得到图像的HOG特征。

1.2.2 FHOG特征

FHOG特征是Felzenszwalb等于2008年在判别式部件模型(DPM)目标检测算法中提出的一种改进的HOG算子，它可表示被测物体的梯度和纹理特征，克服HOG在表示目标纹理特征上的局限。

FHOG和HOG相比，FHOG特征取消了HOG中的块block，仅保留了cell。但归一化的时候，是直接将当前单元与其周围的4个单元所组成的区域分别进行归一化，所以效果和原HOG特征非常类似。其次，FHOG采用了有符号梯度和无符号梯度相结合的方法。对每一个cell单元，FHOG得到31维特征向量，1~18维为有方向的方向梯度直方图，19~27维为无符号的方向梯度直方图，28~31为无符号梯度直方图。由于FHOG特征的归一化是同周围四个邻域做的，并且采用了有符号梯度和无符号梯度相结合的方法，所以其包含的信息远大于HOG特征。FHOG不仅具有图像的梯度信息，还同时包含了图像的纹理信息，并且其维数相对于HOG减少了，但效果却明显提高。在图像分类和目标检测等领域的研究中，FHOH取得了比HOG更好的结果。

1.2.3基于FHOG特征的葡萄叶片特征提取

如前所述，对一幅葡萄叶片图像，FHOG提取31层特征，其中前18层为4个邻域的有符号方向梯度的累加之和特征，之后9层为4个邻域的无符号方向梯度之和特征，最后4层为每一个邻域的无符号梯度累加之和特征。图4给出了一幅嘉年华葡萄叶片的FHOG不同层数的特征图像，其中第一行的a、b、c图表示的是4个邻域有符号方向梯度方向累加特征，它们表示的是叶片的有方向的梯度信息；第二行的d、e、f图表示的是4个邻域无符号方向梯度方向累加特征，由于它是将有符号的正负方向梯度信息进行了结合，所以表征的图像梯度信息更加密集，图像纹理形状信息更加丰富；第三行的g、h、i图表示的是每一邻域的无符号方向梯度信息累加特征，它将所有方向的无符号梯度进行累加，表示叶片的整体梯度信息，反映叶片的空间信息。FHOG通过有符号和无符号方向梯度的不同特征组合，丰富的表示葡萄叶片图像的形状和纹理和空间等信息。

a第1层 b第9层 c第18层

d第19层 e第23层 f 第27层

g第28层 h第29层 i第31层

图3葡萄叶片FHOG特征的特征图像

Fig.3Feature image of grape leaves based on FHOG

1.3支持向量机模型

支持向量机（Support Vector Machine)是Cortes和Vapnik于1995年首先提出的[15]，它在解决小样本、非线性和高维模式识别中具有很好的效果。SVM的思想是在由核函数确定的特征空间上构造软间隔分类超平面，采用正则化因子平衡间隔最大化和训练误差最小化的方式，通过决策面实现样本的二分类[16]。其应用二次规划方法可求出最优分类函数为：

式中

为待求超平面的法向量，b为偏差，

ξ

为软间隔，c为调节正则项和误差项的权值因子，yi为样本xi所对应的类别。

对于线性可分的样本集，可以被一个分类平面分割。分类间隔越大，分类效果越好。对于线性不可分的情况，支持向量机通过某种事先选择的非线性映射（核函数）将输入变量映射到一个高维特征空间，在这个高维空间构造最优分类超平面。对于一些并不是因为数据本身是非线性结构，而只是由于数据有噪音的情况，SVM引入一个非负的松弛变量

ξ

，对应的惩罚系数为c，其

ξ

中是需要优化的变量, c用于控制目标函数中两项（“寻找间隔最大的超平面”和“保证数据点偏差量最小”）之间的权重。

本文利用libsvm－3.12工具箱( 林智仁)在MATLAB( R2010a) 环境下构建SVM分类识别模型，它包括了参数寻优等库函数，并且支持多分类首先用工具箱svmtrain函数对1200个训练样本数据进行训练，从而得到相应的支撑向量最优分类面方程的权值以及偏置量。随后利用svmpredict函数对600个测试样本进行预测分类。

2 实验与分析

每种葡萄叶片样本30个，随机选择20片作为训练集，10片作为测试集。对图片进行分割、提取、转置等操作，最后一共得到训练叶片图像1200幅，测试叶片图像600幅。由于扫描的葡萄叶片较大，并且叶片图像之间的相似性较高，需要提取叶片图像丰富的空间和纹理信息进行叶片的特征表示，本实验将叶片图像归一化到400×400，以进行相应的特征提取。

2.1 SVM核函数选择

SVM分类模型的核函数对识别结果具有很大的影响，其中核函数一般有线性核函数、多项式核函数、径向基核函数和Sigmoid核函数。本研究在提取FHOG特征之后分别对不同核函数选择进行了实验。实验结果如表1所示。

由表1可知，线性核函数的分类准确率为90.5%和90.17%，明显优于多项式核函数、径向基核函数和Sigmoid核函数。而在SVM模型类别选择上，C-SVC在分类效果最好的线性核上略低于V-SVC。FHOG特征提取算法提取的特征具有很强的表征能力，对于图像信息具有一定的归纳抽象，提取的特征能充分表示葡萄叶片的形态特征，可分性强，并且线性SVM对于多分类问题，分类速度快，推广性强，而非线性核函数有可能会造成过学习的现象。在实际应用中，对于特征维数特别低，样本数远远超过特征维数时选择非线性核函数模型效果较好。在本实验中，线性SVM能够得到较高的识别准确率，而较复杂的核函数反而会使识别效果下降。综合以上结论，本实验主要选用基于线性核函数的V-SVC模型进行分类识别研究，同时选用C-SVC进行辅助对比实验，以期望使识别分类效果最好。

表1 不同核函数的识别结果

Table 1 The recognition results of different kernel function

2.2单元（cell）尺寸选择

单元的大小是FHOG算子重要的参数，较小的单元尺寸能够提取葡萄叶片的细节信息，维数较高，但会丢一些叶片的空间关联信息；较大的单元尺寸能够表示葡萄叶片的全局结构，但会造成细节信息的丢失。因此，需要确定适用于葡萄叶片识别的最优单元尺寸。

图4不同单元尺寸的识别结果

Figure4 The recognition results of different cell size

图4是不同cell 尺寸的葡萄叶片的识别准确率。随着cell尺寸的增加，FHOG更多地表示葡萄叶片的全局特征，识别分类的正确率也在不断的提高，当其达到50尺寸时识别的正确率最高为90.50%。随着尺寸继续增加，FHOG表示葡萄叶片的细节信息能力下降，因而正确率不断下降。显然，单元尺寸大小是特征表示的关键，较小的尺寸可以很好的表示叶片图像的细节信息，但是会忽略一些叶片图像的整体空间信息，而较大的尺寸可以很好的表示叶片图像的整体空间信息，但又会忽略一些细节。

2.3 不同特征对比实验

为验证基于FHOG特征的SVM模型在葡萄叶片分类中的优势，本论文选用了灰度共生矩、7阶HU不变矩、叶片多级颜色直方图和HOG特征分别进行了对比实验，实验结果如表2 所示。

表2 不同特征表示识别率

Tabel 2 The recognition results of different features

由表2可知，FHOG的分类识别率可以达到90.5%，远远高于其它特征表示。FHOG特征是HOG特征的一种改进，不仅包含了HOG特征所具有的梯度边缘等信息，而且其还包含了图像的梯度方向信息和纹理信息等，能够更有效表示葡萄叶片的形态结构。灰度共生矩主要表示图像的纹理特征，特征表示单一，而HU不变矩维数较少，因此这两种特征区分外形相似度高的葡萄叶片的能力较弱。多级颜色直方图特征将叶片划分成子块，统计整体和子块的多级颜色直方图，反映空间信息，获得了较好的结果，但对叶片结构的细节表示不足。HOG特征可以很好的表征局部梯度分布信息，用局部特征去表征整体图像特征，所以识别正确率相对其他三种较高，但其在特征提取时舍去了梯度方向信息，并且表示纹理特征能力较弱。

2.4特征融合对比实验

图像特征的选取对于识别结果具有重要影响，选取表示图像信息较丰富的特征对实验结果有重要的影响。单独一种特征描述叶片图像具有局限性。因此，本文进一步分析不同特征融合的识别效果，以弥补单一特征表示的缺陷，实验结果如下表3所示。

表3 不同融合特征的葡萄叶片表示识别率

Table 3 Grape leave recognition results of multi-features fusion

由表3可知，采用多特征融合的识别效果要普遍优于单一特征，特别是对于Hu不变矩特征、灰度共生矩特征和叶片多级颜色直方图特征的效果提高较明显，而对于HOG特征和FHOG特征的提高则较微弱，这主要是因为HOG特征和FHOG特征在特征提取时既包含较丰富的空间信息，特别是FHOG特征，不但包含图像的边缘梯度信息，还包含一定的空间纹理信息，但是多特征融合还是整体提高了分类识别的正确率，略优于仅使用FHOG的结果。

2.5 不同种类葡萄叶片识别率

采用识别正确率最高的灰度共生矩特征+FHOG特征进行SVM分类识别实验，得到不同种类的葡萄叶片正确识别率（表4）。

表4 不同种类的葡萄叶片的正确识别率

Table 4 The recognition results for different kinds of grape leaves

由表4可以看出，分类效果较差的四个品种是赤霞珠、雷司令、玫瑰香和小味儿多，其识别正确率在70%-80%之间，而其它品种的识别正确率均达到90%以上。其中赤霞珠和玫瑰香主要是因为品种之间相似度比较高，属于比较容易误分类的情况；而雷司令和小味儿多主要是因为同品种之间的差异较大导致的比较难分的情况，这些都给实验结果带来一定的影响。

3 结论

通过分析葡萄叶片的外观特征，本文提出了一种基于FHOG特征表示和SVM相结合的葡萄叶片分类识别新方法。由于FHOG能够有效提取葡萄叶片的空间和纹理特征,从而鲁棒描述不同品种葡萄叶片的形态结构区别。基于提取的葡萄叶片的FHOG特征作为特征向量，利用SVM建立分类模型。并研究了不同特征融合对实验结果的影响。实验结果表明，采用FHOG特征作为叶片特征得到的叶片分类率相对其它特征优势明显，15种葡萄叶片的正确识别率达到90.5%，结合FHOG和灰度共生矩的特征表示，分类准确率提升到91%。本文的研究成果为同种科目不同品种的植物叶片识别提供了一种借鉴方法。

[参考文献]

[1]翟衡. 酿酒葡萄栽培及加工技术[M]. 北京:中国农业出版社, 2001: 48.

[2]Galet P. Vines and vineyards of France[J]. Vol.II. French ampelography, 1990, 2(1): 400.

[3]张立平,林伯年,沈德绪等. 葡萄属植物染色体DNA的提取、纯化及RFLP鉴定[J]. 果树科学, 1996, 13(2): 71 -74．

[4]张立平,林伯年,沈德绪. 雌雄异株葡萄的性别鉴定研究[J].植物学报, 1998, 15(4): 63-67.

[5]Valme GM, Barroso CG, Perez Bustamante JA, et al. The potential polyphenolic for the differentiation of the clones from the Palomino Finovariet[J]. ActaHorticulturae , 1995, 388: 155-159.

[6]张宁,刘文萍. 基于图像分析的植物叶片识别技术综述[J]. 计算机应用研究, 2011,28( 11): 4001-4007.

[7]谈蓉蓉,朱伟兴. 基于图像处理技术的杂草特征提取方法研究[J]. 传感器与微系统, 2009, 28(2): 56-59.

[8]孙永新. 基于多尺度形状分析的叶形识别系统[J]. 计算机应用,2009,29(6):1707-1710.

[9]朱静,田兴军,陈彬等. 植物叶形的计算机识别系统[J]. 植物学通报, 2005, 22(5): 599-604.

[10]Sixta T. Image and video-based recognition of natural objects [D]. Prague: Czech Technical University, 2001.

[11]阚江明,王怡萱,杨晓微等. 基于叶片图像的植物识别方法[J]. 科技导报, 2010, 28(23): 81-85.

[12]王艳菲. 基于CENTRIST的植物叶片识别算法研究及移动平台上的实现[D]. 杨凌:西北农林科技大学, 2012.

[13]Dalal, N. Triggs, B. Histograms of oriented gradients for human detection [C]. IEEE Conference on Computer Vision and Pattern Recognition, volume 1, 886 - 893, San Diego,USA, 2005.

[14]Felzenszwalb PF, Girshick RB, Mcallester D, et al.Object Detection with Discriminatively Trained Part-Based Models [J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1627-1645.

[15]Vapnik V, Cortes C. Support Vector Networks[J].Machine Learning,1995,20:273-297

[16]Zhang Kai, Kwok J T. Simplifying mixture models through function approximation[J]. IEEE Transactions on Neural Networks, 2010, 21(4): 644-658.

Identifying Varieties of Grape Leaves Using Histogram of Orientation Gradient Features

Sun Hongjie1, Ning Jifeng1※, Liu Xu2, Yang Shuqin3, Yan Yongfeng1

(1. College of Information Engineering, Northwest A&F University, Yangling712100, China;

2. College of Enology, Northwest A&F University, Yangling712100, China;

3. College of Mechanical and Electronic Engineering, Northwest A&F University, Yangling712100, China;)

Abstract:The identification of different grape varieties is an issue of great importance in popularizing improved varieties as well as protecting grape genetic resources. Moreover, considering that the leaves from different grape varieties are similar in appearance, it is of great significance for leaf classification to find distinctive features which show the morphological differences of leaves effectively. The subjects of this study are well-ripened grape leaves from 15 varieties. After the process image pre-processing, textural features, multi-scale color histogram and HOG features of these leaves are extracted separately. Furthermore, support vector machines were employed as the classifier for training samples and generating classification models of grapevine leaves. The results indicated that FHOG , which shows both gradients and textural features of leaves, achieves 90.05% accuracy rate. Compared with other features, this result showed a better performance. This study proposes a new method for the leaf classification of the same species by using computer vision.

Key words:Grape leaves; Support vector machines; Feature extraction; Histogram of Orientation Gradient

植物的叶片属性是用来分类植物的重要形态特征收稿日期：修订日期：

项目基金：国家自然科学基金（31401819,31501228）,陕西省自然基金（2015JM3110）,中央高校基本科研业务费专项资金(QN2013062,Z109021561)

作者简介：孙宏杰，男，河南新郑人，硕士生，研究方向为计算机视觉及应用。杨凌西北农林科技大学信息工程学院，712100。

Email:sunhongjie030805@163.com

通讯作者：宁纪锋，男，陕西韩城人，副教授，硕士生导师，研究方向为计算机视觉与机器学习。杨凌西北农林科技大学信息工程学院，712100。Email:jf_ning@sina.com

考研专业研究方向是什么

车牌识别算法研究开题报告

考研专业和研究方向区别

“双百人物”生平事迹研究方向与参考选题