
简介面向计算机视觉入门与实战练习的OpenCV水果识别样本包围绕苹果、香蕉、梨子三类目标组织图像数据适合正在学习图像预处理、特征提取和分类器训练的学习者用作练手素材。压缩包共1624个文件以1618张jpg水果图像为主体另含5个xml标注文件和1个iml项目配置整体约17.82MB可直接用于构建带标签的训练与测试数据。已有12829人学习下载在水果识别小项目中具有较高参考度。样本便于读者实践灰度化、直方图均衡化、噪声去除和尺寸标准化等预处理流程并尝试色彩直方图、纹理特征、HOG等特征表达配合SVM、随机森林或CNN完成分类与评估。借助这批图像还可进一步做旋转、缩放、裁剪等数据增强观察光照、角度和背景变化对识别效果的影响积累从数据准备到模型验证的完整经验。1. 从一张混装果盘照片说起这套 opencv 水果识别样本能解决什么一张桌面上混放着苹果、香蕉、梨子的照片丢进脚本几秒后每个果子被框出来并打上类别——这就是 opencv 水果识别最典型的落地形态也是这套水果样本想让人第一次跑通的东西。它不依赖 GPU不用装深度学习框架一份按类别分好的水果样本图片加上几个 Python 脚本就能把「读图、提特征、训分类器、出结果」整条链路走完。适合两类人刚学完 OpenCV 基础 API、想找个完整小项目练手的以及要在低算力设备上做果蔬分拣 Demo、又不想背 CNN 部署包袱的。下面按目录结构、特征工程、训练评估、踩坑排查、二次开发一路拆照着改就能换成你自己的品类。2. 样本组织与技术选型从文件夹结构看懂整条识别链路拿到一套带样本的项目我一般不急着看代码先把目录翻一遍。样本集的组织方式基本决定了后面所有脚本的写法——类别怎么来的、标签怎么对齐、模型存哪全藏在目录里。2.1 目录结构与数据流文件夹名就是类别名这类水果识别样本常见的组织形态是这样fruit_dataset/ ├── data/ │ ├── apple/ # 苹果样本图jpg/png 混放 │ ├── banana/ # 香蕉样本图 │ └── pear/ # 梨样本图 ├── src/ │ ├── features.py # 读图、预处理、颜色/形状特征提取 │ ├── train.py # 扫描样本、训练、评估、保存模型 │ └── predict.py # 单图/批量预测结果画框可视化 ├── models/ │ └── svm_fruit.pkl # 训练产物含分类器和类别顺序 ├── outputs/ # 预测结果图落盘目录 └── requirements.txt关键约定只有一条data 下一级子目录名即类别名。训练脚本扫目录时按sorted(os.listdir(...))排序用下标当标签索引。这个排序必须稳因为预测脚本加载模型后要拿同一份顺序把下标翻回字符串。血泪经验是别在训练时用os.listdir原始顺序、预测时又用另一份手写列表一旦两边顺序对不上模型会把香蕉标成梨而且准确率看起来还挺高——它只是标签映射错了。整条链路是单向的train.py遍历data/*/逐张读图算出定长特征向量堆成X和y切分训练/测试标准化后喂给 SVM网格搜索调参把「最佳模型 类别列表 特征版本号」一起序列化到models/predict.py加载这个包对新图先分割出候选区域再对每个区域提取同样维度的特征做分类。中间任何一环的特征维度变了模型文件就必须重训所以我在模型包里塞了个feature_version字段加载时对不上直接抛异常比线上默默输出垃圾结果强。2.2 为什么先用传统 CV 而不是直接上 CNN这套样本走的是「手工特征 传统分类器」路线不是因为它先进而是因为它匹配样本规模。每类几十到一两百张图从零训一个 CNN 会严重过拟合而迁移学习又要拖进来一个大框架跑在树莓派这类设备上启动就得几秒。传统方案的优势很实在维度颜色/形状特征 SVM轻量 CNN 迁移学习每类所需样本几十张即可起步通常要几百张以上或强增强CPU 训练耗时秒级到分钟级分钟级到小时级可解释性高能定位是颜色错还是形状错低基本黑匣子部署体积模型几百 KB 到几 MB十几 MB 起换背景/换光照的鲁棒性弱需要重新采样本相对强选它的真正理由是可解释。当香蕉被认成梨你可以把 8×8×8 的颜色直方图打出来看一眼发现两者在 H 通道 20–35 区间完全重叠然后针对性地补形状特征。CNN 出错时你只能猜。做二次开发、给业务方解释「为什么这张错了」这套链路省事得多。2.3 环境与依赖五分鐘把运行环境搭起来依赖不多但版本上有讲究。opencv-python和opencv-contrib-python不要同时装后者包含前者全部内容两个包共存会出现cv2模块路径打架报一些莫名其妙的AttributeError。python -m venv .venv source .venv/bin/activate # Windows 用 .venv\Scripts\activate pip install opencv-python4.5 numpy scikit-learn joblib matplotlib # 如果 features.py 里用了 LBP 纹理再补一个 pip install scikit-imagescikit-learn用来做标准化、SVM 和网格搜索joblib负责模型序列化matplotlib只在画混淆矩阵时用得上不装也不影响主流程。样本图建议控制在长边 1000px 以内太大只会拖慢读图对特征没帮助——反正后面都要统一缩放。环境搭好后先跑一次python -c import cv2; print(cv2.__version__)确认能导入再往下走。3. 预处理与特征提取把一只苹果变成一串定长数字这一章是整个项目最核心的部分。分类器本身没什么可调的效果好坏九成取决于特征提得对不对。苹果、香蕉、梨这三种果子的差异集中在两处颜色分布和外形轮廓所以特征也围绕这两块展开。3.1 读图与统一尺寸中文路径和长宽比两个坑先填掉第一行代码就有坑。cv2.imread底层走的是 C 风格的文件打开方式在 Windows 上遇到中文目录名会直接返回None不抛异常。脚本会安静地跑完样本数变成 0然后你对着一个空矩阵训练报错信息还指向别处。import cv2 import numpy as np IMG_SIZE (128, 128) PAD_COLOR (124, 116, 104) # 灰边填充色接近多数背景的中性灰 def imread_unicode(path, flagscv2.IMREAD_COLOR): 兼容中文/空格路径先用 numpy 读字节再交给 OpenCV 解码 data np.fromfile(path, dtypenp.uint8) if data.size 0: return None return cv2.imdecode(data, flags) def letterbox(img, sizeIMG_SIZE, padPAD_COLOR): 等比缩放后居中填充保住原始长宽比 h, w img.shape[:2] scale min(size[0] / w, size[1] / h) nw, nh max(1, int(round(w * scale))), max(1, int(round(h * scale))) resized cv2.resize(img, (nw, nh), interpolationcv2.INTER_AREA) canvas np.full((size[1], size[0], 3), pad, dtypenp.uint8) top, left (size[1] - nh) // 2, (size[0] - nw) // 2 canvas[top:top nh, left:left nw] resized return canvasimread_unicode用np.fromfile把文件读成字节数组再cv2.imdecode解码绕开了路径编码问题。letterbox解决的是另一个隐蔽问题直接把香蕉图resize到 128×128 的正方形会把细长的香蕉横向拉宽长宽比特征彻底失效。等比缩放加灰边填充既统一了输入尺寸又保留了原始形状比例代价是四周多了无效像素所以在算颜色特征时最好带掩膜。3.2 颜色特征HSV 三通道直方图比 RGB 靠谱在哪RGB 三个通道都混了亮度信息同一只苹果在阳光下和阴影里R 值能差一大截。HSV 把色相 H 单独拆出来H 对光照变化基本不敏感V 才承担亮度。OpenCV 的 H 范围是 0–180 而不是 360写ranges时容易写错这是新手高频翻车点。def color_hist(hsv, maskNone, bins(8, 8, 8)): 三维 HSV 联合直方图L1 归一化后拉平共 8*8*8512 维 hist cv2.calcHist( [hsv], [0, 1, 2], mask, list(bins), [0, 180, 0, 256, 0, 256] # H:0-180, S:0-256, V:0-256 ) hist cv2.normalize(hist, hist, norm_typecv2.NORM_L1).flatten() return hist.astype(np.float32) def color_moments(hsv): 颜色矩每通道的均值、标准差、偏度共 9 维抗噪且低维 feats [] for ch in cv2.split(hsv.astype(np.float32)): mu, sigma ch.mean(), ch.std() skew np.cbrt(np.mean((ch - mu) ** 3)) feats.extend([mu, sigma, skew]) return np.array(feats, dtypenp.float32)color_hist输出 512 维描述的是颜色分布的精细形状color_moments只有 9 维但胜在紧凑抗噪。两者一起用是我比较习惯的组合——直方图负责分辨苹果的红和梨的黄绿颜色矩在图片有轻微色偏时兜底。calcHist的第三个参数mask很关键传None表示整张图参与统计包括背景传一个前景掩膜就只统计果子区域这一点在 5.2 节会展开。3.3 形状特征长宽比、圆度、凸包实心度和 Hu 矩颜色能分开苹果和另外两个但香蕉和梨都是黄色系光靠颜色必然混淆得靠形状。香蕉细长且弯梨接近椭圆但上窄下宽苹果接近圆形。def shape_features(bgr): gray cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) blur cv2.GaussianBlur(gray, (5, 5), 0) _, th cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) if th[0, 0] 127: # 角点是亮的说明前景背景反了 th cv2.bitwise_not(th) th cv2.morphologyEx(th, cv2.MORPH_OPEN, np.ones((5, 5), np.uint8), iterations2) cnts, _ cv2.findContours(th, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not cnts: return None c max(cnts, keycv2.contourArea) area cv2.contourArea(c) peri cv2.arcLength(c, True) hull_area cv2.contourArea(cv2.convexHull(c)) x, y, w, h cv2.boundingRect(c) aspect w / float(h) # 长宽比香蕉约 2.5-4 circularity 4 * np.pi * area / (peri ** 2) if peri 0 else 0 # 圆度正圆1 solidity area / hull_area if hull_area 0 else 0 # 凸包实心度弯曲的香蕉偏低 extent area / float(w * h) # 外接矩形填充率 hu cv2.HuMoments(cv2.moments(c)).flatten() hu -np.sign(hu) * np.log10(np.abs(hu) 1e-10) # 数量级差极大取对数压平 return np.array([aspect, circularity, solidity, extent] hu.tolist(), dtypenp.float32)逐项说清楚aspect是最直接的判别器苹果接近 1香蕉轻松超过 2.5circularity用周长面积比衡量接近圆的程度梨和苹果都在 0.7 以上香蕉因为周长长而面积小会掉到 0.3 左右solidity是轮廓面积除以凸包面积香蕉弯曲导致凸包包住一大块空白这个值通常低于 0.85而苹果梨都在 0.95 以上这是区分「弯」和「不弯」最有效的一维特征。Hu 矩那七个数直接拿去训练效果很差因为它的数值跨度能到十几个数量级SVM 的 RBF 核会被大数值主导小数值特征等于被丢弃。取log10之后量级拉平配合后面的StandardScaler才算能用。这行-np.sign(hu) * np.log10(...)保留符号的同时做对数压缩是 OpenCV 官方示例里的经典写法。最终一维特征拼起来是 512 9 11 532 维全是float32一张图算下来毫秒级。4. 训练与预测SVM 分类器怎么落到批量图片上特征有了剩下的是工程活把散落的图片拼成矩阵、切分、调参、评估、存盘、再加载回来做推理。这部分代码量不大但每一步都有容易忽略的细节。4.1 数据集拼装标签顺序和特征维度必须锁死import os CLASSES (apple, banana, pear) # 顺序一旦定下训练和推理都不能改 def extract_features(bgr): hsv cv2.cvtColor(letterbox(bgr), cv2.COLOR_BGR2HSV) return np.concatenate([color_hist(hsv), color_moments(hsv), shape_features(hsv)]) def build_dataset(data_root, classesCLASSES): X, y [], [] for label, name in enumerate(classes): folder os.path.join(data_root, name) if not os.path.isdir(folder): raise FileNotFoundError(f缺少类别目录: {folder}) for fn in sorted(os.listdir(folder)): if not fn.lower().endswith((.jpg, .jpeg, .png, .bmp)): continue img imread_unicode(os.path.join(folder, fn)) if img is None: print([skip] 读图失败:, fn) continue feat extract_features(img) if feat is None: print([skip] 未找到有效轮廓:, fn) continue X.append(feat) y.append(label) return np.asarray(X, dtypenp.float32), np.asarray(y, dtypenp.int64)extract_features里先letterbox再转 HSV保证所有图尺寸一致shape_features有可能返回None比如图上找不到任何轮廓调用方必须拦住否则np.concatenate会直接崩。build_dataset用raise而不是print来报缺少目录因为类别缺失是严重错误静默跳过后训练出来的模型少一类上线才发现就晚了。CLASSES这个元组的顺序就是标签编码0apple、1banana、2pear。它必须同时被训练和推理使用最稳妥的做法是跟模型一起存盘而不是两边各写一份。4.2 训练、网格搜索与混淆矩阵import joblib from sklearn.model_selection import train_test_split, GridSearchCV from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC from sklearn.metrics import classification_report, confusion_matrix def train(data_root, out_pathmodels/svm_fruit.pkl): X, y build_dataset(data_root) print(f样本总数 {len(y)}特征维度 {X.shape[1]}) Xtr, Xte, ytr, yte train_test_split( X, y, test_size0.25, stratifyy, random_state42 ) pipe Pipeline([ (scaler, StandardScaler()), # 532 维量级差异大必须标准化 (svm, SVC(kernelrbf, probabilityTrue)), # probability 供后续阈值弃判 ]) grid {svm__C: [1, 10, 100], svm__gamma: [scale, 0.01, 0.001]} gs GridSearchCV(pipe, grid, cv5, scoringf1_macro, n_jobs-1) gs.fit(Xtr, ytr) pred gs.predict(Xte) print(最佳参数:, gs.best_params_) print(混淆矩阵:\n, confusion_matrix(yte, pred)) print(classification_report(yte, pred, target_nameslist(CLASSES), digits3)) joblib.dump({ model: gs.best_estimator_, classes: list(CLASSES), feature_version: v1-532d, # 特征函数改了就必须升版本 }, out_path) print(模型已保存 -, out_path)几个参数值得说。stratifyy保证切分后各类比例和原始一致样本量小的时候不做分层很可能测试集里一个苹果都没有。scoringf1_macro而不是默认的 accuracy因为宏平均 F1 对每一类一视同仁不会因为某一类样本多就把分数撑起来。probabilityTrue会让 SVM 内部多做一层概率标定训练慢一点但换来predict_proba能力后面可以用来做「置信度太低就判为 unknown」的兜底。混淆矩阵是必看的。只看classification_report的 overall accuracy 很容易自欺欺人——如果测试集里苹果占七成全判苹果也有 70%。矩阵能直接告诉你梨被错判成香蕉多少次这类信息才指导后续加特征。4.3 单图预测与多目标定位先分割再分类真实照片里通常不止一个果子所以推理分两步先用阈值分割找出候选区域再对每个区域单独提特征分类。def predict_image(path, bundle, min_area2000, conf_th0.55): model, classes bundle[model], bundle[classes] img imread_unicode(path) if img is None: raise ValueError(f读图失败: {path}) vis img.copy() gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) blur cv2.GaussianBlur(gray, (5, 5), 0) _, th cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) if th[0, 0] 127: th cv2.bitwise_not(th) th cv2.morphologyEx(th, cv2.MORPH_OPEN, np.ones((5, 5), np.uint8), iterations2) cnts, _ cv2.findContours(th, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) results [] for c in cnts: if cv2.contourArea(c) min_area: # 过滤碎点和噪块 continue x, y, w, h cv2.boundingRect(c) roi img[y:y h, x:x w] # 裁出候选区域保持原始长宽比 feat extract_features(roi).reshape(1, -1) proba model.predict_proba(feat)[0] idx int(proba.argmax()) label classes[idx] if proba[idx] conf_th else unknown results.append((label, float(proba[idx]), (x, y, w, h))) color (0, 200, 0) if label ! unknown else (0, 165, 255) cv2.rectangle(vis, (x, y), (x w, y h), color, 2) cv2.putText(vis, f{label} {proba[idx]:.2f}, (x, max(y - 8, 12)), cv2.FONT_HERSHEY_SIMPLEX, 0.6, color, 2) return vis, resultsmin_area2000是经验值按图片分辨率要调。太小会把果柄、阴影当成目标太大则漏掉远处的小果子。conf_th0.55是弃判阈值低于它就输出unknown——在分拣场景里把一个不认识的物体硬判成苹果比标成未知要危险得多。注意roi是直接裁的外接矩形没有做掩膜四周会带一点背景。对这套特征来说影响不大因为letterbox和shape_features内部还会再做一次阈值分割把前景重新抠出来。如果背景很花可以在裁剪后额外做一次 GrabCut 精修代价是每张图多几十毫秒。5. 避坑与排查样本集最容易翻车的五个地方代码跑通不代表结果可信。下面这几条都是我在类似项目上真实踩过的现象、原因、解决按顺序写清楚对着查能省不少时间。5.1 脚本安静跑完样本数却是 0现象python src/train.py正常退出打印「样本总数 0」然后train_test_split报错说样本不足或者模型训练出来对所有输入都输出同一类。原因cv2.imread在 Windows 上遇到非 ASCII 路径中文目录名、中文文件名直接返回None不抛异常。build_dataset里用if img is None: continue把它跳过了于是一张都没进来。解决统一换成 3.1 节的imread_unicode用np.fromfilecv2.imdecode。另外在build_dataset里加一行统计把成功读入数和文件总数打出来对比对不上就停下来看比训练完发现模型是废的强。写文件同理cv2.imwrite也要换成cv2.imencodetofile否则预测结果图会静默不落盘。5.2 换一块深色桌布准确率腰斩现象训练集和测试集都在白墙背景上拍准确率 95%。拿到真实场景换成木色桌面准确率掉到 40% 出头苹果被认成梨。原因颜色直方图算的是整张图包括背景。白墙背景在 H/S/V 上高度一致模型实际学到的是「这片白色是苹果」而不是「这个红色的圆是苹果」。一旦背景变了最强的判别信号消失。解决算颜色特征时带上前景掩膜只统计果子区域。def foreground_mask(bgr): gray cv2.cvtColor(bgr, cv2.COLOR_BGR2GRAY) blur cv2.GaussianBlur(gray, (5, 5), 0) _, th cv2.threshold(blur, 0, 255, cv2.THRESH_BINARY cv2.THRESH_OTSU) if th[0, 0] 127: th cv2.bitwise_not(th) kernel np.ones((5, 5), np.uint8) th cv2.morphologyEx(th, cv2.MORPH_CLOSE, kernel, iterations2) th cv2.morphologyEx(th, cv2.MORPH_OPEN, kernel, iterations1) return th # 用法先算掩膜再传给 calcHist mask foreground_mask(img) hsv cv2.cvtColor(letterbox(img), cv2.COLOR_BGR2HSV) mask_small cv2.resize(mask, IMG_SIZE, interpolationcv2.INTER_NEAREST) hist color_hist(hsv, maskmask_small)掩膜要跟着letterbox一起缩放而且必须用INTER_NEAREST插值模式会把 0/255 的硬边糊成灰色calcHist会把灰边也统计进去。更彻底的做法是补采多背景样本每个类别都覆盖白墙、木桌、布面几种场景。5.3 Otsu 阈值把前景背景判反了现象分割出的掩膜大片全白findContours只找到一个包住整张图的外框预测框画在图片边缘上。原因Otsu 只保证类间方差最大不保证「目标白」。深色背景下果子比背景亮Otsu 会把背景判成 255浅色背景下结果反过来。代码里如果写死THRESH_BINARY一半场景会用错。解决用图像角点的亮度做启发式判断——假设 corners 大概率是背景如果角点像素是白的说明前景背景反了取反一次。if th[0, 0] 127: # 左上角是背景的概率很高 th cv2.bitwise_not(th)这个假设在果子铺满整张图时会失效更稳的方案是把四个角的均值都算一遍投票。再不行就上 GrabCut给定一个初始矩形迭代几次能拿到相当干净的前景掩膜代价是慢。5.4 香蕉和梨互相混淆混淆矩阵一片红现象classification_report显示 apple 的 F1 有 0.96但 pear 的召回只有 0.6混淆矩阵里 pear 那一行大量落在 banana 列。原因两者在 HSV 的 H 通道上都落在 20–35 的黄绿区间颜色直方图几乎重合外形又都是椭圆aspect都在 1.2–1.6 附近。单看颜色或单看长宽比都分不开。解决加对「弯曲」敏感的特征。除了 3.3 节的solidity还可以加曲率比——轮廓弧长除以首尾弦长直线段接近 1明显弯曲的会到 1.3 以上def curvature_ratio(contour): 弧长 / 首尾弦长越弯比值越大香蕉通常 1.25 peri cv2.arcLength(contour, True) pts contour.reshape(-1, 2).astype(np.float32) # 首尾点取轮廓上距离最远的一对近似代替旋转不变性更好 d np.linalg.norm(pts[:, None, :] - pts[None, :, :], axis2) chord d.max() return peri / chord if chord 1e-6 else 1.0另外别把标准化的活儿丢给 SVM 自己——532 维特征里直方图那 512 维数值在 0–0.1 之间solidity在 0–1 之间混在一起不加StandardScaler的话小量级特征基本被忽略。这也是我强烈建议用Pipeline把 scaler 和模型绑在一起的原因存盘时一起存推理时自动生效不会漏。5.5 离线 95%一上真实照片就崩现象本地测试准确率很高拿到现场随手拍的二十张图正确率不到一半而且错得很离谱。原因数据泄漏。为了扩样本很多人会对原图做旋转、翻转、调亮度然后把增强后的所有图一起随机切分。同一张原图的两个变体一个进训练集一个进测试集模型等于在背答案。解决先按原始图片分组再切分增强只在训练组内部做。from sklearn.model_selection import GroupShuffleSplit groups np.array([f.split(_aug)[0] for f in filenames]) # 增强文件名带来源前缀 gss GroupShuffleSplit(n_splits1, test_size0.25, random_state42) tr_idx, te_idx next(gss.split(X, y, groupsgroups))6. 二次开发换成自家品类、接上摄像头、再考虑升级路线真要拿去用改造点集中在三处改动量从小到大排。换品类在data/下建同名目录改CLASSES元组。特征维度不变直接重训即可。但要注意同色系品类会互相打架比如橙子和橘子得补纹理特征LBP或者大小特征用外接矩形面积占全图比例粗估。加品类不需要改网络结构这是传统方案最舒服的地方。接视频流把predict_image套一层循环每 5 帧检测一次中间帧复用上次结果CPU 上 640×480 也能跑到十几帧。cap cv2.VideoCapture(0) bundle joblib.load(models/svm_fruit.pkl) frame_id 0 last None while True: ok, frame cap.read() if not ok: break if frame_id % 5 0: last, _ predict_image_frame(frame, bundle) # 复用同一套分割分类逻辑 cv2.imshow(fruit, last if last is not None else frame) if cv2.waitKey(1) 0xFF 27: break frame_id 1 cap.release() cv2.destroyAllWindows()升级路线样本攒到每类三五百张、背景又没法控制的时候就该考虑迁移学习了。用 MobileNetV3 这类小骨干做特征提取冻结主干只训最后的分类头一两百张图每类就能出效果。模型导出 ONNX 后用cv2.dnn.readNetFromONNX加载推理端不引入 PyTorch部署包体积和这套 SVM 方案差不多。不管走哪条路验证方法都别偷懒单独留一个 20–30 张的「现场测试集」跟训练数据分开采每一类都要有评估时按类看召回而不是只看总体准确率。我吃过一次亏总体准确率 92% 的模型某一类召回只有 0.4原因是那类样本全是同一个角度拍的。从那以后我每次改完特征函数或者换数据都强制走一遍「先看混淆矩阵、再看分类别 recall、最后跑现场测试集」这三步不管多赶时间。希望帮到你。本文还有配套的精品资源点击获取