星点匠心建站 星点匠心建站XD JIANXIN STUDIO
400-883-9527 免费定制方案
ARTICLE DETAIL

资讯详情

深耕新锐建站与运营推广的一线实战洞察。

Python+OpenCV手势识别源码:HSV分割与凸缺陷计数实战

Python+OpenCV手势识别源码:HSV分割与凸缺陷计数实战 简介面向Python图像处理与计算机视觉入门者及高校课程设计场景整理的手势识别源码包围绕摄像头实时采集、肤色检测与手势轮廓分析展开可用于课程设计、毕业设计原型验证或OpenCV练习项目。压缩包共67个文件、约42.46MB包含30个Python源码文件、26个编译缓存文件、6张运行结果截图以及许可证、AI接口调用相关文件与opencv_python的whl离线安装包兼顾代码阅读、环境部署与效果对照。目前已有1894人学习下载。源码完整呈现按帧读取摄像头、镜像翻转、固定区域手势框选、HSV肤色检测、高斯滤波、轮廓提取、凸包凹凸点与手指夹角计算等流程并附改进版代码与多组调试结果图便于读者理解算法环节、复现实验现象、排查环境依赖问题同时保留原始版与修改版代码方便对比实现差异并在此基础上扩展手势指令识别。1. 摄像头一开手指数字却在上蹿下跳这份源码解决的问题把摄像头对准手掌屏幕上识别出的数字却在 3 和 4 之间来回跳——这是很多人第一次跑 Python OpenCV 手势识别代码时的真实体验。这份基于 Python OpenCV 的手势识别算法设计源代码材料做的就是把这条链路完整串起来摄像头取帧、HSV 肤色分割、形态学去噪、轮廓筛选、凸包与凸缺陷计数最后把伸出几根手指翻译成 0 到 5 的数字手势。它适合两类人一类是在校做课程设计或毕设、需要一套能跑通的图像处理管线、不想卡在调参上的开发者另一类是已经会用 OpenCV 读写图像但没做过从视频流到语义输出完整流程想拿一套结构清晰的项目改造成自己手势指令系统的人。整套代码用 PyCharm 按普通 Python 项目打开就能跑不依赖深度学习框架纯 CPU 推理帧率取决于摄像头分辨率调试过程里每一步中间结果都能可视化这一点比黑匣子模型友好得多。2. 项目骨架与技术选型一条不用深度学习的识别链路是怎么搭的手势识别这个题目网上大致两派做法一派直接上 CNN 训练分类另一派老老实实做传统图像处理。这份材料走的是后者核心判断是——在手掌正对摄像头、背景相对干净、单人单手这个典型场景下肤色分割加凸缺陷分析已经能给出稳定结果而它的调试成本比训练一个模型低一个数量级。模型训练要标数据、要调学习率、要等 GPU传统管线每一步都能出图看错在哪一环一目了然。至于它的短板也得提前说明背景里出现大面积肤色物体、光照剧烈变化、多人多手同框这几类情况下传统方法会明显吃力这是选型时就该知道的事。2.1 目录结构与文件职责工程结构不复杂但如果一开始就把所有逻辑塞进一个main.py改到第三天你自己都找不到阈值写在哪一行。一份清晰的分层大致是这样路径类型职责main.py入口打开摄像头、循环取帧、调用识别、绘制结果、处理按键退出config.py配置HSV 阈值上下界、面积阈值、缺陷深度阈值等全部参数集中capture.py采集封装VideoCapture处理分辨率、镜像翻转、读取失败重试segment.py分割高斯模糊、色彩空间转换、inRange掩膜、形态学去噪contour_utils.py轮廓轮廓查找、面积/凸性过滤、返回最像手的那一个gesture.py特征与判定凸包、凸缺陷、掌心距离、手指计数与手势映射smooth.py后处理帧间结果平滑压住数字乱跳requirements.txt依赖opencv-python、numpy两个核心包这个划分的价值在于调参时你只开config.py出问题时按采集→分割→轮廓→特征→判定的顺序逐层打印中间图故障点基本不会跑出这个范围。2.2 环境搭建Python、OpenCV、PyCharm 三件事依赖本身很轻卡住人的通常是环境细节。比较稳妥的做法是给这个项目单独建虚拟环境避免和你机器上已有的 OpenCV 版本互相干扰。# 建议 Python 3.8 ~ 3.11太新的版本某些 OpenCV 轮子还没跟上 python -m venv venv # Windows venv\Scripts\activate # macOS / Linux source venv/bin/activate # 只装这两个就够跑opencv-python 自带常用编解码 pip install opencv-python numpy -i 你的常用镜像源装完先别急着跑主程序用三行代码验证一下摄像头和 OpenCV 都能通import cv2 print(cv2.__version__) # 确认版本号打印正常 cap cv2.VideoCapture(0) # 0 是默认摄像头外接摄像头可能要试 1 或 2 ok, frame cap.read() print(读取成功 if ok else 读取失败, None if frame is None else frame.shape) cap.release() # 用完必须释放否则下次打开会占用设备frame.shape打印出来是(480, 640, 3)这样的三元组说明拿到了 480 行、640 列、3 通道的 BGR 图像。如果ok是False先排除摄像头被其他软件占用、系统权限未授权这两件事再怀疑代码。PyCharm 里记住把 Project Interpreter 指向刚建的 venv否则终端装好了、IDE 里仍然ModuleNotFoundError这是新手最常翻的车。2.3 为什么用 HSV 而不是直接对灰度图做阈值RGB 三个通道都和亮度强相关同一只手在阳光下和背光下R 值能差出一倍你按 RGB 设的阈值换个房间就废了。HSV 把色相H、饱和度S、明度V拆开肤色在 H 通道上的分布相当集中光照变化主要影响 V把 V 的下界放宽一点就能吸收大部分亮度波动。这套代码按 HSV 做肤色掩膜是成本最低也最容易解释的方案。如果遇到偏黄或偏白的光源可以再叠一层 YCrCb 空间做与运算Cr 通道在 133~173、Cb 通道在 77~127 是常用的肤色区间两个空间同时命中的像素才保留误检会明显下降代价是阈值又多了一组要调。import cv2 import numpy as np # HSV 肤色区间H 覆盖红黄一段S 和 V 给足下限过滤灰白与暗部 LOWER_HSV np.array([0, 40, 80], dtypenp.uint8) UPPER_HSV np.array([20, 255, 255], dtypenp.uint8) def skin_mask(bgr_frame): # 高斯模糊压掉传感器噪点核必须是奇数 blurred cv2.GaussianBlur(bgr_frame, (5, 5), 0) hsv cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV) # inRange 输出单通道 0/255 掩膜命中的像素为白 mask cv2.inRange(hsv, LOWER_HSV, UPPER_HSV) return maskLOWER_HSV里的[0, 40, 80]三个数分别对应色相下界、饱和度下界、明度下界。色相在 OpenCV 里被压缩到 0~179所以红色到黄色的肤色大致落在 0~20饱和度下限 40 是为了把接近灰白的墙面排除掉明度下限 80 挡掉阴影。这三个数就是整个项目里最需要动手改的地方后面第 5 章会专门讲怎么调。3. 图像预处理链路从一帧原始画面到一只干净的手预处理这一段决定了后面所有环节的上限。掩膜里混进一块墙、轮廓上挂着半个袖子凸缺陷算出来必然是错的而你还以为是自己判定逻辑写错了。这一章按实际执行顺序拆开讲每一段都给出可以直接抄的代码以及为什么放在这个位置。3.1 采集与镜像翻转两行代码决定手感摄像头读出来的画面默认是别人看你的视角你抬右手屏幕上是左边那只手在动交互体验非常别扭。所以第一件事是水平翻转。import cv2 cap cv2.VideoCapture(0) cap.set(cv2.CAP_PROP_FRAME_WIDTH, 640) # 分辨率不是越大越好640x480 够用且省算力 cap.set(cv2.CAP_PROP_FRAME_HEIGHT, 480) cap.set(cv2.CAP_PROP_FPS, 30) while True: ok, frame cap.read() if not ok: break # 读帧失败直接退出别在循环里死等 frame cv2.flip(frame, 1) # 1 表示水平翻转0 是垂直-1 是都翻 cv2.imshow(camera, frame) if cv2.waitKey(1) 0xFF 27: # ESC 退出 break cap.release() cv2.destroyAllWindows()这里cv2.flip(frame, 1)的第二个参数是翻转模式1为绕 y 轴水平镜像。分辨率设成 640×480 是个经验值再高单帧处理时间上去了帧率掉下来画面反而更卡再低手掌边缘细节不够凸缺陷位置偏移明显。cv2.waitKey(1)返回的是键盘码 0xFF是为了跨平台取低八位不加在某些系统上 ESC 判定会失效——这个细节很多人抄代码时漏掉然后在 Windows 上怎么按都没反应。另外补一句cap.read()的返回值一定要判。有些摄像头拔掉后不会抛异常只是持续返回(False, None)不判的话后面cvtColor会直接给你一个空指针错误栈信息还指不到真正的原因。3.2 HSV 肤色分割与阈值区间拿到镜像帧之后进入分割。整个流程是模糊 → 转 HSV → inRange → 形态学模糊放在最前面是因为噪声一旦被 inRange 放大成孤立白点后面再用形态学去补代价更高。import cv2 import numpy as np def build_mask(bgr_frame, lower, upper): # 第一步高斯模糊核大小 (5,5)标准差 0 表示由核大小自动推算 blurred cv2.GaussianBlur(bgr_frame, (5, 5), 0) # 第二步BGR - HSV注意 OpenCV 默认读进来就是 BGR不是 RGB hsv cv2.cvtColor(blurred, cv2.COLOR_BGR2HSV) # 第三步按区间二值化落在区间内的置 255其余置 0 mask cv2.inRange(hsv, lower, upper) # 第四步开运算去孤立噪点闭运算补手掌内部空洞 kernel np.ones((5, 5), np.uint8) mask cv2.morphologyEx(mask, cv2.MORPH_OPEN, kernel, iterations1) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel, iterations2) return mask参数上GaussianBlur的核必须是正奇数(5,5)是轻度模糊如果画面噪点重可以升到(7,7)但别超过(9,9)否则手指之间的缝隙会被糊掉凸缺陷就找不到了。morphologyEx里MORPH_OPEN是先腐蚀后膨胀作用是消除小面积白点MORPH_CLOSE是先膨胀后腐蚀用来填补掌心因为反光产生的小黑洞。闭运算的iterations2比开运算多一次因为手掌内部空洞比背景噪点更需要补。提示调阈值时把mask和原图并排imshow比盯着识别结果猜要快得多。哪块背景被误判成肤色一眼就能看见。3.3 形态学之后为什么还要做轮廓面积与凸性过滤掩膜出来往往不止一个白色区域脸上可能有、胳膊上可能有、背景里挂着的纸箱也可能有。直接取findContours的第一个结果经常会抓到一块墙角。所以轮廓阶段要做三重筛选。import cv2 def pick_hand_contour(mask, min_area6000, max_area200000): # RETR_EXTERNAL 只取最外层轮廓忽略手掌内部的孔洞层级 contours, _ cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return None best, best_area None, 0 for cnt in contours: area cv2.contourArea(cnt) # 第一重面积过滤太小是噪点太大基本是把整个人框进去了 if area min_area or area max_area: continue # 第二重凸性过滤solidity 轮廓面积 / 凸包面积 hull cv2.convexHull(cnt) hull_area cv2.contourArea(hull) if hull_area 0: continue solidity area / hull_area if solidity 0.6: # 手掌张开时 solidity 通常在 0.75 以上 continue # 第三重取面积最大的那个多手同框时只认最近的一只 if area best_area: best, best_area cnt, area return bestmin_area6000是针对 640×480 分辨率拍的手离镜头半米左右手掌加手指的轮廓面积大概在 1 万到 3 万像素之间设 6000 能挡掉大部分噪点又不至于漏检。如果你的摄像头分辨率翻倍这个值要按面积平方关系同步放大否则会一直返回None——这是换设备后最常见的失效原因。solidity用轮廓面积除以凸包面积手指张开时手指间的凹陷会让凸包略大但整体还在 0.75 往上如果抓到的是方形物体这个比值接近 1反而不会误判成手真正的过滤器是面积和形状的综合。3.4 把中间结果可视化比加打印快十倍调试阶段建议在主循环里加一个调试窗口把原图、掩膜、轮廓三张图拼在一起看。def debug_view(frame, mask, contour): mask_bgr cv2.cvtColor(mask, cv2.COLOR_GRAY2BGR) # 单通道转三通道才能拼 canvas frame.copy() if contour is not None: cv2.drawContours(canvas, [contour], -1, (0, 255, 0), 2) # 横向拼接原图 | 掩膜 | 带轮廓的原图 return np.hstack([canvas, mask_bgr, cv2.cvtColor(mask, cv2.COLOR_GRAY2BGR)]) # 主循环里 vis debug_view(frame, mask, contour) cv2.imshow(debug, cv2.resize(vis, None, fx0.6, fy0.6))np.hstack要求三张图高度一致、通道数一致所以mask必须先cvtColor成 BGR。cv2.resize里fx0.6是缩放系数三张 640 宽的图拼起来 1920 宽很多笔记本屏幕放不下缩到六成刚好。这套可视化在调阈值阶段能省掉大量改了参数跑一遍看结果的循环。4. 手势特征提取凸包、凸缺陷和掌心距离怎么配合预处理拿到一只干净的轮廓之后真正决定识别准不准的是特征提取。这一章的核心是三个几何量凸包convex hull、凸缺陷convexity defects、掌心距离palm distance。单用任何一个都不够稳组合起来才能把伸出手指这件事说清楚。4.1 凸包与凸缺陷手指缝就是那个坑凸包是能包住轮廓的最小凸多边形凸缺陷是轮廓上凹进去的部分——通俗讲就是手指之间的缝隙。伸 5 根手指有 4 个缝握拳一个缝都没有这就是缺陷数 1 手指数这个朴素结论的来源。import cv2 import numpy as np def find_defects(contour): # returnPointsFalse 返回的是轮廓点的索引不是坐标convexityDefects 需要索引 hull_idx cv2.convexHull(contour, returnPointsFalse) # 轮廓点少于 4 个时凸缺陷无意义直接返回空 if hull_idx is None or len(hull_idx) 4 or len(contour) 4: return [] # 这一步在某些 OpenCV 版本上对点序有要求失败会抛异常所以包一层 try: defects cv2.convexityDefects(contour, hull_idx) except cv2.error: return [] if defects is None: return [] result [] for i in range(defects.shape[0]): s, e, f, d defects[i, 0] start tuple(contour[s][0]) # 缺陷起点 end tuple(contour[e][0]) # 缺陷终点 far tuple(contour[f][0]) # 凹陷最深的点 depth d / 256.0 # OpenCV 存的是实际距离乘 256必须还原 result.append((start, end, far, depth)) return resultconvexityDefects的返回值每一行是四个整数[起点索引, 终点索引, 最远点索引, 深度]。深度这个字段是定点数OpenCV 内部把浮点距离乘了 256 存成整数所以取出来一定要除以 256忘了这一步会导致阈值判断完全失真——这是我在别人的代码里见过最多的一个错误因为它不报错只是结果莫名其妙。4.2 缺陷点角度与深度双重过滤原始缺陷列表不能直接数因为手腕和手掌根部之间那个大凹陷也会被算进去而且噪声会在边缘制造大量浅坑。所以每一条缺陷都要过两道筛子深度够不够角度够不够尖。import numpy as np def angle_at(far, start, end): # 余弦定理求凹陷点处的夹角角度越小说明缝越尖 a np.linalg.norm(np.array(start) - np.array(far)) b np.linalg.norm(np.array(end) - np.array(far)) c np.linalg.norm(np.array(start) - np.array(end)) if a * b 0: return 180.0 cos_val (a ** 2 b ** 2 - c ** 2) / (2 * a * b) cos_val np.clip(cos_val, -1.0, 1.0) # 浮点误差可能越界必须 clip return float(np.degrees(np.arccos(cos_val))) def count_fingers(contour, defects, palm_center, palm_radius, min_depth25.0, max_angle90.0, max_dist_ratio2.6): count 0 for start, end, far, depth in defects: if depth min_depth: continue # 深度太浅是噪声不是指缝 if angle_at(far, start, end) max_angle: continue # 角度太钝多半是手腕那个大弯 dist np.linalg.norm(np.array(far) - np.array(palm_center)) if dist palm_radius * max_dist_ratio: continue # 离掌心太远基本是手臂边缘 count 1 return count 1 if count 0 else 0 # 有缝才算伸出手指全握拳返回 0三个阈值的作用要分清min_depth25.0是像素单位深度小于这个数的凹陷直接丢它在 640×480 下对应大概一根手指宽度的 1/4max_angle90.0是指缝的夹角上限手指张开时夹角通常在 30~70 度超过 90 度的钝角基本都是手腕max_dist_ratio2.6表示凹陷点到掌心的距离不能超过掌心半径的 2.6 倍这一条专门用来砍掉手臂方向的假缺陷。最后那个count 1的逻辑要注意如果没有通过过滤的缺陷说明是握拳应该返回 0 而不是 1。4.3 掌心距离法给凸缺陷兜底凸缺陷法有个天然缺陷手指并拢时缝隙消失明明伸了 3 根手指缺陷数却是 0。所以需要一个不依赖缝隙的辅助判据——掌心距离法以掌心为圆心画圆看轮廓上有多少段落在圆外的远处。掌心位置的计算常见做法是用距离变换找最大内切圆圆心import cv2 import numpy as np def palm_circle(mask): # 距离变换每个前景像素到最近背景像素的距离 dist cv2.distanceTransform(mask, cv2.DIST_L2, 5) # 最大值所在位置就是掌心最大值就是掌心半径 _, max_val, _, max_loc cv2.minMaxLoc(dist) return max_loc, max_val # max_loc 是 (x, y) def fingers_by_palm(contour, palm_center, palm_radius, factor1.35): # 轮廓上每个点到掌心的距离超过半径 factor 倍就认为伸出去了 far_points [] for p in contour: pt p[0] d np.linalg.norm(pt - np.array(palm_center, dtypenp.float64)) if d palm_radius * factor: far_points.append(tuple(pt)) return far_pointscv2.distanceTransform第二个参数cv2.DIST_L2表示欧氏距离第三个参数 5 是掩膜尺寸常用的取值就是 3 或 55 更平滑但略慢。minMaxLoc返回四个值第二个是最大值、第四个是最大值坐标很多人第一次用会搞混顺序写成max_loc, max_val, _, _就全错位了。factor1.35这个系数的含义是伸出手指尖到掌心的距离至少是掌心半径的 1.35 倍。这个值不能设太小否则手掌边缘的凸起会被算进去也不能太大会把短手指漏掉。实际调的时候把手掌正对镜头张开五指打印d / palm_radius的分布找那个明显的分界点。两套方法怎么配合凸缺陷数给出了一个初值掌心距离法给出一个独立估计两者一致就采信不一致时以较小的那个为准宁可少数一根也不要多数。这种两个独立判据取保守值的思路在传统视觉里很常见比单点判断稳得多。4.4 帧间平滑让数字别在 3 和 4 之间反复横跳单帧判定必然有抖动摄像头噪声、手部微颤、阈值边界效应都会导致相邻两帧结果不同。最省事也最有效的做法是维护一个长度为 N 的队列取众数作为输出。from collections import deque, Counter class GestureSmoother: def __init__(self, window9, min_votes5): self.buf deque(maxlenwindow) # 只保留最近 window 帧 self.min_votes min_votes # 至少这么多帧一致才输出 def update(self, value): self.buf.append(value) if len(self.buf) self.buf.maxlen: return None # 预热期不输出避免开头几次误判 counter Counter(self.buf) most, votes counter.most_common(1)[0] return most if votes self.min_votes else Nonewindow9大约对应 0.3 秒按 30fps 算min_votes5表示九帧里至少五帧一致才认。这个组合的副作用是响应变慢了一点但换来的是画面上的数字不再乱跳。如果你的应用对实时性要求更高可以把窗口缩到 5、票数降到 3代价是抖动会回来一些。返回None表示当前不确定调用方可以保持上一次的显示值而不是频繁闪烁。5. 排查与避坑光照、背景、抖动这三座大山这套管线在实验室里跑得好好的换到客厅、换到下午的窗边就开始失灵问题基本集中在下面几类。每一条都是踩过的按现象 → 原因 → 解决写清楚遇到时对着排查能省不少时间。5.1 现象手一动掩膜就碎成一片一片原因阈值区间过窄叠加运动模糊这是新手最常报的症状手静止时掩膜还算完整一挥手就变成一堆白点轮廓面积掉到阈值以下程序一直返回未检测到手。原因有两层一是 HSV 的 S 和 V 下界设得太高手掌边缘在快速移动时产生运动模糊颜色被冲淡像素直接掉出区间二是高斯模糊核和形态学核不匹配开运算把本来就细的边缘又削薄了一层。解决办法是先把S下界从 40 降到 25 左右试试同时把开运算的iterations从 1 降到 0 或者干脆去掉开运算——噪点主要靠后面的面积过滤和凸性过滤来挡形态学不需要在前面承担全部责任。如果还不行把GaussianBlur的核换回(3,3)运动模糊严重时模糊本身是负收益。5.2 现象背景里的木桌、纸箱被识别成手原因肤色区间和背景色在 H 通道重叠木头的颜色在 HSV 上经常落在 H 5~15、S 60~140 这个范围和肤色高度重合光靠调阈值很难分开。这时候要去动别的维度一是把 V 的上界从 255 压到 220 左右木头通常比手掌暗一点二是加一层 YCrCb 的 Cr 通道约束木头的 Cr 值和皮肤有明显差异三是引入背景减除用cv2.createBackgroundSubtractorMOG2拿到运动区域只保留既像肤色又在动的像素。第三种的代价是手静止超过几秒会被判成背景所以更适合交互类应用不适合静态手势识别。实际项目里我一般先试前两种不够再上第三种。5.3 现象cv2.convexityDefects抛异常或者返回 None原因轮廓点不足或点序不符合要求报错信息通常是The convex hull indices are not monotonous或者not enough points。前者是因为传入的轮廓点序不是标准的单调顺序——findContours在某些CHAIN_APPROX模式下返回的点序不满足凸包算法的假设后者是轮廓点数少于 4 个凸缺陷在数学上不成立。处理办法很直接一是findContours统一用cv2.CHAIN_APPROX_SIMPLE它会压缩掉共线的冗余点但保留了正确的绕行方向二是在调用前判断len(contour) 4三是把convexityDefects包在try/except cv2.error里异常时返回空列表让主流程继续不要让一帧异常把整个程序打断。很多示例代码不写这层保护跑几分钟崩一次非常难定位。5.4 现象识别结果整体偏一位伸 3 根手指显示 4原因把手腕凹陷算成了指缝这是凸缺陷法最经典的偏差。手腕和手掌根部之间天然存在一个很深的凹陷深度往往比真实指缝还大如果不做过滤count 1出来的值就永远多一。判断并剔除它的方法有三个可叠加一是位置手腕凹陷的最远点 y 坐标明显低于掌心画面里越靠下 y 越大可以设一条far[1] palm_center[1] palm_radius * 0.8就丢弃二是角度手腕凹陷处夹角通常是钝角max_angle90能挡掉大半三是距离用max_dist_ratio限制凹陷点到掌心的距离。三个条件同时生效基本不会误杀真实指缝。注意这几个阈值都是像素和比例的混合改分辨率之后必须重新校准不能直接照抄。5.5 现象程序跑几分钟后卡死、内存上涨原因帧对象和窗口未释放表现是帧率逐渐下降最后完全不动任务管理器里内存一路往上爬。原因通常是两种情况一是循环里不断cv2.namedWindow或者重复创建VideoCapture没有对应释放二是主循环里存在异常分支异常抛出后跳过了cap.release()和destroyAllWindows()。稳妥写法是把释放逻辑放进try/finallycap cv2.VideoCapture(0) try: while True: ok, frame cap.read() if not ok: break # ... 处理逻辑 if cv2.waitKey(1) 0xFF 27: break finally: cap.release() # 无论是否异常都释放设备 cv2.destroyAllWindows()另外长时间运行的应用建议每隔几百帧调用一次gc.collect()虽然 Python 的内存管理本身够用但 OpenCV 的 Mat 对象在异常路径上偶尔会延迟回收主动触发一次能避免累积。6. 二次开发把手势 0-5 扩成你自己的指令集这套代码最容易被低估的地方是它输出的其实不是数字而是伸出的手指数量 每个指尖的坐标。数字只是最浅的一层封装真正值钱的是far_points这个列表——每个元素都是一根伸出的手指尖位置。你完全可以绕开数字直接用指尖坐标做文章。改造路径大致三条。第一条是加静态手势组合把手指数量换成哪几根手指伸出的位掩码。做法是在count_fingers里不返回数量而是返回一个 5 位布尔数组判断每根手指是否伸出时用指尖相对掌心的角度分区——以掌心为原点把 360 度分成 5 个扇区落在哪个扇区就算哪根手指。这样OK 手势比心剪刀手都能用一个位掩码表示映射表放在config.py里新增手势只改配置不改逻辑。第二条是加动态手势连续几帧的指尖坐标序列本身就是一条轨迹画个圆就是画圈快速横移就是挥手。最简单的实现是维护一个长度 30 的坐标队列算起点到终点的位移方向和累计转角超过阈值就触发事件。这一步不需要任何机器学习纯粹是几何统计但能把手势从静态状态升级成动作指令交互丰富度提升很明显。第三条是接业务把识别结果通过一个回调函数抛出去而不是直接在主循环里print。定义一个on_gesture(name)接口主循环只管检测和调用回调具体是控制幻灯片翻页、控制播放器、还是通过串口发给下位机全部解耦到外部模块。这样整套视觉代码不需要为任何一个具体业务改一行复用性直接上一个台阶。验证方法上我一般会做两件事一是录一段固定动作的视频文件用cv2.VideoCapture(test.mp4)替掉摄像头输入跑完整管线统计每类手势的识别帧数和误判帧数比实时看屏幕可靠得多二是把config.py里所有阈值导出成一份表改任何一项都在表里记一笔并注明原因否则调了两周之后你完全不记得max_dist_ratio为什么是 2.6 而不是 2.4。改造方向需要动的文件风险点静态手势组合gesture.py、config.py扇区划分依赖掌心定位精度掌心偏移会整体错位动态手势轨迹新增motion.py、main.py队列长度决定灵敏度短了误触发、长了迟钝业务回调解耦main.py回调里做耗时操作会拖垮帧率必须异步或轻量踩过的最大一个坑是早期我为了通用把所有阈值都做成运行时可通过滑条调整的结果参数一多反而没人知道正确值是多少每次换环境都要重新拖一遍。后来改成固定一组默认值写死在配置里只在调试模式才显示滑条问题立刻少了。从那以后我每次动阈值之前都强制先把原图、掩膜、轮廓三张图并排开一个调试窗口看一遍确认问题到底出在哪一环再动手而不是凭感觉调数字。希望帮到你。本文还有配套的精品资源点击获取
返回列表