星点匠心建站 星点匠心建站XD JIANXIN STUDIO
400-883-9527 免费定制方案
ARTICLE DETAIL

资讯详情

深耕新锐建站与运营推广的一线实战洞察。

一份引擎两个平台:EyeGestures视线追踪如何用Rust核心同时支撑Web与Python

一份引擎两个平台:EyeGestures视线追踪如何用Rust核心同时支撑Web与Python 计算机视觉AI 应用【免费下载链接】EyeGesturesgaze tracking software项目地址https://gitcode.com/gh_mirrors/ey/EyeGestures点击查看免费下载EyeGestures 是一款开源视线追踪眼动追踪库只需普通摄像头就能把目光变成屏幕上的光标与交互事件无需昂贵硬件。它的 V4 版本完成了一次关键重构核心算法统一用 Rust 写成一份引擎再通过 WebAssembly 与 pyo3 两个薄适配层让同一套视线追踪算法同时跑在浏览器和 Python 桌面程序中。本文带你快速看懂这份一份引擎、两个平台的架构是如何搭起来的。 为什么要收敛到一份核心EyeGestures 早期有两条并行的算法路线桌面端是纯 Python 实现Web 端是 JavaScript 实现EyeGesturesLite。README 中明确写道随着 Rust 引擎发布fully pythonic engines become deprecated动机就是single algorithm powering eyegestures applications——用同一个算法驱动所有版本因为维护多套引擎已经超出能力范围。这带来的直接好处修一次 Bug两个平台同时受益校准逻辑、平滑策略只需在 Rust 里改一次行为一致网页版和桌面版的视线输出完全同构均为[x, y, calibrating, calib_x, calib_y]五个数性能更好核心计算全部编译为机器码Python/JS 侧不再承担算法开销 核心只有一个EyeGesturesCore真正的大脑在 engine/src/eyegestures.rs 中源码注释直接写明它的身份Shared core gaze tracking logic (wasm python)。它的process_landmarks方法每帧做四件事提取眼部关键点从 MediaPipe 的 478 个面部 landmark 中挑出左右眼轮廓与瞳孔468/473 号点并对坐标做归一化消除头部缩放/位移的影响校准预测把关键点送入 engine/src/calibrator.rs 中的Calibrator——一套线性回归 高斯消元求解配合 25 个固定校准点engine/src/calibrator.rs代码里 Match JS MLR behavior 的注释说明它是 Web 端算法的忠实移植20 帧滑动平均对原始预测做平滑抑制抖动状态输出返回 GazeResult注视坐标、是否处于校准中、当前校准目标点此外还有 engine/src/fixation.rs 负责注视fixation强度计算。整个核心不依赖任何平台 API只处理纯浮点数数组——这正是它能一份代码、两端运行的前提。 两个适配层同一批 API两套绑定engine/src/lib.rs 用 Rust 的条件编译把平台模块隔开#[cfg(target_arch wasm32)] pub mod wasm; #[cfg(feature python)] pub mod python;也就是说同一份 Cargo 工程编译目标不同、feature 不同产出的东西完全不同 WebWASM Python绑定框架wasm-bindgenweb-syspyo3入口类EyeGesturesEngineWasmEyeGesturesEnginePython编译命令wasm-pack build --target webmaturin build --features python分发形式npm 包 / CDN 脚本PyPI 包eyeGestures两个适配层暴露的 API 几乎完全对称new(screen_width, screen_height)、process(landmarks) - [f64; 5]、add_calibration_point(x, y)、recalibrate()Python 侧仅额外多了calib_counter、calib_max两个 getter。依赖的开关则集中在 engine/Cargo.tomldefault [wasm]python [pyo3]且 crate 类型为cdylib rlib天然支持编译成 WASM 模块和 Python 扩展两种产物。 Web 端wasm-pack 编译 JS 封装构建链路写在根目录 Makefile 的wasm目标里先执行wasm-pack build --target web把 Rust 编译成浏览器可用的EyegesturesEngine.js再用 terser 压缩产出eyegestures.min.js。运行时的胶水代码在 web/src/eyegestures.jsthis.engine new engineModule.EyeGesturesEngineWasm(width, height);之后 MediaPipe FaceMesh 每检测一帧人脸就把 478 个 landmark 拍平成一维数组交给this.engine.process(flattened)见 web/src/eyegestures.js拿到五个数后驱动蓝色光标。JS 层只负责摄像头、人脸检测、DOM 渲染这些平台杂活算法全部在 WASM 里完成。 Python 端maturin 编译 Python 封装Python 侧的构建链路在根 Makefile 的python目标maturin build --release --no-default-features --features python --interpreter python3.12 python3.13pyproject.toml 中的[tool.maturin]段把构建指向同一个 Rust 工程manifest-path engine/Cargo.toml、features [python]、module-name eyeGestures.EyegesturesEngine。仓库里甚至直接带着编译产物 EyegesturesEngine.cpython-313-x86_64-linux-gnu.so另有 cpython-314 版本可以印证这一点。上层封装在 eyeGestures/__init__.pyEyeGestures_v4.step()里先实例化RustEyeGesturesEngine(width, height)再把 mediapipe 检测出的 landmark 拍平后调用self.engine.process(...)见 eyeGestures/__init__.py。用户完全感知不到底层是 Rust——依赖的mediapipe、opencv只负责人脸与眼部检测视线回归计算本身一行 Python 都不用写。 这套架构的可借鉴之处核心与运行时解耦把纯算法浮点进、浮点出与 I/O摄像头、屏幕、GUI严格分层核心零平台依赖feature flags 一个工程出两种产物wasm与python作为 feature配合#[cfg]避免维护两份源码FFI 边界刻意保持简单跨语言只传一个扁平f64数组不做复杂对象映射序列化与版本兼容成本几乎为零 快速上手桌面端pip install eyeGestures然后运行官方示例 examples/simple_example_v4.py——校准 25 个红点后即可用目光移动红色光标Web 端参考 web/example/simple.html 的页面结构或通过 npm 安装eyegestures包web/package.json一句代码看懂全貌无论是浏览器里的new EyeGesturesEngineWasm(...)还是 Python 里的RustEyeGesturesEngine(...)它们背后都是同一个 EyeGesturesCore——这正是一份引擎、两个平台的全部秘密。赞分享计算机视觉AI 应用【免费下载链接】EyeGesturesgaze tracking software项目地址https://gitcode.com/gh_mirrors/ey/EyeGestures点击查看免费下载相关推荐从Nova3D到FormaNova同一套引擎如何支撑专业珠宝CAD设计从Nova3D到FormaNova同一套引擎如何支撑专业珠宝CAD设计 Nova3D 是一个面向 可编程 3D 设计 的工作区它把资产与场景构建为 可编辑、JJYB_AI智剪开发者指南23个API路由与24个核心引擎如何撑起AI视频剪辑JJYB_AI智剪开发者指南23个API路由与24个核心引擎如何撑起AI视频剪辑 JJYB_AI智剪是一款面向视频创作者的 本地 AI 视频自动剪辑与智能解说nfsu2-web 网络架构详解Rust 服务器如何支撑 14000 人同时自由漫游nfsu2 web 网络架构详解Rust 服务器如何支撑 14000 人同时自由漫游 nfsu2 web 是一个让经典赛车游戏《极品飞车地下狂飙2》NF上一篇11.8k stars、日榜第 14Needle 到底踩中了开源社区的哪根神经下一篇日均 3 万次代码合并的秘密武器开源了开发者社区连夜开卷创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表