
简介面向具备一定JavaScript与爬虫基础的学习者这份资源以某东平台为案例围绕webpack打包方式下的H5ST模板逆向分析展开提供一套可对照研读的完整代码实现帮助理解加密参数生成、模块调用链梳理与请求复现中的关键环节适合用于爬虫数据接口参数研究和前端安全方向的实战练习。压缩包共2个文件包含1个Python脚本和1个JavaScript脚本体量约159KB前者可用于请求侧联调与结果验证后者侧重前端逻辑还原与调试分析双端配合便于定位问题。目前已有860人学习可作为逆向工程与爬虫技术结合的参考。读者可从中获得H5ST相关逻辑的分析思路、脚本组织方式以及调试排错线索并据此加深对webpack模块加载机制、浏览器调试流程和目标接口参数构造过程的理解。1. 从一个 40 字符签名串说起webpack 打包反而降低了逆向门槛上个月帮朋友排查一个价格监控脚本抓包后发现请求里多了一个四十多字符的h5st参数删掉它服务端立刻返回签名错误。按老经验webpack 打出来的包是 JS 逆向里最不好处理的一类模块编号、字符串数组、全量混淆一个入口函数能被拆到五六个 chunk 里。结果这次恰恰相反webpack 的模块注册机制本身就是一份免费索引只要在 chunk 加载的那一刻挂个钩子所有工厂函数都能按编号原样取出来连__webpack_require__.c里已实例化的模块都能直接用。这篇按「抓包定位 → 补环境 → 拆算法 → 复现踩坑」四步把这条链路完整走一遍也会说清爬虫里最容易出问题的地方在哪。新手照着能跑通熟手可以直接跳到第 3 章和第 5 章看判断依据。2. 定位签名入口从 XHR 断点到 webpack 模块编号的四步签名参数最难的地方在定位入口不在算法本身。一段被压缩成function n(e,t,r){...}的代码里谁都能看出它在做哈希但你没法确认这就是目标函数。所以第一步是缩小范围把「谁生成」「谁传递」分开。2.1 抓包里先分清「谁签的」和「谁传的」打开开发者工具的 Network 面板筛选 XHR 和 Fetch找那条带目标参数的请求。签名值一般有三个落点query string、请求体表单或 JSON、自定义请求头。三个位置都翻一遍别只盯着 URL。翻到之后做三组对照实验这是判断依赖关系最快的方法刷新页面不动参数看签名段变不变。变了说明明文里含时间戳或随机数。只改一个业务参数看签名段变不变。变了说明业务参数进了明文。清掉本地存储看令牌段变不变。变了说明有服务端下发的令牌参与。这三组做完明文的构成基本就有轮廓了。我一般会在这里就把「段」拆出来看大多数这类参数用分号分隔第一段往往是时间戳长度固定、高位接近当前毫秒数一眼能认。接着下断点。Sources 面板里手动找 XHR 断点容易漏直接在控制台重写更稳// 重写 fetch命中目标接口时断下来比面板里勾 XHR 断点更可控 const rawFetch window.fetch; window.fetch function (...args) { const url typeof args[0] string ? args[0] : (args[0] args[0].url); if (url url.includes(/api/)) { debugger; // 断下来后一定要在 Call Stack 里勾上 Async否则看不到异步链路 } return rawFetch.apply(this, args); };断下来之后Call Stack 里从上往下逐帧点找第一帧属于业务 chunk 的文件。压缩后的帧名通常是xxx.8f3a1c.js:1把这个文件名记下来后面搜关键字就在这个文件里搜。勾选 Async 很重要很多签名是在 Promise 链里算的不勾只能看到一串调度器内部帧。2.2 webpack 运行时三件套模块表、require、缓存webpack 产物里永远有三个东西一张模块表id 到工厂函数的映射、一个__webpack_require__函数、一个已加载模块的缓存对象。不同大版本的注册方式略有差别但入口都是同一个chunk 文件执行时会往全局数组上push一次。特征webpack 4 及更早webpack 5全局变量名webpackJsonpself.webpackChunk自定义名push 参数[[chunkId], {id: factory}, [deps]][[chunkId], {id: factory}]模块表位置闭包内需从 push 参数拿同左但可由运行时对象访问缓存对象__webpack_require__.c同名结构一致知道这个规律挂个钩子就能把全部工厂函数收进自己的字典// 在页面脚本执行之前注入devtools 的 Sources - Snippets或本地 Overrides 都行 (function hookChunk() { // 变量名不固定先按特征找要么叫 webpackJsonp要么以 webpackChunk 开头 const key Object.keys(window).find( k k webpackJsonp || /^webpackChunk/.test(k) ); if (!key) return; const store {}; // 模块 id - 工厂函数 const target window[key]; window[key] new Proxy(target, { get(obj, prop) { if (prop ! push) return obj[prop]; return function (chunk) { const modules chunk[1] || {}; for (const id in modules) store[id] modules[id]; window.__MODS__ store; // 挂到全局方便随时取 return obj.push.apply(obj, arguments); }; } }); })();这段代码的关键在store[id] modules[id]。工厂函数拿到手toString()出来虽然还是压缩态的但常量、字符串、调用关系都在已经能搜了。另一个常被忽略的入口是__webpack_require__.c。已经实例化过的模块其exports就是活对象。加密库、工具库这类模块在页面初始化时早就加载好了直接从缓存里取比自己重新引入一份第三方库靠谱得多也避免了版本不一致导致的摘要差异。2.3 用调用栈把入口钉死在具体模块有了模块表剩下的就是缩小范围。回到刚才断下来的那一帧看它所在的文件把文件格式化成可读形式然后按关键词搜。有效的关键词不多目标参数名本身、md5、sha256、hmac、AES、encrypt、sign、timestamp、split(;)、join(;)。最后两个特别准段式参数在拼装时几乎一定会用到。搜到之后常见的情况是看到一个数字索引调用比如n[e(456)](...)。这里的e是模块 id 的映射函数e(456)返回的是真正的模块编号直接搜456:搜不到是因为它被算出来了。这时候把模块表整体倒出来// 把全部模块倒成一份大文本粘到编辑器里搜比在 devtools 里逐层点快一个量级 const text Object.entries(window.__MODS__) .map(([id, fn]) /* module ${id} */\n${fn.toString()}) .join(\n\n); copy(text); // 直接进剪贴板 console.log(text.length); // 一般几百 KB 到几 MB编辑器扛得住拿到这份文本搜目标参数名能直接定位到做拼接的那个函数搜CryptoJS或sha256能找到加密实现。我习惯在这个阶段把搜到的可疑函数整段复制出来先静态读一遍把入参结构和返回值格式确定下来再回浏览器下断点验证。顺序反过来往往会在断点里浪费很多时间。还有一个判断依据值得记签名函数通常具备三个特征——入参是对象、返回值是字符串、函数体里有一次Date.now()或new Date()。三个同时满足的基本就是入口。3. 剥环境检测签名之前那些「你必须像个人」的校验点算法本身往往只占工作量的三成剩下七成都在补环境。原因很直接签名函数在算摘要之前会先读一批浏览器属性作为指纹输入指纹不对摘要就和服务端算的对不上。更麻烦的是有些检测会直接中断执行返回一个空串。3.1 常见检测点清单与命中特征下面这张表是我在多个站点上反复见到的组合按处理成本排序。注意这里说的是「同一份指纹输入」不是「风控判定」前者影响签名结果后者影响请求是否放行。检测点取值方式失败表现处理成本navigator.webdriver直接读属性直接中断返回空签名低语言与时区组合navigator.languagesIntl摘要段每次不一致中窗口尺寸outerWidth/innerWidth出现inner0或outerinner低canvas 指纹toDataURL()取摘要空字符串或每次结果都变高WebGL 渲染器getParameter(37446)返回 undefined 被拼进明文中函数原生性Function.prototype.toString被 hook 的函数暴露特征中计时器一致性Date.now()与performance.now()时间差为 0 或负数低本地令牌localStorage读取令牌段为空低canvas 那一项成本高是因为它依赖字体渲染引擎。Node 侧的 canvas 实现装的字体和真机不一样画出来的像素就不同摘要必然不同。硬补字体是个无底洞实用做法是在真浏览器里采一次把 dataURL 当常量写死。指纹本来就是「稳定优先」的东西能稳定复现比「真实」更重要。3.2 在 Node 里补齐最小环境思路是用 jsdom 起一个像样的 window再做定点覆盖。不要一上来就上无头浏览器那样调试成本反而更高而且不好断点。const { JSDOM } require(jsdom); const vm require(vm); function createSandbox(realCanvasDataUrl) { const dom new JSDOM(!doctype htmlhtmlbody/body/html, { url: https://example.com/list, // 换成目标站点的真实路径有些逻辑依赖 pathname referrer: https://example.com/, pretendToBeVisual: true, // 提供 requestAnimationFrame否则部分动画逻辑卡死 }); const win dom.window; // 1. 语言、时区、webdriver 三件套必须自洽别出现 UTC 时区配中文语言这种矛盾组合 Object.defineProperty(win.navigator, language, { get: () zh-CN }); Object.defineProperty(win.navigator, languages, { get: () [zh-CN, zh] }); Object.defineProperty(win.navigator, webdriver, { get: () false }); // 2. 尺寸要成对outer 必须大于 inner且是真实存在的分辨率组合 Object.defineProperty(win, outerWidth, { get: () 1920 }); Object.defineProperty(win, outerHeight, { get: () 1040 }); Object.defineProperty(win.screen, width, { get: () 1920 }); Object.defineProperty(win.screen, height, { get: () 1080 }); Object.defineProperty(win, devicePixelRatio, { get: () 1 }); // 3. canvas 直接返回真机采到的常量绕开字体渲染差异 win.HTMLCanvasElement.prototype.toDataURL function () { return realCanvasDataUrl; }; // 4. WebGL 同理把非遮蔽渲染器字符串固定住 const rawGetContext win.HTMLCanvasElement.prototype.getContext; win.HTMLCanvasElement.prototype.getContext function (type, ...rest) { const ctx rawGetContext.call(this, type, ...rest); if (ctx (type webgl || type experimental-webgl)) { const rawGetParameter ctx.getParameter.bind(ctx); ctx.getParameter (p) p 37446 ? ANGLE (Intel, Intel UHD Graphics 630 Direct3D11) : rawGetParameter(p); } return ctx; }; // 5. 时区Node 里默认是系统时区这里显式改掉避免和环境变量打架 process.env.TZ Asia/Shanghai; const sandbox { window: win, document: win.document, navigator: win.navigator, location: win.location, localStorage: win.localStorage, screen: win.screen, console, setTimeout, clearTimeout, Date, }; return vm.createContext(sandbox); } module.exports { createSandbox };几个参数值得单独说。url和referrer不是摆设有些站点会把 pathname 或来源域拼进明文写错就是「签名长度对但校验失败」。pretendToBeVisual决定requestAnimationFrame存不存在缺了它某些初始化流程会直接卡在第一步。process.env.TZ必须在沙箱创建之前设之后再改只影响新创建的 Date 实例已缓存的偏移不会更新。3.3 检测失败的定位方法二分注释 代理拦截补环境最耗时的不是写代码是「不知道还缺什么」。两个手段能省很多事。第一个是属性访问代理把所有被读过的属性记下来重点看值为 undefined 的那些// 记录属性访问轨迹缺什么一眼能看出来 const seen new Set(); const proxied new Proxy(win, { get(target, prop, receiver) { if (typeof prop string !seen.has(prop)) { seen.add(prop); const v Reflect.get(target, prop, receiver); if (v undefined) console.warn([missing], prop); // 这些就是待补清单 } return Reflect.get(target, prop, receiver); } });第二个是二分注释。在格式化后的代码里把可疑的检测分支整段替换成return true或return false一次改一半看签名是否恢复。这个方法慢但极其可靠尤其是面对那种「几十个检测串成一个条件与」的写法。判断改对了没有看服务端返回体。签名错误、参数错误、风控拒绝这三种返回的文案和错误码都不一样先确认是哪一类再动手否则可能一直在改与问题无关的地方。这一步的判断依据比代码本身重要。4. 拆签名链路明文拼接、六段结构与 HMAC-SHA256 复现入口定位到、环境补齐了剩下就是把算法一比一还原。这一步的核心思路是「分段验证」不要一次性算完再比对一段一段对对不上就停在那一段。4.1 参数排序、时间戳与盐值先把明文拼对明文拼错是最高频的失败原因而它偏偏最难发现因为算出来的摘要长度永远是对的。业务参数的处理有四个必须确认的点排序规则基本都是按 key 字典序升序、空值处理空串、null、undefined是否参与、值编码是否做 URI 编码空格是否变、拼接格式k1v1k2v2还是k1v1k2v2。这四个组合起来有十几种可能硬猜不现实正确做法是把浏览器里同一时刻的明文打出来和自己的做字符级 diff。盐值通常藏得比较深。常见手法是把常量打散成一个字符串数组用下标取值再加一层偏移或简单编码。定位到可疑数组后先整体捞出来看结构// 找到那个「反复被下标访问」的数组先整体取出来看形状 const arr window.__SUSPECT_ARRAY__; // 断点里确认过的那个数组 console.log(arr.length, arr.slice(0, 10)); // 若做过偏移按偏移量还原若做过 base64 或反转这里再套一层 const decode (i) arr[i]; console.log(decode(12), decode(13), decode(14)); // 对照调用处上下文看常量含义判断哪个数组是盐值来源有个简单依据它的元素个数通常在 30 到 200 之间元素多为短字符串且被至少两三个不同函数以不同下标访问。满足这三条八成就是。4.2 六段结构拆解我这版拆出来的参数是六段用分号分隔。结构不是标准不同版本段数不一样所以下面这张表描述的是「职责划分」段位数字别硬套。段位职责生成方式每次请求是否变化第 1 段客户端时间戳毫秒级位数固定变第 2 段环境指纹摘要多个浏览器属性归一化后取 MD5不变同一环境第 3 段服务端下发的令牌接口返回本地缓存有有效期到期才变第 4 段主体签名HMAC-SHA256密钥由令牌与盐派生变第 5 段版本与算法标识常量不变第 6 段附加密文或校验位AES 或简单校验部分场景为空视场景这张表最有用的地方是它给出了验证顺序。第 1、3、5 段是「白给」的先对着浏览器把这三段比对上剩下第 2、4 段才是真正要算的。第 2 段只要环境补对了一次就能对上对不上说明指纹字段少了或顺序错了。第 4 段对不上多半是明文或密钥派生有问题。4.3 Node 侧复现完整链路把前面的结论串起来签名函数本身没几行const crypto require(crypto); const SALT 从字符串数组里还原出来的常量; // 每个版本可能不同别写死太久 const VERSION 4.x.x; // 算法标识跟前端版本同步 /** * param {Object} params 业务参数不含签名参数本身 * param {Object} env 指纹字段字段顺序必须与前端完全一致 * param {string} token 服务端下发令牌 * param {number} [ts] 可选时间戳传入固定值便于做单测比对 */ function buildSign(params, env, token, ts Date.now()) { // 1. 归一化过滤空值 - 按 key 升序 - 拼成 kvkv const plain Object.keys(params) .filter(k params[k] ! undefined params[k] ! null params[k] ! ) .sort() .map(k ${k}${params[k]}) .join(); // 2. 指纹字段顺序敏感少一个整个摘要就变 const fpRaw [env.ua, env.screen, env.tz, env.lang, env.canvasHash].join(|); const fp crypto.createHash(md5).update(fpRaw, utf8).digest(hex); // 3. 密钥派生令牌加盐先做一次 SHA-256取原始字节而不是十六进制串 const key crypto.createHash(sha256).update(token SALT, utf8).digest(); // 4. 主体签名明文 时间戳 指纹一起进 HMAC三段缺一不可 const body ${plain}${ts}${fp}; const sig crypto.createHmac(sha256, key).update(body, utf8).digest(hex); // 5. 按前端分隔符拼回注意是分号不是逗号 return { value: [ts, fp, token, sig, VERSION].join(;), plain, body }; } module.exports { buildSign };三个参数说明值得展开。digest()不传编码时返回 Buffer这在密钥派生里是必须的——如果把十六进制字符串当密钥传给 HMAC结果一定不对这是最常见的实现差异。fpRaw的字段顺序照抄前端别自己按字母排。ts开放成参数是为了做单测固定时间戳、固定令牌、固定参数连算两次结果必须完全一致这一步过了才说明链路是确定的否则后面排查会一直被随机性干扰。比对方法也要讲清楚。不要直接比对最终整串先把plain和body打出来和浏览器断点里同一时刻的值做 diff。这两个对上之后如果签名还不对问题一定在密钥派生这两个对不上问题在参数归一化。分界线划清楚了排查时间能砍掉一大半。5. 避坑清单复现 h5st 时五个让我多花两天的细节下面五条全是真踩过的每条按「现象 → 原因 → 解决」写。这些坑的共性是代码看着没问题报错信息也不指向真正的原因。5.1 环境与编码类的三个坑坑一签名长度完全正确服务端一直返回校验失败。现象是本地算出来的字符串长度、分隔符、段数都和抓包一致十六进制字符也合法就是过不去。 原因是明文里保留了空值参数。前端的过滤逻辑是if (v)而不是if (v ! undefined)空字符串和数字 0 都被丢掉了而我这边只过滤了undefined多拼进去一个k摘要全变。 解决是先把明文打出来做字符级 diff别急着怀疑算法。更稳的做法是从前端把拼接函数的中间变量直接 dump 出来拿它当基准而不是靠猜规则。坑二第一次跑通十几分钟后又全部失败。现象很迷惑脚本刚启动时成功率高跑一会儿就开始大面积失败。 原因是第三段令牌有有效期过期后服务端直接判签名无效。我一开始把令牌当成常量写死在配置里等于给自己埋了个定时失效点。 解决是把令牌当缓存管理记录获取时间设置比实际有效期略短的 TTL遇到签名类错误码时刷新一次再重试重试只做一次避免错误码被误判成令牌问题时无限循环。坑三canvas 指纹每次取都不一样。现象是同一份参数连算两次第二段的摘要不同导致整体签名抖动。 原因是 Node 侧 canvas 实现的字体和真机不一致toDataURL出来的像素不同摘要自然不同。试图补齐字体会陷进依赖地狱。 解决是放弃模拟改为常量在真浏览器里采一次 dataURL写进配置。指纹这东西追求的是稳定复现不是像素级真实。同样的思路适用于 WebGL 渲染器字符串、音频指纹这类高成本项。5.2 时序与并发类的两个坑坑四时间戳对得上但偶发失败重试就好。现象是失败率大概 5%重试一次就过日志看不出规律。 原因有两个层面。一是服务端对时间戳有允许窗口本地时钟和服务器偏差接近窗口边界时会周期性失败。二是时间戳精度用错了前端用的是毫秒而我有一版误用了秒靠窗口侥幸通过。 解决是用响应头里的服务器时间校准本地偏移每次启动算一次偏移量并缓存签名时用Date.now() offset。精度这件事不要猜把浏览器里那段Date.now()的返回值打印出来看位数十位是秒十三位是毫秒一目了然。坑五单线程跑得好好的开了 20 并发之后全挂。现象是并发数一上去成功率断崖式下跌串行跑同样的量却没事。 原因有两个。一是令牌刷新没有做去重20 个请求同时发现令牌过期同时去刷新互相把对方刚拿到的令牌覆盖掉。二是签名函数里共享了同一个可变的环境对象其中某个字段被并发写坏。 解决是两点令牌刷新用单例加 Promise 去重正在刷新时后续请求直接等同一个 Promise指纹对象在启动时算一次就冻结Object.freeze或者干脆只读不改。这两条改完并发问题基本就没了。6. 跑通之后一份验证清单和三条边界签名能算对只说明复现成功了一半。我习惯在收工前跑一遍固定清单把「偶然跑通」和「稳定可用」区分开避免过两天又得从头查。验证项做法通过标准确定性固定参数、固定令牌、固定时间戳连算两次两次输出逐字符相同明文对齐浏览器断点与服务端各打一份明文diff 为空指纹稳定同一沙箱连续取 10 次指纹摘要值不变令牌刷新把 TTL 调短制造并发过期只刷新一次无重复覆盖长跑串行 100 次、并发 20 次各跑一轮失败率 0内存无明显增长边界输入空参数、超长值、含特殊字符的值与浏览器行为一致这份清单里最容易被跳过的是「边界输入」。参数里带、、中文、emoji 的时候编码规则会立刻暴露——前端到底有没有做 URI 编码一次就能试出来。我吃过这个亏一个带的搜索词让签名错了整整半天因为它在明文里被当成了分隔符。再讲三条边界这是我给自己的规矩。第一只在有授权的接口和自有系统上验证做安全评估就先拿测试环境别拿生产接口当靶场。第二控制频率签名复现出来之后最容易犯的错就是快速发请求把对方服务打挂这已经不是技术问题了。第三不采集个人信息参数里凡是能定位到具体自然人的字段一律不落库。反过来从防守侧看这套东西也给了三个改进方向签名里加服务端下发的一次性随机数让重放直接失效把关键业务参数签进明文而不是只签时间戳和指纹否则改参数不影响签名令牌与设备绑定且缩短 TTL让复用成本变高。这三条做完逆向不是不可能但投入产出比会明显变差——这才是签名机制该有的样子。回过头看我在这条链路上花时间最多的从来不是算法而是「不知道该怀疑哪里」。后来固定了一个习惯每接一个带签名的接口第一件事不是读代码而是把明文打出来做 diff先确认自己在算的东西和对方在算的东西是同一个。这个习惯帮我省下的时间比任何调试技巧都多。完整的入口钩子、环境沙箱、签名链路和令牌缓存我按模块拆好了改个配置就能对着自己的测试环境验证。希望帮到你。本文还有配套的精品资源点击获取