[v1.4] updateResource 相关代码调整 by cyfung1031 · Pull Request #1193 · scriptscat/scriptcat

cyfung1031 · 2026-02-03T10:04:01Z

概述 Descriptions

我都不知道要怎么说明了

反正就是有问题的部份改了

有些觉得奇怪的，我没有改，只加了 comment

主要移除了 loadNow 那个设定。代码太难维护了。所有 fetch 资源都加一个 concurrency 控制，避免一次过爆发就好。要不要等就上层决定吧。
现在 concurrency 控制是五个 fetch 一组。这样就不会大量 fetch 冲到同一个 server （例如 GreasyFork ）

变更内容 Changes

截图 Screenshots

cyfung1031 · 2026-02-03T10:10:50Z

~~弹出安装页的部份要先下载好资源~~
~~而不是到按安裝才下载~~
~~所以先改成Draft PR~~

UI 部份另行处理
先处理好 JS代码的改动

…/")`

cyfung1031 · 2026-02-04T03:32:17Z

src/app/service/service_worker/script.ts

        await this.scriptCodeDAO.save({
          uuid: script.uuid,
          code: param.code,
        });
        logger.info("install success");

        // Cache更新 & 下载资源
        await Promise.all([
          compiledResourceUpdatePromise,
-          this.resourceService.updateResourceByType(script, "require"),
-          this.resourceService.updateResourceByType(script, "require-css"),
-          this.resourceService.updateResourceByType(script, "resource"),
+          this.resourceService.updateResourceByTypes(script, ["require", "require-css", "resource"]),
        ]);
+        // 如果资源不完整，还是要接受安装吗？？？

        // 广播一下
        // Runtime 會負責更新 CompiledResource
        this.publishInstallScript(script, { update, upsertBy });

        return { update };
      })
      .catch((e: any) => {
        logger.error("install error", Logger.E(e));
        throw e;
      });


@CodFrm scriptDAO 先 save 了显示成功。如果资源下载失败，忽略掉是故意的吗？

是的话我就不改这做法
否则就改成下载不了不安装不更新

故意的，资源失败不影响脚本保存。不过这块逻辑可能还得优化一下

那我这个 PR 先不处理这个，先维持

cyfung1031 · 2026-02-04T04:42:28Z

src/app/service/service_worker/resource.ts

+            const updateTime = oldResources?.updatetime;
+            // 资源最后更新是24小时内则不更新
+            // 这里是假设 resources 都是 static. 使用者应该加 ?d=xxxx 之类的方式提示SC要更新资源
+            if (updateTime && updateTime > Date.now() - 86400_000) return;


@CodFrm 原代码有这个 updateTime 检查操作。但脚本更新可以是每6小时做一次。如果脚本更新了但资源不更新，好像有点奇怪

之前考虑过不做这个检查，感觉也可以，资源加载下来就不再失效，除非修改url

我先不改动。你有需要再改一下吧

…urceByType-return

Copilot

Pull request overview

该 PR 主要围绕 Service Worker 侧的资源拉取/更新（updateResource）做重构：移除原先的 loadNow 分支，改为统一的资源获取路径，并新增一个“每次最多 5 个 fetch”的并发控制机制，以降低集中爆发请求对单一站点（如 GreasyFork）的压力。

Changes:

新增通用并发控制工具（Semaphore + withTimeoutNotify），并用于资源 fetch 的并发限制
ResourceService：合并资源获取入口、增加按类型批量处理接口（getResourceByTypes / updateResourceByTypes），并替换原有 getScriptResources 的内部实现
parseUrlSRI 返回结构调整（补充 originalUrl），并联动更新 runtime/script/synchronize 的资源读取逻辑

Reviewed changes

Copilot reviewed 7 out of 7 changed files in this pull request and generated 6 comments.

Show a summary per file

File	Description
src/pkg/utils/concurrency-control.ts	新增信号量与超时通知工具，用于资源请求并发控制
src/app/service/service_worker/utils.ts	调整 parseUrlSRI 返回类型（新增 originalUrl，hash 类型变化）
src/app/service/service_worker/synchronize.ts	备份生成时改为一次性按多类型拉取资源
src/app/service/service_worker/script.ts	安装流程改为批量触发资源更新；运行资源构建改用新资源读取接口
src/app/service/service_worker/runtime.ts	资源读取接口替换；file 资源更新逻辑接入新的 parseUrlSRI / updateResource 签名
src/app/service/service_worker/resource.ts	核心重构：移除 loadNow 路径，新增批量接口与 fetch 并发控制实现
src/app/repo/resource.ts	补充 contentType 字段语义注释

Copilot · 2026-03-29T08:16:57Z

src/app/service/service_worker/resource.ts

+  async createResourceByUrlFetch(u: TUrlSRIInfo, type: ResourceType): Promise<Resource> {
+    const url = u.url; // 无 URI Integrity Hash
+
+    let released = false;
+    await fetchSemaphore.acquire();
+    // Semaphore 锁 - 同期只有五个 fetch 一起执行
+    const delay = randNum(100, 150); // 100~150ms delay before starting fetch
+    await sleep(delay);
+    // 执行 fetch, 若超过 800ms, 不会中止 fetch 但会启动下一个网络连接任务
+    // 这只为了避免等候时间过长，同时又不会有过多网络任务同时发生，使Web伺服器返回错误
+    const { result, err } = await withTimeoutNotify(fetch(url), 800, ({ done, timeouted, err }) => {
+      if (timeouted || done || err) {
+        // fetch 成功 或 发生错误 或 timeout 时解锁
+        if (!released) {
+          released = true;
+          fetchSemaphore.release();
+        }
+      }
+    });
+    // Semaphore 锁已解锁。继续处理 fetch Response 的结果


createResourceByUrlFetch 里在 800ms timeout 时提前 release Semaphore，但实际 fetch 仍在进行；在网络慢/服务端卡顿时会导致“in-flight fetch”数量不受 5 的限制，反而可能越跑越多，失去并发控制意义并增加对目标站点的压力。建议把 release 放在 fetch settle（then/catch/finally）时，或改用 AbortController 真正中止超时请求；如果想做的是限速/分批启动，请单独实现 rate limiter 而不是提前释放并发锁。

Copilot · 2026-03-29T08:16:57Z

src/app/service/service_worker/resource.ts

+              if (oldResources && !resourcePath.startsWith("file:///")) {
+                // 读取过但失败的资源加载也会被放在缓存，避免再加载资源
+                // 因此 getResource 时不会再加载资源，直接返回 undefined 表示没有资源
+                if (!oldResources.contentType) {
+                  freshResource = undefined;
+                } else {
+                  freshResource = oldResources;
+                }
+              } else {


getResourceByTypes 在 oldResources 已存在且是非 file:/// 时，如果 oldResources.contentType 为空（之前下载失败的空 Resource），会直接返回 undefined 且不会再次尝试更新，导致该资源失败后“永久缺失”（除非手动清缓存/删除记录）。建议对空 Resource 也加入重试逻辑（例如按 updatetime 做退避/过期重试），或在这里直接走 updateResource(uuid, u, type, oldResources) 以便恢复。

src/app/service/service_worker/runtime.ts

src/app/service/service_worker/utils.ts

src/app/service/service_worker/resource.ts

Copilot · 2026-03-29T08:16:58Z

src/pkg/utils/concurrency-control.ts

+export class Semaphore {
+  private active = 0;
+  private readonly queue: Array<() => void> = [];
+
+  constructor(readonly limit: number) {
+    if (limit < 1) throw new Error("limit must be >= 1");
+  }
+
+  async acquire() {
+    if (this.active >= this.limit) {
+      await new Promise<void>((resolve) => this.queue.push(resolve));
+    }
+    this.active++;
+  }
+
+  release() {
+    if (this.active > 0) {
+      this.active--;
+      this.queue.shift()?.();
+    } else {
+      console.warn("Semaphore double release detected");
+    }
+  }
+}
+
+type TWithTimeoutNotifyResult<T> = {
+  timeouted: boolean;
+  result: T | undefined;
+  done: boolean;
+  err: undefined | Error;
+};
+export const withTimeoutNotify = <T>(
+  promise: Promise<T>,
+  time: number,
+  fn: (res: TWithTimeoutNotifyResult<T>) => any
+) => {
+  const res: TWithTimeoutNotifyResult<T> = { timeouted: false, result: undefined, done: false, err: undefined };
+  const cid = setTimeout(() => {
+    res.timeouted = true;
+    fn(res);
+  }, time);
+  return promise
+    .then((result: T) => {
+      clearTimeout(cid);
+      res.result = result;
+      res.done = true;
+      fn(res);
+      return res;
+    })
+    .catch((e) => {
+      clearTimeout(cid);
+      res.err = e;
+      res.done = true;
+      fn(res);
+      return res;
+    });
+};


新增的 concurrency-control 工具（Semaphore/withTimeoutNotify）目前缺少单元测试。src/pkg/utils 里已有大量 Vitest 测试文件，建议补充：1) Semaphore 的 acquire/release FIFO 行为与 limit 限制；2) withTimeoutNotify 在 timeout/resolve/reject 三种情况下的回调与返回值状态，避免后续并发控制改动引入回归。

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

CodFrm · 2026-03-29T08:24:33Z

src/app/service/service_worker/runtime.ts


    const scriptCodes = {} as Record<string, string>;
-    // 更新资源使用了file协议的脚本
+    // 更新资源使用了file协议的脚本 （ 不能在其他地方更新吗？？ 见 Issue #918 ）


指哪里？无法监听到file的变更，也不好处理吧

无法监听到file的变更，也不好处理吧

对。。
当时可能头脑不太清醒吧

改回注释 1fa3981

- 提取魔法数字为命名常量（MAX_CONCURRENT_FETCHES, FETCH_DELAY, FETCH_SEMAPHORE_TIMEOUT, RESOURCE_CACHE_TTL） - 清理疑问注释，改为明确的设计决策说明 - 为 Semaphore 和 withTimeoutNotify 添加单元测试

cyfung1031 added 5 commits February 3, 2026 14:38

x

ba712f6

处理并行fetch问题

29cc3c6

修复 src/app/service/service_worker/runtime.ts

79b68f7

本地资源代码更新逻辑修正

e83aae2

Update script.ts

96f34be

cyfung1031 requested a review from CodFrm February 3, 2026 10:04

fix

983f89e

cyfung1031 marked this pull request as draft February 3, 2026 10:09

cyfung1031 added 18 commits February 4, 2026 09:23

getResourceByType -> getResourceByTypes

bbe6c1d

加入注意

49579bf

getScriptResources -> getScriptResourceValue

3e8f04e

代码调整

bee32f0

mdValue.startsWith("file:///") -> `resourcePath.startsWith("file://…

495a782

…/")`

代码调整

1a84afd

代码调整

658b256

代码调整

5823855

Merge branch 'release/v1.3' into pr-updateResourceByType-return

b63960b

loadByUrl -> createResourceByUrlFetch

c3d395c

简化 updateResource signature

1a434b8

简化 createResourceByUrlFetch

da70c26

lint

8b1fc24

updateResourceByType -> updateResourceByTypes

0c991f2

加注釋

d6d2a29

代码优化 - 资源更新条件修改

8892d60

注釋

ab7a082

lint

0dcd7ef

cyfung1031 commented Feb 4, 2026

View reviewed changes

调整代码 - updateResource & createResourceByUrlFetch

360f6d4

cyfung1031 added 3 commits February 4, 2026 14:41

统一 try catch 在 updateResource 里进行

89d7a0f

修正 Semaphore 相关代码

05e54f7

把并行控制的代码移动至 concurrency-control.ts

b0f9318

cyfung1031 marked this pull request as ready for review February 4, 2026 09:20

cyfung1031 mentioned this pull request Feb 4, 2026

[BUG] 我更新脚本后，发现有些用户的脚本更新了，有些没有更新 #1161

Open

cyfung1031 added 2 commits February 8, 2026 12:16

Merge branch 'release/v1.3' into pr-updateResourceByType-return

12a5b67

Merge branch 'release/v1.3' into pr-updateResourceByType-return

14a267f

cyfung1031 changed the title ~~[v1.3] updateResource 相关代码调整~~ [v1.4] updateResource 相关代码调整 Feb 24, 2026

Merge branch 'release/v1.4' into pr-updateResourceByType-return

72aa9d5

cyfung1031 changed the base branch from release/v1.3 to release/v1.4 March 15, 2026 05:03

cyfung1031 and others added 3 commits March 22, 2026 04:42

Merge branch 'release/v1.4' into pr-updateResourceByType-return

1b6a234

Merge branch 'release/v1.4' into pr-updateResourceByType-return

8bd97d8

Merge remote-tracking branch 'origin/release/v1.4' into pr-updateReso…

12cfcf3

…urceByType-return

CodFrm requested a review from Copilot March 29, 2026 08:11

Copilot started reviewing on behalf of CodFrm March 29, 2026 08:11 View session

Copilot AI reviewed Mar 29, 2026

View reviewed changes

CodFrm and others added 2 commits March 29, 2026 16:20

Update src/app/service/service_worker/resource.ts

59dcad3

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

Update src/app/service/service_worker/utils.ts

e49f730

Co-authored-by: Copilot <175728472+Copilot@users.noreply.github.com>

CodFrm reviewed Mar 29, 2026

View reviewed changes

CodFrm and others added 2 commits March 29, 2026 17:21

改回注释

1fa3981

Conversation

cyfung1031 commented Feb 3, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

概述 Descriptions

变更内容 Changes

截图 Screenshots

Uh oh!

cyfung1031 commented Feb 3, 2026 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Copilot AI left a comment

Choose a reason for hiding this comment

Pull request overview

Reviewed changes

Uh oh!

Copilot AI Mar 29, 2026

Choose a reason for hiding this comment

Uh oh!

Copilot AI Mar 29, 2026

Choose a reason for hiding this comment

Uh oh!

Uh oh!

Uh oh!

Uh oh!

Copilot AI Mar 29, 2026

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Reviewers

Assignees

Labels

Projects

Milestone

Development

Uh oh!

3 participants

cyfung1031 commented Feb 3, 2026 •

edited

Loading

cyfung1031 commented Feb 3, 2026 •

edited

Loading