适用范围与准备
适用于用 curl 获取少量已获准下载的独立文件,且某个慢请求让后面的 URL 一直排队。本文使用 curl 7.66.0 起提供的 --parallel 和 --parallel-max;示例仅发 GET,不用于批量提交或压测第三方站点。
先区分原因
普通多 URL 命令按顺序传输。--parallel 改成同时处理多个传输,--parallel-max 限制同时进行的数量;它不是带宽上限,也不保证每个传输各占一条 TCP 连接,HTTP 多路复用会影响连接数。
按顺序操作
- 运行 curl --version,确认实际版本,再列出 URL 与输出文件的一一对应关系。为本次下载新建空目录,避免并发写同一个文件或覆盖已有成果。
- 先用原来的顺序下载验证每个资源有权限访问且内容正确。不能把服务端拒绝、证书错误或损坏文件当成仅仅“排队慢”。
- 在服务方允许的并发范围内,从下面两个并行传输的小样本开始。三个 URL 是占位地址,须替换为有权下载的真实文件;a.body、b.body、c.body 分别对应 URL 顺序。
- 检查每个输出文件及服务器提供的可信摘要或预期格式。--fail-early 与 --fail 能让错误成为失败并尽早结束任务,但已启动的其他传输可能被中断,产生的文件不能直接当作完整成果。
- 若出现 429 或服务明确限流,降低并发并按服务要求等待,不叠加无限重试。比较时保持资源与网络相同;这只是下载调度调整,不是代理节点提速证明。
curl.exe --disable --parallel --parallel-max 2 --fail-early --fail --connect-timeout 10 --max-time 30 --output a.body "https://example.com/a" --output b.body "https://example.com/b" --output c.body "https://example.com/c"| 选项 | 控制什么 |
|---|---|
| --parallel-max 2 | 同时执行的传输数量上限 |
| --limit-rate | 单个传输的速率限制,不能当并发数 |
| --max-time | 每个传输的总时间上限,不等于整个批次预算 |
怎样确认有效
逐个资源有对应完整文件,失败项单独标记。若用自有测试服务验证并发,记录实际同时处理的请求数量;仅看到多个进度条或总耗时变短,不能证明上限和错误处理都正确。
无效时恢复与下一步
移除 --parallel 和 --parallel-max 可恢复顺序处理。失败时保留脱敏错误与文件清单,清理本次不完整输出后再有界重试,不清空整个下载目录。