适用范围与准备
适用于复制调试命令后,curl输出的JSON或文本前后出现长度行、额外换行或结尾0,导致解析失败。先确认命令是否含--raw,以及响应是否使用HTTP/1.1分块传输,不把所有乱码都当成网络污染。
先区分原因
--raw会关闭curl对HTTP内容编码和传输编码的内部解码,原始分块边界因而可能进入输出。Transfer-Encoding描述消息传输方式,Content-Encoding描述内容编码,两者不是一回事;也不是所有响应都会带分块边界。
按顺序操作
- 保留原命令、HTTP版本和响应头,查看--raw、Transfer-Encoding及Content-Encoding。仅看到正文中有数字不够,业务数据本身也可能以数字开头。
- 在同一只读目标上做一次不带--raw的对照,其他条件保持不变,分别保存输出。不要直接在唯一文件中删除所有看似十六进制的行。
- 若实际使用chunked传输,正常解码后的输出应不含传输分隔信息;若仍是压缩数据,另按Content-Encoding与--compressed的语义核对。
- 区分响应头是否也被写进正文。-i或其他输出组合可能同样破坏下游解析,但处理方向不同,不把所有非JSON行统一剥掉来求解析通过。
curl -sS --http1.1 --max-time 20 -D normal-headers.txt -o normal-body.bin "https://service.example.invalid/data"
curl -sS --http1.1 --raw --max-time 20 -D raw-headers.txt -o raw-body.bin "https://service.example.invalid/data"| 字段或选项 | 控制什么 |
|---|---|
| Transfer-Encoding: chunked | HTTP/1.1传输分块 |
| Content-Encoding: gzip | 表示内容被压缩 |
| --raw | 保留未经内部解码的传输/内容编码 |
| --compressed | 按支持能力请求并处理内容压缩 |
怎样确认有效
应由协议头、选项差异和实际输出共同解释多出的字符。去掉--raw后解析成功,还需核对内容完整与业务结构;不能以解析器不报错证明服务返回了正确数据。
无效时恢复与下一步
移除仅为调试加入的--raw,保留原始副本用于定位。生产读取程序应使用HTTP库的正确解码结果,不用正则猜测分块边界;需要保留原始字节时则不要把该文件直接交给JSON解析器。