值班记录：长流式响应超时排查与处置

长流式响应在值班窗口里表现为“还在输出却已超时”

长流式响应是指模型生成一段内容后，客户端一边接收一边显示，而不是等完整结果生成后一次性返回。它适合长代码、长文档和复杂分析，因为用户能更早看到进度。

这类请求最容易造成误判。屏幕上已经出现了一些内容，连接却突然报超时；或者模型仍在思考，客户端先结束了请求。这里的“超时”通常不是模型一定停止工作，而是某一层等待时间已经用完。客户端、命令行工具、反向代理、网关和上游模型服务都可能设置自己的时间限制。

先确认超时发生在首字节还是中途

排查时先看请求从发出到第一段内容出现用了多久，再看两段输出之间是否长时间没有数据。前一种情况属于首字节等待过久，常见原因是提示词很长、请求排队或模型需要较长准备时间。后一种情况属于流式空档，常见于模型进行复杂推理、工具调用或生成下一段内容时暂时没有输出。

• 如果请求在固定的短时间内直接失败，应先检查客户端的总超时和连接建立超时。
• 如果已经收到多段内容后才断开，应检查读取超时、代理空闲超时和网络中间设备的连接限制。
• 如果每次都在相近的时间点结束，应记录具体秒数，因为固定的时间间隔通常能帮助定位是哪一层设置了限制。
• 如果同一请求在短提示词下正常、在长提示词或长输出下失败，应同时检查首字节等待和完整请求总时长。

客户端的总超时不能代替流式读取设置

许多客户端把 timeout 理解为整个请求允许占用的时间。对于长流式响应，这个值必须覆盖排队、首字节等待和全部输出时间。另一部分客户端还会单独设置读取超时，表示两次收到数据之间最多允许空闲多久。只调大总超时，却保留很短的读取超时，仍然可能在中途断开。

使用 Claude Code、Codex 或 Gemini CLI 时，应查看工具本身的网络超时配置和运行环境变量。使用 OpenAI SDK 时，应检查客户端初始化时传入的 timeout，以及流式迭代过程中是否有额外的读取限制。设置值时要结合任务类型，短问答和长代码生成不应使用完全相同的等待策略。

代理和网关会把“没有新字节”当成连接失活

即使客户端允许长时间等待，中间的反向代理也可能在一段时间没有收到新字节后关闭连接。流式传输要经过多层网络时，任何一层都可能有空闲超时。代理还可能缓冲响应，导致客户端没有及时收到本来已经生成的数据。

值班时应确认代理是否支持持续转发流式数据，是否关闭了不适合流式接口的响应缓冲，以及空闲超时是否覆盖模型可能出现的推理间隔。如果代理由第三方管理，就把请求开始时间、最后一段内容时间、断开时间和错误信息一起交给对方，避免只说“接口超时”。

长任务的设置应和模型及输出规模一起判断

例如，使用 Gemini 3.1 Pro 生成较长代码说明，或让 DeepSeek V4 Pro 分析一份很大的输入，首字节等待和总输出时间都可能比普通问答更长。增加超时只能让连接多等一会儿，不能解决网络抖动、代理缓冲或请求本身过大的问题。

• 应先缩短不必要的上下文，并把一次过大的任务拆成几个有明确边界的阶段。
• 应保留流式输出，这样可以区分服务端完全没有响应和服务端正在持续发送内容。
• 应记录请求标识、模型名称、首字节时间、最后字节时间和客户端错误，方便复盘。
• 重试前应判断服务端是否已经执行了请求，因为盲目重试可能产生重复操作或额外费用。

值班记录建议保留一条可复现路径

每次故障至少保存使用的客户端、请求是否启用流式、超时配置、模型名称、输入规模和失败位置。若通过 Relay365 访问多个模型系列，可以把 API 地址统一配置为 https://api.api365relay.com；OpenAI 客户端则使用 https://api.api365relay.com/v1。Relay365 按量计费，适合需要在 Claude Fable 5.1、GPT-6 Astra 等模型之间切换的团队，但仍应根据任务规模设置合理超时，并持续观察实际响应时间。

如果你的工作流经常需要长流式响应，可以创建 Relay365 账户，把客户端配置、代理设置和超时记录放在同一份运行手册中。成员邀请他人付费后还可以获得推荐奖励，这项收益适合已经稳定使用并愿意分享配置经验的团队成员。