Streamable HTTP 互動流程圖
1 檢舉
Streamable HTTP 是基於標準 HTTP 分塊傳輸的雙向串流通訊協議，無需 WebSocket 即可實現低延遲即時資料推送，是大模型 API 串流輸出的主流方案。
相關推薦
作者其他創作
大綱/內容
看更多
application/json(標準響應)
傳輸格式
HTTP/2MultiplexingServer Push
HTTP/1.1Keep-AlivePipeline
TRANSPORT
錯誤處理網路錯誤 | 逾時 | 斷線重連
串流解析器NDJSON 解析 | SSE 解析增量渲染 UI
模式B: 串流回應response.body.getReader()逐區塊讀取
模式A: 標準響應JSON.parse()一次處理
業務邏輯層工具執行 | 資源取得 | 提示詞渲染
MCP Controller協議版本協商認證鑑權
智慧型路由器解析 Accept Header判斷流式/標準
POST /mcp統一端點入口
SERVER LAYER
— 實線: 同步流程 | - - 虛線: 可選/非同步流程
■ 客戶端層 | ■ 傳輸層 | ■ 伺服器層 | ■ 基礎架構層
連線管理按需建立用完即關連線池復用
■ 串流響應路徑 (分塊傳輸)
編碼方式Transfer-Encoding: chunkedContent-Encoding: gzip/br
■ 標準反應路徑 (即時回傳)
text/event-stream(相容模式)
圖例說明
application/x-ndjson(流式回應)
ServerlessAWS Lambda / Cloud Run按請求計費
自動擴充HPA / KEDACPU/Memory/Request 指標
CDNEdge Caching(靜態資源)
負載平衡器Nginx / ALB / EnvoyRound-Robin / Least-Conn
INFRASTRUCTURE
狀態儲存 (可選)Redis | Database會話狀態 | 續傳令牌
串流回應ReadableStreamasync generatorchunked encode
標準響應JSON.stringify()Content-Length
響應建構器
標準回應HTTP 200 OKContent-Type: application/json
Streamable HTTP 架構流程圖
部署模式容器化 (Docker/K8s) | Serverless | 邊緣節點
MCP Protocol 2025-03-26 | 統一端點 · 按需流式 · 無狀態擴展
性能基準延遲: 7.5ms @ 1000並發記憶體: <5KB/請求成功率: ~100%擴展性: 線性水平擴展
Rate LimitQuota
CLIENT LAYER
TLS 1.3mTLS
HTTP ClientFetch / Axios / HTTP/1.1
OAuth 2.0JWT Token
會話管理 (可選)Header: Mcp-Session-Id續傳: Last-Event-ID恢復: Resumption Token
回應處理器
安全機制
Tracing(Jaeger)
Logging(ELK/Loki)
Metrics(Prometheus)
可觀測性
0 則評論
下一頁