Tính khả dụng của dịch vụ
Kiến trúc độ sẵn sàng cao
- Dự phòng đa nguồn upstream: cùng một mô hình được kết nối với nhiều upstream/vùng tài nguyên tính toán, khi một điểm đơn lẻ dao động sẽ tự động chuyển đổi;
- Kiểm tra sức khỏe: liên tục phát hiện độ trễ và tỷ lệ thành công của từng upstream, kênh bất thường sẽ tự động bị loại bỏ, sau khi khôi phục sẽ tự động quay lại;
- Tự động thử lại: lỗi tức thời từ upstream sẽ được thử lại trước trong gateway, cố gắng không để dao động bị lộ ra cho bên gọi.
Hành vi trong thời gian xảy ra sự cố
- Khi một upstream của mô hình cụ thể gặp sự cố diện rộng, mô hình đó có thể bị tăng độ trễ hoặc tăng 5xx, các mô hình khác không bị ảnh hưởng — khuyến nghị cấu hình mô hình dự phòng cho các nghiệp vụ quan trọng;
- Việc bảo trì toàn bộ gateway sẽ được thông báo trước trên bảng thông báo của console.
Cấu hình được khuyến nghị cho phía client
| Mục | Giá trị khuyến nghị |
|---|---|
| Thời gian chờ kết nối | 5–10s |
| Thời gian chờ đọc (không streaming) | 60–120s |
| Thời gian chờ đọc (streaming/mô hình suy luận) | ≥300s |
| Thử lại | 429/5xx exponential backoff 3–5 lần |
Khi gặp lỗi kéo dài, vui lòng liên hệ bộ phận hỗ trợ kèm theo khung thời gian xảy ra lỗi và error.message để được kiểm tra và xử lý.