1. Introduction — The Hidden Problem Behind Kubernetes Load Balancing
Trong kiến trúc microservices, Load Balancing là một trong những cơ chế quan trọng giúp phân phối traffic giữa các backend instances, cải thiện khả năng mở rộng (Scalability) và duy trì tính sẵn sàng (Availability) của hệ thống.
Khi triển khai ứng dụng trên Kubernetes, chúng ta thường mong đợi rằng việc tăng số lượng Pods sẽ giúp phân phối workload tốt hơn. Đặc biệt, khi kết hợp với Horizontal Pod Autoscaler (HPA), hệ thống có thể tự động bổ sung tài nguyên khi nhu cầu xử lý tăng cao.
Tuy nhiên, trong tình huống thực tế:
Một ứng dụng ban đầu chạy trên 3 Pods. Khi lượng request tăng mạnh, P99 latency bắt đầu tăng và một số request gặp timeout.…