Nightshift chuyển hoạt động quan sát từ mô hình “kéo”—con người xem xét bảng điều khiển—sang mô hình “đẩy”, trong đó tác nhân liên tục kiểm tra dữ liệu đo từ xa và gửi đi các phát hiện có cấu trúc. Điều đó có nghĩa là các quy trình dữ liệu không chỉ cần xử lý khối lượng lớn mà còn phải đảm bảo chất lượng cao: lược đồ nhất quán, ngữ cảnh phong phú (sơ đồ dịch vụ, thông tin chủ sở hữu, sổ tay vận hành) và truy vấn có độ trễ thấp. Vai trò của tác nhân là cô đọng các luồng dữ liệu nhiễu thành những phân tích hữu ích và bằng chứng được ưu tiên, từ đó thay đổi cách các nhóm đo lường hệ thống cũng như cách họ đầu tư vào việc gắn thẻ, lập bản đồ cấu trúc liên kết và làm rõ quy trình xử lý sự cố.

Một quy trình nightshift hiệu quả gồm ba giai đoạn: phát hiện, bổ sung ngữ cảnh và hình thành giả thuyết. Giai đoạn phát hiện sử dụng quy tắc, học máy và dữ liệu nền về hành vi để đánh dấu bất thường. Giai đoạn bổ sung ngữ cảnh gắn thêm thông tin như chủ sở hữu dịch vụ, các lần triển khai gần đây, thay đổi cấu trúc liên kết và dấu vết có liên quan. Giai đoạn hình thành giả thuyết sử dụng khả năng suy luận để xếp hạng các nguyên nhân gốc rễ tiềm năng và liệt kê các bước kiểm tra có thể xác minh. Khi mức độ tin cậy và chính sách an toàn cho phép, quy trình cũng có thể thực hiện các bước khắc phục hoặc giảm thiểu rủi ro có kiểm soát. Người triển khai cần thiết kế nhật ký ghi lại nguồn gốc và bộ công cụ kiểm thử để mọi hành động của tác nhân đều có thể kiểm toán và hoàn tác.

Khi được cấu hình đúng cách, tác nhân AI SRE giúp giảm cảnh báo nhiễu, đẩy nhanh quá trình phân loại sự cố và tăng tỷ lệ sự cố được xử lý với mức can thiệp tối thiểu của con người. Các KPI cụ thể cần theo dõi gồm thời gian trung bình phát hiện (MTTD), thời gian trung bình xác nhận (MTTA) và thời gian trung bình xử lý (MTTR), cùng với các chỉ số về tình trạng quá tải của đội ngũ trực. Những lợi ích định tính cũng có giá trị không kém: quy trình xử lý sự cố được bao phủ tốt hơn, ít cảnh báo sai hơn và các nhóm nhanh chóng tin tưởng hơn rằng hệ thống đang thực hiện đáng tin cậy những công việc chuẩn bị trong giờ nghỉ.

Tự động hóa bằng tác nhân đi kèm nhiều rủi ro: khắc phục sai cách, quá tin vào các giả thuyết hoặc bỏ sót điểm mù trong dữ liệu quan sát. Để giảm thiểu những rủi ro này, các nhóm cần giới hạn phạm vi quyền hành động, yêu cầu con người tham gia xử lý các biện pháp khắc phục có ảnh hưởng lớn, duy trì nhật ký kiểm toán bất biến và triển khai kiểm thử tổng hợp để xác thực hành vi của tác nhân khi có sự cố được mô phỏng. Các đợt diễn tập đội đỏ định kỳ và triển khai thử nghiệm từng bước đối với hành động của tác nhân giúp phát hiện những kiểu lỗi bất ngờ trước khi chúng ảnh hưởng đến môi trường sản xuất trên diện rộng.

Hãy bắt đầu ở quy mô nhỏ: chọn một dịch vụ hoặc một nhóm lỗi, thu thập dữ liệu đo từ xa cần thiết và tạo các mục sổ tay vận hành súc tích để tác nhân làm theo. Xác định ngưỡng tin cậy và điều kiện cho phép khắc phục an toàn thật rõ ràng, sau đó chạy tác nhân ở chế độ chỉ quan sát để xác thực kết quả. Tiếp tục cải tiến bằng cách bổ sung trường thông tin về nguồn gốc, mở rộng phạm vi và tự động hóa các biện pháp khắc phục ít rủi ro như giảm tải hoặc điều tiết lưu lượng dựa trên số liệu. Song song với các bước kỹ thuật này, cần xây dựng chính sách: ai chịu trách nhiệm về quyết định của tác nhân, khi nào cần chuyển cấp và cách đưa dịch vụ mới vào kho ngữ cảnh của tác nhân.