Bối cảnh
Cuối tháng 7/2012, Knight Capital Group — một công ty giao dịch chứng khoán lớn của Hoa Kỳ — triển khai mã mới cho hệ thống định tuyến lệnh tự động để tham gia chương trình Retail Liquidity Program của NYSE. Một kỹ thuật viên không sao chép mã mới sang một trong tám máy chủ và không có quy trình đòi hỏi kiểm tra lại.
Từ 8 giờ sáng ngày 1/8/2012, trước giờ mở cửa, hệ thống nội bộ gửi 97 email báo lỗi. Email nhắc đến router và một lỗi phát sinh từ việc triển khai mã. Chúng không được thiết kế làm cảnh báo hệ thống và Knight đã không xử lý chúng.
Lúc 9 giờ 30, thị trường mở. Máy chủ thứ tám — nơi không nhận mã mới — vẫn chứa chức năng Power Peg cũ từ năm 2003. Một cờ được dùng lại cho mã mới đã kích hoạt lại chức năng lỗi này. Trong khi đó, bảy máy chủ còn lại xử lý đúng.
212 lệnh khách hàng đi vào hệ thống; router tạo ra hàng triệu lệnh. Các kiểm soát rủi ro tài chính của Knight không ngăn được việc gửi lệnh vượt ngưỡng. Nhân viên nhận thấy vấn đề và cố khắc phục ngay trên hệ thống đang chạy: họ gỡ mã mới khỏi bảy máy chủ đã cập nhật đúng. Việc đó khiến Power Peg lỗi được kích hoạt trên cả bảy máy chủ này, cộng với máy chủ thứ tám.
Trong khoảng 45 phút đầu sau khi thị trường mở, Knight đã gửi hơn 4 triệu lệnh, giao dịch hơn 397 triệu cổ phiếu và chịu lỗ trên 460 triệu USD. Năm 2013, Knight đồng ý nộp phạt 12 triệu USD để giải quyết các cáo buộc của SEC. Lệnh xử phạt ghi nhận Knight thiếu kiểm soát và không có quy trình để dừng hệ thống khi nó hoạt động bất thường, cũng như thiếu kiểm soát trước khi gửi lệnh để phát hiện và ngăn lệnh bất thường.
Đây là phần mềm giao dịch tự động, chưa phải AI theo nghĩa ngày nay. Cơ chế thất bại thì giống nhau: hệ thống tự chạy nhanh hơn khả năng con người can thiệp.
Có người nhìn thấy sự cố. Có đội kỹ thuật cố sửa. Nhưng lại thiếu một dòng văn bản: ai được dừng cả hệ thống?
Có quyền kỹ thuật nhưng không có quyền quyết định
Ở Knight, nhiều người thấy sự cố và đội kỹ thuật có quyền truy cập hệ thống. Họ thiếu một quy trình nói rõ ai được dừng hệ thống, dừng bằng cách nào và khi nào. Họ phải chọn cách xử lý ngay trên hệ thống đang chạy và lựa chọn đó làm sự cố nặng hơn.
Tài liệu AIGP của IAPP nói giám sát AI bắt đầu từ việc giao quyền quyết định (decision rights) cho đúng người và để họ dùng quyền đó. Nếu chưa giao rõ, người phụ trách AI có thể nhìn thấy mọi dự án nhưng không có quyền làm gì với chúng. AI chạy nhanh hơn một cuộc họp. Khi nó sai, mỗi phút là thêm hàng trăm quyết định sai nữa.
Năm quyền, định nghĩa ngắn
Mỗi tổ chức nên viết rõ năm quyền sau cho từng hệ thống AI. Đây là khung tôi đề xuất, ghép từ các nội dung về decision rights, human oversight, go/no-go và rollback trong tài liệu.
Triển khai: quyền cho hệ thống chạy thật. Tài liệu gọi là quyết định go/no-go. Người quyết phải có quyền nói không và chịu trách nhiệm khi nói có.
Ghi đè: quyền gạt kết quả của AI sang một bên trong một ca cụ thể. Người giữ quyền này được xác định từ lúc thiết kế: ai can thiệp, được sửa, đảo ngược đến đâu.
Tạm dừng: quyền ngừng hệ thống hoặc một tính năng, kể cả quay về bản ổn định (rollback). Tài liệu yêu cầu định trước ngưỡng kích hoạt và chỉ định trước người có quyền thực hiện.
Leo thang: quyền và nghĩa vụ báo lên cấp trên. Ai phải biết, theo đường nào, khi nào.
Báo cáo: trách nhiệm giải trình với ban điều hành, Hội đồng quản trị và cơ quan quản lý, kể cả nghĩa vụ báo cáo sự cố theo luật.
Mỗi giai đoạn vòng đời AI, quyền được gán cho các vai trò cụ thể
Quyết định rút hệ thống, giữ nhật ký, xử lý dữ liệu cuối vòng đời, cập nhật hồ sơ. Lập bản đồ các hệ thống phụ thuộc trước khi rút.
Đặt Knight vào bảng này. Giai đoạn 5: không có người thứ hai kiểm tra việc triển khai. Giai đoạn 6: 97 email báo lỗi không thành cảnh báo và công cụ rủi ro chính chỉ dựa vào người nhìn. Ở cả hai giai đoạn, không có quyền tạm dừng nào được viết ra.
Hai quyền hay bị bỏ ngỏ nhất
Triển khai thường có người ký. Báo cáo thường có người lo. Trong năm quyền, tạm dừng và leo thang hay bị bỏ ngỏ nhất.
Tạm dừng. Tài liệu chỉ ra nơi quyền này nên nằm: chính sách giám sát phải nói rõ hành động nào khả dụng (như giới hạn tốc độ hoặc tắt một tính năng) và ai có quyền duyệt, ai có quyền thực hiện. Tài liệu cũng khuyên thiết kế để tắt được từng tính năng mà không phải tắt cả hệ thống. Tôi đề xuất ở giai đoạn giám sát, quyền này đi cùng người đang trực hệ thống.
Leo thang. Người dùng tuyến đầu là người thấy sai đầu tiên. Nếu họ không có kênh báo, tín hiệu chết ở chỗ họ ngồi.
Vì sao hai quyền này bị bỏ ngỏ? Dừng hệ thống có giá nhìn thấy ngay: xử lý chậm, khách phàn nàn, doanh thu giờ cao điểm mất. Chờ thì không ai bị gọi tên. Người bấm nút gánh rủi ro. Người chờ thì không. Trong một tổ chức như vậy, chờ là lựa chọn hợp lý của từng cá nhân.
CIO đứng ở đâu
CIO thường giữ công tắc về kỹ thuật. Theo tôi, vai trò đó không đồng nghĩa với việc CIO quyết mọi lần dừng. Hậu quả kinh doanh của việc dừng thuộc về đơn vị nghiệp vụ. Nghĩa vụ pháp lý thuộc về pháp lý và quản trị rủi ro. CIO bảo đảm công tắc tồn tại, chạy được, có nhật ký và người được giao quyền biết mình được giao.
Gợi ý hành động
Bước 1. Điền bảng năm quyền cho một hệ thống
Chọn hệ thống AI quan trọng nhất đang chạy. Điền tên người cụ thể, không điền tên phòng ban.
Bước 2. Viết ngưỡng dừng bằng con số
Tôi đề xuất ngưỡng do đơn vị nghiệp vụ và đội rủi ro cùng đặt.
Người đặt ngưỡng chịu trách nhiệm cho ngưỡng.
Người bấm nút khi chạm ngưỡng không bị truy cứu.
Quyền bật lại đặt ở cấp cao hơn quyền dừng.
Bước 3. Đưa tên người giữ quyền dừng vào hồ sơ go/no-go
Tài liệu liệt kê rollback, kế hoạch ứng phó sự cố và mô hình giám sát con người là thành phần của gói hồ sơ trình duyệt. Tôi đề xuất thêm một điều kiện: hệ thống chưa có tên người giữ quyền tạm dừng thì chưa được duyệt.
Bước 4. Gắn vào ma trận RACI
Với mỗi tác vụ giám sát và ứng phó, tôi đề xuất chỉ một người ở cột Accountable. Tài liệu coi RACI là cách thực tế để biến quyền quyết định thành văn bản và nêu rõ giám sát thất bại khi trách nhiệm không rõ.
Bước 5. Diễn tập vào một đêm không báo trước giờ
Giả lập một sự cố và đo ba việc: mất bao lâu để có người xác nhận mình có quyền dừng, bao lâu để dừng thật, bao lâu để tin lên đến người cần biết. Tài liệu yêu cầu kiểm thử rollback định kỳ để đội ngũ quen xử lý khi áp lực.
Chặt đến mức nào là quyết định của ban lãnh đạo
Quyền tạm dừng cần có ở mọi hệ thống. Độ sâu của kiểm soát thay đổi theo mức độ rủi ro. Tài liệu IAPP nêu nguyên tắc tương xứng: rủi ro càng cao thì kiểm soát càng sâu và giám sát con người phụ thuộc vào mục đích, mức rủi ro, bối cảnh vận hành của tổ chức.
Ban lãnh đạo giữ ba quyết định mà người trực hệ thống không thể tự đưa ra khi sự cố đang diễn ra: mức rủi ro tổ chức chấp nhận, tên người giữ quyền dừng và người ký go/no-go. Người ký phải có quyền nói không và chịu trách nhiệm khi nói có. Lãnh đạo quyết mức chấp nhận, đơn vị nghiệp vụ và đội rủi ro đổi nó thành ngưỡng bằng số. Quyết định trước, người trực thực thi sau. Tài liệu coi trách nhiệm là chung, nhưng đòi quyền ra quyết định phải rõ ràng.
Phụ đề: Năm quyền vận hành AI và vai trò nào giữ quyền nào ở từng giai đoạn
Tác giả: Trần Thị Bảo Thùy | AINEXT Advisory | Data Risk & Governance Principal Expert






