Browser Agent giá rẻ với Haiku 5.5: Khâu kiểm duyệt mới là chi phí thực sự

Anthropic đã phát hành Claude Haiku 5.5 vào ngày 7 tháng 10 và định vị mô hình này nhắm thẳng vào các tác vụ duyệt web. Bài viết ra mắt nhận định mô hình này rất phù hợp cho “các tác vụ đòi hỏi tốc độ cao như hỗ trợ khách hàng trực tiếp và thao tác trên trình duyệt”, trang giới thiệu sản phẩm cũng liệt kê tính năng điền biểu mẫu, nhập dữ liệu và chuyển thông tin giữa các ứng dụng, đồng thời bản phát hành này cũng bổ sung computer use và browser use vào các SDK Python và TypeScript của Anthropic dưới dạng bản beta. Trên OSWorld 2.1, benchmark đánh giá computer-use do Anthropic công bố, Haiku 5.5 đạt 72,4% với chi phí khoảng $0,61 mỗi lượt thử ở mức effort tối đa (max effort), và đạt 53,3% với chi phí khoảng $0,13 ở mức nỗ lực trung bình (medium effort) mặc định.

Con số nổi bật trên thực chất là điểm hoàn thành một phần. Đọc kỹ system card sẽ thấy các lượt chạy đó chỉ đạt tỷ lệ vượt qua tuyệt đối là 37,1%. Do đó, một đội ngũ tích hợp Haiku 5.5 vào quy trình duyệt web sẽ có được một lượt chạy chỉ tốn vài xu nhưng kết quả phần lớn lại chỉ hoàn thành dở dang. Lượt chạy thì rẻ đi, nhưng khâu kiểm tra lại không hề rẻ, và với một đội ngũ vận hành nhiều agent, điều này sẽ chuyển toàn bộ chi phí thực sự của tự động hóa trình duyệt sang cho bất kỳ ai phải đọc và kiểm tra kết quả.

TL;DR

Trên tập con offline OSWorld 2.1 của Anthropic, Haiku 5.5 đạt trung bình 72,4% điểm hoàn thành một phần nhưng chỉ vượt qua trọn vẹn ở 37,1% số lần thử; Sonnet 5.5 và Opus 5.5 cũng cho thấy khoảng chênh lệch tương tự từ 34 đến 35 điểm với mức giá đắt hơn. Hãy coi mọi lượt chạy trình duyệt là chưa hoàn thành cho đến khi được kiểm tra: hãy viết một tiêu chí nghiệm thu nghiêm ngặt vào Task, yêu cầu Agent dừng lại trước bất kỳ hành động submit nào và báo cáo rõ đã làm xong gì, chưa xong gì kèm bằng chứng, rồi để con người phê duyệt bước cuối cùng bằng một bình luận có @ nhắc đến Agent. Hãy đầu tư công sức để tiết kiệm thời gian kiểm duyệt; bản thân lượt chạy chỉ là phần rẻ nhất. Agent làm nhiệm vụ nghiên cứu, thực thi, kiểm thử và báo cáo. Con người định hướng, cấp quyền và nghiệm thu kết quả.

Hoàn thành một phần chưa phải là xong việc

Anthropic đã chạy OSWorld 2.1 trên 82 trong số 108 tác vụ ở độ phân giải 1080p, tối đa 500 bước mỗi lần thử, ở mức effort tối đa, lấy trung bình qua năm lần thử nghiệm. Báo cáo đưa ra hai con số cho mỗi mô hình, và con số thứ hai mới chính là điều mà người kiểm duyệt phải đối mặt.

Đầu tiên, khoảng cách này không phải là vấn đề của riêng Haiku. Mọi mô hình trong cùng dòng đều có độ chênh khoảng 35 điểm giữa “hầu hết các bước đã được thực hiện” và “tác vụ đã hoàn thành”, và ngay cả Opus 5.5 cũng chỉ vượt qua trọn vẹn khoảng một nửa số lần. Phần lớn các lượt chạy computer-use, theo cách đo lường ở đây, đều kết thúc trong tình trạng dở dang. Thứ hai, Haiku 5.5 khiến cho việc tạo ra các kết quả dở dang này trở nên cực kỳ rẻ. Tính trên mỗi lượt đạt tuyệt đối, chi phí của nó chỉ bằng khoảng một phần bảy so với Sonnet 5.5, và trên mỗi lượt thử thì chỉ bằng khoảng một phần chín.

Dở dang là tình huống nguy hiểm nhất đối với công việc trên trình duyệt. Một lượt chạy thất bại hoàn toàn sẽ không để lại gì phía sau. Nhưng một lượt chạy chuyển được 31 trên 40 bản ghi vào CRM, hoặc điền form nhà cung cấp đến tận trường thuế, sẽ để lại trạng thái dữ liệu trong ứng dụng của bên thứ ba mà nhìn từ xa trông như đã xong xuôi. Bất kỳ ai kiểm duyệt cũng sẽ phải tìm ra 9 bản ghi còn thiếu, trong khi trên màn hình chẳng có gì chỉ ra những chỗ thiếu đó.

Chi phí dồn về đâu khi lượt chạy chỉ tốn vài xu

Một quy trình duyệt web giá rẻ sẽ làm thay đổi dòng ngân sách mà bạn cần theo dõi. Ở mức $0,13 cho mỗi lần thử, một trăm lượt chạy điền form chỉ là khoản sai số làm tròn trên hóa đơn mô hình. Nhưng một trăm lượt chạy mà mỗi lượt đều cần một người xác nhận xem những gì đã được nhập vào có thể ngốn trọn một ngày làm việc của ai đó. Haiku 5.5 có giá thấp hơn 90% so với Haiku 4.5 với các prompt lên đến 100K token; nhưng người kiểm duyệt thì không rẻ đi như vậy.

Ngoài ra còn có một điểm đáng lưu ý về giá. Haiku 5.5 có giá $0,10 cho mỗi triệu token đầu vào và $0,50 cho mỗi triệu token đầu ra đối với các prompt tối đa 100K token, và tăng lên $0,50 cùng $2,50 cho các prompt trên 100K. Một phiên duyệt web dài có thể khiến prompt phình to vượt qua ngưỡng đó, và kể từ lúc đó mỗi yêu cầu sẽ phải trả mức phí cao hơn. Đó là thêm một lý do để giữ cho các Task trên trình duyệt luôn ngắn gọn: một biểu mẫu, một nhóm bản ghi, một Task.

Các bài viết Khâu kiểm duyệt của con người là điểm nghẽn và ngày công của agent trên mỗi ngày công của con người đã từng đưa ra lập luận này trước đây. Điều mà Haiku 5.5 thay đổi là tỷ lệ: ở mức $0,13 mỗi lượt chạy, chi phí vận hành gần như không đáng kể, và các mô hình giá rẻ có thể tốn kém hơn một khi tính cả hàng đợi kiểm duyệt. Đòn bẩy duy nhất còn lại là làm cho mỗi lần kiểm tra diễn ra nhanh hơn.

Kiểm duyệt agent computer use: Task cần phải mang theo những gì

Một Task của browser agent có thể kiểm duyệt được khi thời gian kiểm tra ít hơn thời gian làm lại từ đầu. Điều đó phụ thuộc vào ba thứ mà Agent không thể tự tạo ra sau khi xong việc: một tiêu chí nghiệm thu nghiêm ngặt được viết trước lượt chạy, một báo cáo tách bạch rõ phần đã hoàn thành và chưa hoàn thành, cùng bằng chứng mà con người có thể mở ra xem mà không cần phải phát lại toàn bộ phiên làm việc.

Trong Sharkly, Task vốn đã là một bản ghi dùng chung. Nó lưu trữ phần mô tả, bình luận, tệp đính kèm và lịch sử hoạt động; văn bản của Agent gửi cho đội ngũ được lưu trên Task dưới dạng một bình luận liên kết với lượt chạy; còn nhật ký thực thi ghi lại các lệnh gọi công cụ và sự kiện Runtime. Do đó, thiết kế quy trình kiểm duyệt nằm ở hai nơi: phần mô tả Task nêu rõ thế nào là “hoàn thành”, và phần chỉ dẫn Agent quy định báo cáo phải bao gồm những gì. Dưới đây là điểm khởi đầu cho phần chỉ dẫn của một browser-entry Agent:

Restate the acceptance check from the Task description before you start.
Work up to, but not including, any submit, send, publish, pay, or delete action.
Then stop and report, in this order:
  Done: every record or field you completed, by its identifier.
  Not done: everything you skipped or could not complete, and why.
  Check: the acceptance check, and whether your own count meets it.
  Evidence: the paths of the screenshots you saved in the task directory.
Leave the Task waiting for human review. Do not take the final action
until a person @ mentions you in a comment on this Task to release it.

Hãy viết tiêu chí nghiệm thu dưới dạng có thể đếm được: “40 dòng trong CRM, mỗi dòng đều có email tương ứng”, chứ không phải “nhập bảng tính vào”. Danh sách “Chưa hoàn thành” chính là phần mà điểm số thành phần che giấu; việc gọi tên những gì đã bị bỏ qua sẽ biến một lượt chạy 72% thành một lượt chạy 72% với phần còn lại được nắm rõ. Hướng dẫn của chúng tôi về cách kiểm duyệt công việc của agent với bằng chứng ở cấp độ task sẽ đi sâu hơn về định dạng báo cáo.

Theo tài liệu về Agent của Sharkly, Agent sẽ tuân theo mô hình mặc định của Runtime; để thay đổi, hãy chỉ định một mô hình trong Custom arguments trên Agent hoặc Runtime (claude-haiku-5-5 cho Claude Code). Ở đây không có menu thả xuống để chọn mô hình. Hướng dẫn thiết lập có tại cách chạy các agent Claude Haiku 5.5 trong Sharkly.

Dừng lại trước khi submit

Hoàn thành một phần có thể chấp nhận được đối với một bản nháp nhưng không thể chấp nhận được đối với một biểu mẫu đã được gửi đi. Vì vậy, hãy tách bước không thể hoàn tác ra khỏi lượt chạy thay vì hy vọng mô hình sẽ làm đúng.

Mô hình này sử dụng các thành phần mà Sharkly đã có sẵn. Agent làm việc cho đến trước hành động cuối cùng và để Task ở trạng thái chờ con người kiểm duyệt, trạng thái này sẽ xuất hiện trong Inbox của người kiểm duyệt. Người kiểm duyệt mở báo cáo cùng các ảnh chụp màn hình, sửa lại hoặc từ chối, sau đó @ nhắc đến Agent trong bình luận trên Task để kích hoạt bước tiếp. Một bình luận thông thường sẽ không khởi chạy Agent; chỉ khi được nhắc tên, cuộc hội thoại của nó trên Task mới được mở hoặc tiếp tục, và câu trả lời của nó sẽ được lưu dưới dạng một bình luận khác liên kết với lượt chạy. Hành động submit diễn ra trong cùng Task đó, dưới cùng một bản ghi, sau khi con người đã đồng ý. Hướng dẫn về cổng phê duyệt cho coding agent của chúng tôi sẽ đề cập thêm về những vị trí khác cần đặt điểm dừng này.

Cổng kiểm soát này cũng hạn chế rủi ro khác khi thao tác trên trình duyệt. Một browser agent phải đọc những trang web mà nó không tự viết ra. System card của Anthropic cho biết Haiku 5.5 chống prompt injection tốt hơn bất kỳ phiên bản Haiku nào trước đó, phần lớn sánh ngang với các frontier model của họ trước những kẻ tấn công tương thích trong môi trường computer-use. Đó là kết quả trên benchmark, không phải là lời cam kết chắc chắn cho cổng thông tin nhà cung cấp của bạn, và một câu lệnh bị tiêm nhiễm không thể chạm tới nút submit nếu thiếu bình luận của con người sẽ là một sự cố nhẹ hơn rất nhiều. Ranh giới phía máy chủ (một Computer chuyên dụng, thông tin đăng nhập được gán theo từng Agent thông qua các biến môi trường bí mật, mỗi lần chỉ chạy một phiên trình duyệt) hoàn toàn tương tự như trong hướng dẫn về rào chắn bảo vệ khi sử dụng computer-use của chúng tôi, và bài viết về prompt injection và rào chắn bảo vệ cho agent sẽ đề cập đến các phần còn lại.

Một cặp nguyên tắc ra quyết định cho quy trình này: Hãy sử dụng một browser Agent dùng Haiku 5.5 khi kết quả có thể được đối chiếu với một số lượng hoặc danh sách trong chưa đầy một phút, và hành động cuối cùng có thể đảo ngược hoặc được chặn sau một bình luận phê duyệt. Hãy giữ công việc cho con người, hoặc dùng một mô hình lớn hơn với cùng một cổng kiểm soát, khi việc kiểm tra đồng nghĩa với việc phải làm lại từ đầu, bởi vì khi đó tỷ lệ đạt tuyệt đối 37% sẽ chẳng mang lại gì ngoài một lần làm lại tốn kém.

Chi trả cho effort, tiết kiệm khi kiểm duyệt

Haiku 5.5 là phiên bản Haiku đầu tiên của Anthropic có cài đặt mức nỗ lực (effort), và mặc định là medium. Trên OSWorld, việc tăng effort giúp cải thiện điểm hoàn thành một phần rất nhiều với chi phí tăng thêm rất ít:

Nâng từ mức medium lên max sẽ tốn thêm khoảng $0,49 cho mỗi lượt chạy và mang lại thêm 19 điểm hoàn thành một phần. Nếu số điểm đó giúp rút ngắn thời gian kiểm duyệt dù chỉ một chút, thì max vẫn là mức thiết lập rẻ hơn cho bất kỳ Task trình duyệt nào có con người kiểm tra. System card thể hiện tỷ lệ đạt tuyệt đối theo từng mức effort bằng biểu đồ nhưng chỉ nêu con số cụ thể ở mức max, vì vậy hãy tự đo lường kết quả đạt chuẩn tuyệt đối trên chính các Task của bạn trước khi chọn mức thấp hơn. Mức effort được cài đặt trong Claude Code trên Computer: Agent không hiển thị bảng chọn mô hình hay bộ điều khiển độ sâu tư duy (thinking-depth). Hãy chỉ chạy quy trình giá rẻ ở mức thấp khi không có ai cần đọc kết quả đầu ra, như trong bài Luna cho tám mươi phần trăm công việc nhàm chán; một quy trình trên trình duyệt thì không phải như vậy.

Các tác vụ duyệt web có ghi dữ liệu vào hệ thống của bên khác nên được tạo thành một Task riêng thay vì nằm bên trong một lượt chạy lớn hơn, bởi vì sẽ cần có người nghiệm thu nó; bài viết Haiku 5.5 đóng vai trò subagent hay một Agent độc lập đã giải thích quy tắc chung này.

Một browser agent rẻ hơn đồng nghĩa với việc có nhiều lượt chạy hơn, và nhiều lượt chạy hơn cũng đồng nghĩa với việc có nhiều kết quả dở dang hơn chờ người kiểm tra. Nếu bạn đang vận hành nhiều agent, Sharkly mang đến một nơi duy nhất để quản lý các task và kết quả của chúng.