Câu hỏi phỏng vấn về AI tác nhân: Điều gì sẽ xảy ra và cách chuẩn bị

Hầu hết mọi cuộc phỏng vấn AI tác nhân đều bắt đầu ở đây, vì câu trả lời phân loại những người đã xây dựng tác nhân với những người chỉ đọc về chúng. Câu hỏi điển hình có dạng: sự khác biệt giữa tác nhân AI và một lần gọi đơn lẻ đến mô hình ngôn ngữ là gì.

Câu trả lời mạnh mẽ đặt tên cho vòng lặp. Một lần gọi mô hình thông thường ánh xạ một đầu vào thành một đầu ra; một tác nhân chạy chu kỳ lý luận, hành động, quan sát, lặp lại, quyết định bước tiếp theo từ những gì bước cuối trả về. Từ cốt lõi đó, người phỏng vấn phân nhánh vào từ vựng họ mong đợi bạn nắm vững:

• ReAct và lập kế hoạch. Xen kẽ các vết lý luận với các hành động, so với việc lập kế hoạch một chuỗi đầy đủ từ trước rồi thực thi nó.
• Công cụ và gọi hàm. Mô hình được cung cấp các hành động có thể thực hiện trong thế giới như thế nào, và kết quả của chúng tái nhập vào ngữ cảnh như thế nào.
• Bộ nhớ. Ngữ cảnh làm việc ngắn hạn so với hồi tưởng dài hạn được hỗ trợ bởi kho vector hoặc cơ sở dữ liệu.
• Tự chủ và kết thúc. Điều gì quyết định rằng tác nhân đã xong, và điều gì ngăn nó lặp mãi mãi.

Kiểu thất bại ở đây là chồng chất thuật ngữ thời thượng: liệt kê các framework mà không giải thích cơ chế bên dưới. Nêu rõ vòng lặp và phần còn lại của cuộc phỏng vấn sẽ mở ra.

Sau khi các khái niệm được thiết lập, cuộc phỏng vấn chuyển thành cuộc trò chuyện thiết kế, và đây là nơi hầu hết tín hiệu tồn tại. Mong đợi một lời nhắc mở: thiết kế một tác nhân đặt chỗ du lịch, hoặc phân loại vé hỗ trợ, hoặc trả lời câu hỏi về tài liệu nội bộ. Điều được chấm điểm là cách bạn lý luận về các bộ phận chuyển động, không phải liệu bạn có đạt đến câu trả lời cụ thể hay không.

Các câu hỏi đáng tin cậy tiếp theo:

• Sử dụng công cụ khi gặp lỗi. Một lần gọi công cụ hết thời gian hoặc trả về dữ liệu rác; tác nhân làm gì. Thử lại, lui dần và đường dự phòng quan trọng hơn trường hợp thành công.
• Thiết kế bộ nhớ. Điều gì vào lời nhắc mỗi lượt, điều gì được tóm tắt, điều gì được lấy theo yêu cầu, và cách bạn ngăn ngữ cảnh tràn.
• Căn cứ hóa. Khi nhiệm vụ cần các sự kiện mà mô hình không có, cách truy xuất cung cấp cho vòng lặp mà không để các đoạn văn lỗi thời hoặc sai lệch dẫn dắt nó.
• Đa tác nhân so với một tác nhân. Khi nào việc chia công việc cho một bộ điều phối và các công nhân xứng đáng với chi phí phối hợp của nó, và khi nào đó là sự phức tạp vì chính nó.

Trả lời bằng sự đánh đổi, không phải tuyệt đối. Nói "một tác nhân duy nhất với công cụ tốt đánh bại hệ thống đa tác nhân cho đến khi nhiệm vụ thực sự có các mục tiêu phụ song song" được đọc như kinh nghiệm; đặt tên một kiến trúc là tốt nhất phổ quát được đọc như điều ngược lại. Các hướng dẫn mã hóa và thiết kế hệ thống liên quan nằm trong cụm loại phỏng vấn.

Bạn mong đợi câu hỏi khó sẽ về nội bộ mô hình, nhưng người phỏng vấn lại hỏi bạn sẽ biết tác nhân hoạt động như thế nào. Bước ngoặt đó là có chủ đích, và phần này là điều nó thăm dò. Phiên bản ngắn gọn: các hệ thống nhiều bước khó đo lường, và thừa nhận điều đó với một kế hoạch tốt hơn là giả vờ chúng dễ.

Câu hỏi đánh giá tập trung vào vấn đề quỹ đạo: một lần gọi đơn lẻ là đúng hay sai, nhưng một tác nhân theo một con đường, và câu trả lời đúng đạt được qua con đường bị hỏng là một lỗi tiềm ẩn. Câu trả lời mạnh mẽ tách biệt thành công nhiệm vụ khỏi chất lượng bước, đề cập đến việc giữ lại một tập cố định các nhiệm vụ kiểm thử, và coi một mô hình chấm điểm đầu ra của mô hình khác là hữu ích nhưng thiên vị, không phải là sự thật căn bản.

Câu hỏi sản xuất sau đó gây áp lực lên các ranh giới mà không có framework nào loại bỏ. Chi phí và độ trễ tích lũy với mỗi bước thêm trong vòng lặp. Một tác nhân không có điểm dừng cứng có thể quay vòng, vì vậy các điều kiện kết thúc và ngân sách bước là thiết kế thực sự, không phải suy nghĩ thêm. Và các hành động rủi ro cao cần có con người trong vòng lặp, vì một tác nhân có thể hành động tự chủ cũng có thể hành động sai với tốc độ cao.

Priya, một kỹ sư backend đang phỏng vấn cho nhóm nền tảng AI, được yêu cầu phê bình tác nhân đặt chỗ du lịch của chính mình. Cô chỉ ra rằng nó sẽ vui vẻ thử lại một khoản thanh toán thất bại thành khoản tính phí đôi, và đề xuất một khóa tính bất biến cộng với một bước xác nhận. Kiểu thất bại trung thực duy nhất đó đã đưa cuộc phỏng vấn tiến xa hơn bất kỳ tên framework nào.

Câu hỏi AI tác nhân chống lại thẻ ghi nhớ, vì người phỏng vấn theo dõi bất cứ điều gì bạn nói. Do đó, chuẩn bị là về các lần lặp dưới áp lực theo dõi, không phải danh sách đã học thuộc. Một kế hoạch thực tế:

Xây dựng một tác nhân nhỏ từ đầu đến cuối trước cuộc phỏng vấn, thậm chí một tác nhân đồ chơi: một vòng lặp, hai công cụ thực sự, một đường thử lại và một điều kiện dừng. Người đã gỡ lỗi một tác nhân lặp mãi mãi trả lời câu hỏi kết thúc từ trí nhớ, không phải lý thuyết. Sau đó luyện tập giải thích to tiếng, vì cuộc phỏng vấn kiểm tra kể chuyện nhiều như kiến thức.

Đối với phần to tiếng, hãy luyện tập chống lại thứ gì đó phản bác. Một phỏng vấn thử đặt câu hỏi thiết kế và sau đó tra vấn câu trả lời của bạn gần với thực tế hơn là đọc các giải pháp mẫu; chế độ phỏng vấn thử của SubcueAI tạo ra các câu hỏi kỹ thuật theo vai trò và đánh giá sau phiên, để bạn nghe thấy câu trả lời đã mờ dần ở đâu. Trong cuộc phỏng vấn trực tiếp, vai trò trung thực của một trợ lý là giúp bạn duy trì cấu trúc và nhớ lại thuật ngữ dưới áp lực, không phải cung cấp chuyên môn mà bạn không có; chống chế tạo thông tin là toàn bộ vấn đề, và cụm cách hoạt động thẳng thắn về giới hạn đó.