Nhỏ Bình thường Lớn

Đối tác Google thừa nhận không có đủ thời gian để đánh giá độ chính xác của chatbot AI

Để đánh giá chất lượng chatbot AI, Google đã thuê bên thứ ba, nhưng các đối tác thừa nhận ‘đoán mò’ khi đánh giá độ chính xác phản hồi chatbot AI.
Đối tác Google thừa nhận không có đủ thời gian để đánh giá độ chính xác của chatbot AI
Độ chính xác các phản hồi của Bard AI đưa ra đang bị đặt dấu hỏi khi các đối tác Google thừa nhận họ phải 'đoán mò' câu trả lời trong một số trường hợp. (Nguồn: Insider)

Người dùng có lẽ sẽ suy nghĩ lại về các câu trả lời của chatbot AI, sau khi họ biết được quy trình đánh giá độ chính xác của các phản hồi này.

Google đã phát hành chatbot Bard dưới dạng giới hạn vào tháng 3 vừa qua, trong nỗ lực đáp trả ChatGPT của OpenAI.

Appen là một nhà thầu đang giúp cải thiện chatbot Google. Các nhân viên của công ty này không được thông báo rằng nhiệm vụ của họ liên quan đến Bard, nhưng các cuộc thảo luận nội bộ về nhiệm vụ mới bắt đầu từ ngày 7/2, khoảng thời gian gã khổng lồ tìm kiếm lần đầu tiên công bố chatbot AI của hãng.

Những đối tác, được gọi là “người đánh giá”, thường xem xét thuật toán tìm kiếm của Google và mức độ liên quan của quảng cáo đặt trong kết quả tìm kiếm, cũng như gắn cờ các website độc hại để chúng không xuất hiện trên trang kết quả.

Nguồn tin của Insider cho hay, kể từ tháng 1, phần lớn công việc những người đánh giá đã chuyển sang xem xét các lời nhắc của AI. Họ nói rằng không có đủ thời gian để chấm điểm độ chính xác các phản hồi mà chatbot đưa ra, do đó đôi khi họ chỉ có thể đưa ra “dự đoán tốt nhất”.

Bard đã nhận chỉ trích sau khi mọi người phát hiện ra chatbot đưa ra câu trả lời sai ngay trong sự kiện ra mắt. Google nói rằng, chatbot sẽ trở nên tốt hơn theo thời gian và không nên coi ứng dụng này là sự thay thế cho công cụ tìm kiếm.

Trước khi ra mắt, vào tháng 2, Google cũng yêu cầu các nhân viên dành từ 2-4 giờ để kiểm tra chatbot, đặt câu hỏi cho nó và gắn cờ những câu trả lời không đáp ứng tiêu chuẩn của công ty.

Các nhà thầu cho biết, họ có một khoảng thời gian nhất định để hoàn thành từng nhiệm vụ, từ ít nhất là 60 giây cho đến hơn vài phút. Tuy nhiên, những người đánh giá nói rằng rất khó để đánh giá phản hồi khi họ không hiểu về chủ đề chatbot đang nói đến, trong đó có các chủ đề kỹ thuật, chẳng hạn như blockchain.

Mỗi nhiệm vụ được giao thể hiện thời gian đều tính phí, do đó các nhân viên sẽ tìm cách hoàn thành nhiệm vụ ngay cả khi họ không thể đánh giá chính xác các phản hồi chatbot đưa ra.

Những nhân viên này nói rằng, họ muốn tìm hiểu đúng sự thật và cung cấp trải nghiệm chatbot chất lượng tốt nhất có thể, nhưng đơn giản là không có đủ thời gian nghiên cứu vấn đề trước khi đưa ra xếp loại.

“Bạn cần 3 giờ nghiên cứu để hoàn thành một nhiệm vụ 60 giây, đó là vấn đề chúng tôi đang gặp phải hiện nay”, một trong những người đánh giá chia sẻ.

Google dẫn đầu thị phần tìm kiếm trực tuyến

Google dẫn đầu thị phần tìm kiếm trực tuyến

Dù trên nền tảng máy tính, hay điện thoại di động, Google - sản phẩm của công ty mẹ Alphabet rất khó bị đánh bại ...

‘Nữ tướng' vừa từ chức CEO YouTube là ai?

‘Nữ tướng' vừa từ chức CEO YouTube là ai?

‘Nữ tướng’ Susan Wojcicki, CEO YouTube là một trong những phụ nữ ảnh hưởng nhất thế giới, đứng thứ 23/100 danh sách phụ nữ quyền ...

ChatGPT đứng trước nhiều thách thức

ChatGPT đứng trước nhiều thách thức

Liệu ChatGPT có thể giữ được đà tăng trưởng thần tốc của mình trước sự nỗ lực của hàng loạt đối thủ mới cùng nhiều ...

Google ra mắt một loạt công cụ AI

Google ra mắt một loạt công cụ AI

Ngày 14/3, Google đã cho ra mắt một loạt các công cụ trí tuệ nhân tạo (AI) cho các dịch vụ như lưu trữ đám ...

Các công ty truyền thông Mỹ đòi quyền lợi từ các 'gã khổng lồ công nghệ'

Các công ty truyền thông Mỹ đòi quyền lợi từ các 'gã khổng lồ công nghệ'

Các tổ chức, công ty truyền thông nhỏ có thể cùng hợp tác để thương lượng về mức giá quảng cáo với các "gã khổng ...

(theo Vietnamnet)