3. Trò chơi đoán chữ tiếp theo
Nếu bạn muốn hiểu cách hoạt động của các mô hình ngôn ngữ hiện đại, hãy bắt đầu bằng một trò chơi rất đơn giản.
Hãy thử đọc câu sau và đoán chữ tiếp theo.
“Buổi sáng tôi uống một ly…”
Hầu hết mọi người sẽ đoán ngay:
“cà phê.”
Bạn không cần suy nghĩ nhiều.
Bạn cũng không cần phân tích ngữ pháp.
Bộ não của bạn chỉ đơn giản dựa vào kinh nghiệm.
Bạn đã nghe những câu tương tự hàng nghìn lần trong đời.
Vì vậy, khi thấy cụm từ “uống một ly…”, bộ não của bạn nhanh chóng dự đoán chữ tiếp theo có khả năng cao nhất.
Điều thú vị là:
các hệ thống AI hiện đại làm một việc rất giống như vậy.
Một nhiệm vụ tưởng chừng đơn giản
Trong lĩnh vực trí tuệ nhân tạo, có một nhiệm vụ gọi là:
language modeling – mô hình hóa ngôn ngữ.
Nhiệm vụ của nó rất đơn giản:
Dựa vào một chuỗi từ, hãy dự đoán từ tiếp theo.
Ví dụ:
“Trời hôm nay rất…”
Các khả năng có thể là:
đẹp
nóng
lạnh
mát
AI sẽ tính toán xác suất của mỗi từ và chọn từ có khả năng cao nhất.
Nghe có vẻ đơn giản.
Nhưng khi nhiệm vụ này được áp dụng cho hàng tỷ câu, nó trở nên cực kỳ mạnh mẽ.
Học từ Internet
Để học ngôn ngữ, AI cần dữ liệu.
Rất nhiều dữ liệu.
Các mô hình ngôn ngữ lớn được huấn luyện trên:
sách
bài báo
trang web
diễn đàn
và nhiều loại văn bản khác
Tổng cộng, dữ liệu này có thể lên đến hàng nghìn tỷ từ.
Trong quá trình huấn luyện, AI đọc từng câu và học cách dự đoán từ tiếp theo.
Ví dụ:
“Paris là thủ đô của…”
AI học rằng từ tiếp theo rất có thể là “Pháp.”
“Con mèo đang nằm trên…”
AI học rằng từ tiếp theo có thể là “ghế” hoặc “bàn.”
Qua hàng tỷ ví dụ như vậy, hệ thống dần dần học được:
cấu trúc của ngôn ngữ
cách các từ liên kết với nhau
và những mẫu hình phổ biến trong văn bản
Xác suất của từ
Ở bên trong mô hình AI, mỗi từ được gán một xác suất.
Hãy tưởng tượng AI phải hoàn thành câu:
“Trời hôm nay rất…”
Nó có thể tính toán như sau:
| Từ | Xác suất |
|---|---|
| đẹp | 40% |
| nóng | 30% |
| lạnh | 20% |
| mát | 10% |
Sau đó, hệ thống sẽ chọn từ có xác suất cao nhất.
Khi câu tiếp tục, AI lại tiếp tục dự đoán từ tiếp theo.
Bằng cách lặp lại quá trình này hàng trăm lần, AI có thể tạo ra cả đoạn văn.
Tại sao cách này hoạt động?
Lúc đầu, nhiều người nghĩ rằng chỉ dự đoán từ tiếp theo thì không thể tạo ra trí tuệ.
Nhưng ngôn ngữ của con người có một đặc điểm đặc biệt.
Ngôn ngữ chứa rất nhiều thông tin về thế giới.
Ví dụ:
Nếu bạn đọc câu:
“Con cá sống trong…”
Bạn biết từ tiếp theo có thể là “nước.”
Điều này không chỉ là ngôn ngữ.
Nó phản ánh kiến thức về thế giới.
Khi AI học ngôn ngữ từ hàng tỷ câu, nó cũng học được rất nhiều kiến thức gián tiếp.
Ví dụ:
các thành phố thuộc quốc gia nào
các nhà khoa học nổi tiếng
các khái niệm khoa học cơ bản
Nói cách khác, khi AI học ngôn ngữ, nó cũng học một phần về thế giới.
Từ dự đoán đến viết văn
Khi một mô hình ngôn ngữ đã học từ lượng dữ liệu khổng lồ, nó có thể thực hiện nhiều nhiệm vụ khác nhau.
Ví dụ:
trả lời câu hỏi
viết bài luận
tóm tắt văn bản
dịch ngôn ngữ
Tất cả những nhiệm vụ này thực ra đều dựa trên cùng một cơ chế:
dự đoán từ tiếp theo.
Khi bạn hỏi AI một câu hỏi, nó không “tìm câu trả lời” theo cách con người nghĩ.
Thay vào đó, nó dự đoán chuỗi từ có khả năng cao nhất để tiếp tục cuộc hội thoại.
Điều này có thể tạo ra những câu trả lời trông rất thông minh.
Giới hạn của phương pháp
Tuy nhiên, cách tiếp cận này cũng có giới hạn.
Vì AI dựa trên xác suất của từ, đôi khi nó có thể tạo ra câu trả lời nghe có vẻ hợp lý nhưng không chính xác.
Ví dụ, nó có thể:
trộn lẫn thông tin từ nhiều nguồn
tạo ra một chi tiết không tồn tại
hoặc hiểu sai câu hỏi
Điều này khiến nhiều người nói rằng AI đôi khi “tưởng tượng” thông tin.
Trong lĩnh vực AI, hiện tượng này thường được gọi là:
hallucination – ảo giác.
Một vấn đề lớn hơn
Mặc dù việc dự đoán từ tiếp theo rất mạnh, nhưng vẫn có một thách thức lớn.
Ngôn ngữ không chỉ là chuỗi từ.
Các từ trong một câu có thể liên kết với nhau theo những cách rất phức tạp.
Ví dụ:
Trong câu dài, một từ ở cuối câu có thể liên quan đến một từ ở đầu câu.
Nếu AI chỉ đọc từng từ theo thứ tự, nó có thể bỏ lỡ những mối quan hệ này.
Các nhà nghiên cứu cần một phương pháp mới để giúp mô hình hiểu toàn bộ câu cùng lúc.
Bước ngoặt tiếp theo
Phương pháp đó đã xuất hiện vào năm 2017.
Và nó đã thay đổi hoàn toàn lĩnh vực trí tuệ nhân tạo.
Tên của nó là:
Transformer.
Trong chương tiếp theo, chúng ta sẽ khám phá vì sao một kiến trúc AI có tên khá kỹ thuật này lại trở thành nền tảng của hầu hết các hệ thống trí tuệ nhân tạo hiện đại.