Nền tảng Meta tại sự kiện Meta Connect hàng năm ở California trình bày một số tính năng AI mới cho các ứng dụng phổ biến của nó Facebook, Instagram và WhatsApp, nhưng sự đổi mới ấn tượng nhất của gã khổng lồ công nghệ có thể đã không được nhiều người chú ý. Chúng ta đang nói về mô hình Llama 2 Long AI.
Một nhóm các nhà nghiên cứu từ công ty Meta bằng cách nào đó đã lặng lẽ xuất bản một bài báo trong đó họ trình bày một mô hình trí tuệ nhân tạo mới, Llama 2 Long, có khả năng tạo ra các câu trả lời mạch lạc và phù hợp cho các truy vấn dài của người dùng. Họ nói rằng nhiều nhất nó vượt trội hơn một số đối thủ cạnh tranh tốt nhất trong ngành.
Llama 2 Long là phần mở rộng lạc đà không bướu 2, một mô hình AI mã nguồn mở Meta được phát hành vào mùa hè có thể học hỏi từ nhiều nguồn dữ liệu khác nhau và thực hiện nhiều tác vụ khác nhau như mã hóa, toán học, hiểu ngôn ngữ, v.v. Tuy nhiên, Llama 2 Long đã được huấn luyện trên nhiều dữ liệu chứa văn bản dài hơn và thuật toán này đã được sửa đổi để xử lý chuỗi thông tin dài hơn. Điều này cho phép nó hoạt động tốt hơn GPT-3.5 Turbo và Claude 2 của OpenAI, vốn có giới hạn về số lượng ngữ cảnh mà chúng có thể sử dụng để tạo phản hồi.
Các nhà nghiên cứu Siêu dữ liệu đã sử dụng các phiên bản khác nhau của Llama 2 - từ 7 tỷ đến 70 tỷ tham số, tức là các giá trị mà mô hình AI có thể thay đổi bằng cách học hỏi từ dữ liệu. Họ đã thêm 400 tỷ mã thông báo (đơn vị văn bản) dữ liệu khác chứa văn bản dài hơn tập dữ liệu mô hình ban đầu. Họ cũng điều chỉnh một chút kiến trúc của mô hình AI bằng kỹ thuật Nhúng vị trí quay (RoPE) để mô hình có thể tạo ra các câu trả lời chính xác và hữu ích bằng cách sử dụng ít thông tin và bộ nhớ hơn các phương pháp khác.
Nhóm đã sử dụng phương pháp học tăng cường từ phản hồi của con người (RLHF), một phương pháp trong đó mô hình AI được khen thưởng cho những câu trả lời đúng và được người đánh giá sửa chữa, đồng thời dữ liệu tổng hợp được tạo ra bởi chính cuộc trò chuyện Llama 2. Để cải thiện hiệu suất của nó trong các nhiệm vụ khác nhau .
Bài báo tuyên bố rằng mô hình này có thể tạo ra phản hồi chất lượng cao cho lời nhắc của người dùng dài tới 200 ký tự, tương đương với khoảng 40 trang văn bản. Các nhà nghiên cứu cho biết Llama 2 Long là một bước tiến tới việc tạo ra các mô hình AI tổng quát và linh hoạt hơn, có thể đáp ứng nhu cầu phức tạp và đa dạng của người dùng. Họ cũng nhận ra những tác động tiềm tàng về mặt đạo đức và xã hội của những mô hình như vậy và kêu gọi nghiên cứu và đối thoại sâu hơn về cách sử dụng chúng một cách có trách nhiệm và có lợi.
Đọc thêm: