66B là một mô hình ngôn ngữ lớn có khoảng 66 tỷ tham số, được phát triển để xử lý ngôn ngữ tự nhiên với khả năng sinh văn bản, trả lời câu hỏi và thực hiện các tác vụ ngôn ngữ phức tạp.
Kiến trúc dựa trên Transformer với attention đa đầu, 66 tỷ tham số được phân bổ giữa các lớp và khối, cho phép mô hình nắm bắt ngữ cảnh dài và mối quan hệ ngữ nghĩa.
66B được huấn luyện trên tập dữ liệu đa dạng gồm văn bản web, sách và bài viết, với lượng token khổng lồ được xử lý bằng kỹ thuật tối ưu hóa hiện đại để hài hòa giữa hiệu suất và chi phí.
Mô hình cho khả năng hiểu và sinh ngôn ngữ ở nhiều ngữ cảnh, hỗ trợ chatbot, tổng hợp văn bản, phân tích ngữ nghĩa và dịch máy, đồng thời đặt ra thách thức về độ tin cậy và dữ liệu huấn luyện.
So với các mô hình ngôn ngữ lớn khác, 66B cân bằng giữa kích thước tham số và hiệu suất, cho phép tùy biến và hữu ích cho nghiên cứu, nhưng cần tài nguyên phần cứng đáng kể.
66B đại diện cho xu hướng mô hình ngôn ngữ lớn có quy mô tham số ở mức cao, với triển vọng cải thiện hiệu suất và an toàn, cũng như hướng tới năng lực ứng dụng rộng rãi trong doanh nghiệp và giáo dục.