66B là một mô hình ngôn ngữ có kích thước khoảng 66 tỷ tham số, được huấn luyện trên một tập dữ liệu đa dạng nhằm xử lý ngôn ngữ tự nhiên, tạo văn bản và hỗ trợ nhiều tác vụ AI khác.
Mô hình dựa trên kiến trúc Transformer với nhiều lớp tự chú ý và mạng feed-forward, cho phép học các mối quan hệ ngữ cảnh ở quy mô lớn. Việc đạt được 66 tỷ tham số đòi hỏi hệ thống tính toán phân tán, tối ưu hóa memory và pipeline để quản lý thời gian huấn luyện và chi phí.
Huấn luyện diễn ra trên tập dữ liệu văn bản đa ngôn ngữ và đa nguồn, bao gồm sách, bài viết và nội dung web. Quá trình làm sạch, cân bằng dữ liệu và kiểm soát chất lượng là rất quan trọng để giảm sai lệch và tăng tính khả dụng trong nhiều ngữ cảnh.
66B có khả năng sinh văn bản, tóm tắt, trả lời câu hỏi và hỗ trợ sáng tạo mã nguồn, nhưng cũng đối mặt với rủi ro thiên vị, sai lệch và thông tin lỗi thời. Đánh giá an toàn, kiểm tra đầu ra và giám sát sử dụng là cần thiết trong thực tế.