66B là một mô hình ngôn ngữ lớn có quy mô khoảng 66 tỷ tham số, được huấn luyện trên tập dữ liệu đa dạng nhằm tạo ra văn bản tự nhiên, hỗ trợ nhiều tác vụ ngôn ngữ như trả lời câu hỏi, viết văn bản, và tóm tắt nội dung.
Kiến trúc dựa trên transformer với cơ chế tự chú ý và nhiều lớp chứa tham số. Quy mô 66B cho phép mô hình nắm bắt mối quan hệ ngữ nghĩa phức tạp, nhưng cũng đòi hỏi tài nguyên tính toán và memory lớn khi huấn luyện và vận hành.
Vật liệu huấn luyện được tổng hợp từ nhiều nguồn: văn bản web, sách, tài liệu kỹ thuật và mã nguồn. Quá trình huấn luyện dùng phân phối song song, kỹ thuật precision hỗn hợp và checkpoint gradient để tối ưu hiệu suất và hiệu quả nguồn lực.
66B có thể được dùng cho chat tự nhiên, tạo nội dung, tổng hợp văn bản, trả lời câu hỏi, hỗ trợ lập trình và phân tích dữ liệu. Việc tích hợp vào hệ thống doanh nghiệp đòi hỏi chuẩn hóa đầu ra và kiểm soát đầu ra để giảm sai lệch và ảo giác.
Vấn đề bias, sai lệch thông tin và khả năng tạo nội dung không mong muốn là những thách thức chính. Các biện pháp đảm bảo an toàn bao gồm lọc nội dung, đánh giá độ tin cậy và hệ thống kiểm tra lỏng lẻo khi triển khai.
Những hướng đi tương lai gồm tối ưu hoá bằng lượng tham số thấp hơn nhờ kỹ thuật distillation và quantization, tích hợp retrieval-augmented generation, hỗ trợ đa chế độ và khả năng chạy trên thiết bị biên với hiệu suất được cải thiện.