66B là một mô hình ngôn ngữ quy mô lớn được thiết kế để xử lý ngôn ngữ tự nhiên ở nhiều ngữ cảnh. Với số tham số khoảng 66 tỷ (66B), nó nằm ở phân khúc giữa các mô hình lớn và có nhiều ưu điểm về tốc độ và hiệu suất trên các tác vụ hiểu ngữ nghĩa và sinh văn bản.
Cấu trúc của 66B dựa trên mạng nơ-ron transformer, với nhiều lớp tự attention và feed-forward. Số lượng tham số xấp xỉ 66 tỷ cho phép mô hình lưu trữ kiến thức phong phú, đồng thời đòi hỏi cơ sở hạ tầng tính toán và tối ưu hóa tốt để đảm bảo hiệu suất và chi phí sử dụng.
66B được huấn luyện trên tập dữ liệu đa dạng, bao gồm văn bản từ sách, bài báo, blog và các nguồn văn bản công khai. Quá trình tiền xử lý dữ liệu, lọc sạch và cân nhắc đạo đức đóng vai trò quan trọng để giảm thành phần độc hại và khuếch đại thiên vị.
Nhờ kích thước vừa phải và tối ưu hóa hiệu suất, 66B có khả năng tạo văn bản mạch lạc, trả lời câu hỏi, tóm tắt văn bản, và hỗ trợ phân tích ngôn ngữ tự nhiên trong các hệ thống trò chuyện, công cụ tìm kiếm và trợ lý ảo. Tuy nhiên, nó cũng yêu cầu quản lý nguồn lực và giám sát chất lượng đầu ra để đảm bảo tính an toàn.