66B đề cập đến một mô hình với khoảng 66 tỷ tham số, được huấn luyện trên lượng lớn dữ liệu dạng văn bản để hiểu và sinh ngôn ngữ tự nhiên với độ phức tạp cao.
Kiến trúc transformer với nhiều lớp tự attention, tối ưu hóa cho xử lý câu dài và khả năng tổng quát trên nhiều ngôn ngữ và chủ đề. Dữ liệu huấn luyện được tích lũy từ nguồn công khai và hợp tác, đạt chất lượng cao.
66B có thể được dùng cho dịch máy, tổng hợp văn bản, tóm tắt, trả lời câu hỏi và hỗ trợ sáng tác. Tuy nhiên, nó đòi hỏi nguồn lực tính toán lớn, tiềm ẩn rủi ro sai lệch và đảm bảo an toàn nội dung.