Mẫu phi-1.5 1.3B mới của Microsoft vượt trội hơn llama2-7b về điểm chuẩn

Microsoft Research hôm qua đã phát hành một mô hình ngôn ngữ mới có tên phi-1.5. Phi-1.5 là một Transformer có 1.3 tỷ tham số và phù hợp nhất cho các lời nhắc sử dụng định dạng QA, định dạng trò chuyện và định dạng mã.

Mô hình mới này được đào tạo bằng cách sử dụng nhiều nguồn dữ liệu khác nhau, bao gồm các tập hợp con mã Python từ nội dung Hỏi đáp từ StackOverflow, mã cạnh tranh từ code_contests, sách giáo khoa Python tổng hợp, bài tập được tạo bởi gpt-3.5-turbo-0301, được tăng cường bằng nguồn dữ liệu mới bao gồm của các văn bản tổng hợp NLP khác nhau.

Theo nhóm Nghiên cứu của Microsoft, phi-1.5 thể hiện hiệu suất gần như tiên tiến nhất trong số các mô hình có ít hơn 10 tỷ tham số khi được đánh giá dựa trên các điểm chuẩn kiểm tra ý thức chung, khả năng hiểu ngôn ngữ và lý luận logic. Phi-1.5 đánh bại llama-2 7b của Meta ở điểm AGIEval và gần ngang bằng với llama-2 7b trong bộ Benchmark của GPT4ALL với LM-Eval Harness.

Microsoft đã phát hành mô hình nguồn mở này để cung cấp cho cộng đồng nghiên cứu một mô hình nhỏ không bị hạn chế nhằm khám phá những thách thức an toàn quan trọng.

chi tiết mô hình phi-1.5:

• Kiến trúc: một mô hình dựa trên Transformer với mục tiêu dự đoán từ tiếp theo
• Kích thước tập dữ liệu: 30B token
• Token đào tạo: 150B token
• Độ chính xác: fp16
• GPU: 32xA100-40G
• Thời gian đào tạo: 8 ngày

Bạn có thể tham khảo mẫu phi-1.5 mới tại Ôm Mặt đây.