Η Microsoft εκπαίδευσε το Phi-3 Mini μόνο για μια εβδομάδα με τις φιλικές προς το AI H100 GPU της Nvidia
Η έκδοση Mini του Phi-3 είναι το μόνο μοντέλο που είναι διαθέσιμο αυτήν τη στιγμή
2 λεπτό. ανάγνωση
Δημοσιεύθηκε στις
Μοιραστείτε αυτό το άρθρο
Βελτιώστε αυτόν τον οδηγό
Διαβάστε τη σελίδα αποκάλυψης για να μάθετε πώς μπορείτε να βοηθήσετε το MSPoweruser να διατηρήσει τη συντακτική ομάδα Διάβασε περισσότερα
Βασικές σημειώσεις
- Η Microsoft παρουσίασε μοντέλα Phi-3, με επικεφαλής τον Phi-3 Mini με παραμέτρους 3.8B,
- Το μοντέλο εκπαιδεύτηκε σε 3.3 τρισεκατομμύρια tokens σε επτά ημέρες χρησιμοποιώντας 512 GPU NVIDIA H100.
- Η οικογένεια Phi-3 περιλαμβάνει επίσης παραλλαγές Small και Medium, ξεπερνώντας τα προηγούμενα μοντέλα όπως το Phi-2.
Η Microsoft ξεκίνησε το Οικογένεια Phi-3 μοντέλων, ένα από τα καλύτερα μικρά μοντέλα της αγοράς αυτή τη στιγμή. Και τώρα, Nvidia είπε και περιέγραψε πώς η εταιρεία Redmond χρησιμοποίησε τις H100 GPU της για να εκπαιδεύσει αυτά τα μοντέλα, ή πιο συγκεκριμένα, την έκδοση Mini, 3.8B.
«Το μοντέλο έχει 3.8 δισεκατομμύρια παραμέτρους και εκπαιδεύτηκε σε 3.3 τρισεκατομμύρια tokens σε μόλις επτά ημέρες σε 512 NVIDIA H100 Tensor Core GPU», λέει ο κατασκευαστής τεχνολογίας την Τρίτη.
Η οικογένεια των Phi-3 έρχεται με τρεις παραλλαγές: Phi-3 Mini (3.8B), Phi-3 Small (7B) και Phi-3 Medium (14B). Είναι μια τεράστια βελτίωση από το προηγούμενο Phi-2 που κυκλοφόρησε με μόλις 2.7B παραμέτρους πριν από μήνες.
Το Phi-3 Mini, πιο συγκεκριμένα, έρχεται επίσης με δύο επιλογές ανάλογα με τα υποστηρικτικά token: 4K και 128K. Μπορείτε να δοκιμάσετε το τελευταίο στο κέντρο AI της Nvidia ως υπηρεσία Nvidia NIM για προγραμματιστές και να εκτελέσετε το μοντέλο τοπικά χρησιμοποιώντας Windows DirectML ή TensorRT-LLM.
"Τα μοντέλα Phi-3 ξεπερνούν σημαντικά τα μοντέλα γλώσσας του ίδιου και μεγαλύτερου μεγέθους σε βασικά σημεία αναφοράς (δείτε αριθμούς συγκριτικής αξιολόγησης παρακάτω, υψηλότερα είναι καλύτερα)" Microsoft είπε κατά την κυκλοφορία των μοντέλων, καυχιόμαστε ότι οι εκδόσεις Small και Medium μπορούν να ξεπεράσουν τα μεγαλύτερα μοντέλα όπως το GPT-3.5T.
Η έκδοση Mini είναι αυτή που είναι διαθέσιμη στην αγορά αυτή τη στιγμή, αλλά η Microsoft υποσχέθηκε ότι και τα άλλα δύο μοντέλα θα είναι διαθέσιμα σύντομα. Μπορείτε επίσης να δοκιμάσετε το Phi-3 Mini σε Azure AI και Hugging Face.
