Τα νέα μοντέλα ανοιχτού κώδικα DBRX της Databricks αξίας 10 εκατομμυρίων δολαρίων είναι επιτέλους εδώ
Για ένα μοντέλο ανοιχτού κώδικα που κόστισε 10 εκατομμύρια δολάρια και 2 μήνες εκπαίδευσης, είναι εντυπωσιακό.
2 λεπτό. ανάγνωση
Δημοσιεύθηκε στις
Μοιραστείτε αυτό το άρθρο
Βελτιώστε αυτόν τον οδηγό
Διαβάστε τη σελίδα αποκάλυψης για να μάθετε πώς μπορείτε να βοηθήσετε το MSPoweruser να διατηρήσει τη συντακτική ομάδα Διάβασε περισσότερα
Βασικές σημειώσεις
- Η Databricks λανσάρει το DBRX, το σύνολο των μοντέλων τεχνητής νοημοσύνης που δημιουργούνται στο GitHub και το Hugging Face.
- Το DBRX περιλαμβάνει τη βάση DBRX για εργασίες που βασίζονται σε οδηγίες και το DBRX Instruct για προσαρμογή.
- Απαιτεί ισχυρό υλικό για να τρέξει και ξεπερνά τα άλλα μοντέλα όπως το GPT-3.5.
Η Databricks μόλις πρόσφατα ανακοίνωσε ότι είναι εκκίνηση του DBRX, το σύνολο των μοντέλων τεχνητής νοημοσύνης που δημιουργείται, που είναι τώρα διαθέσιμο στο GitHub και στο Hugging Face. Είναι προεκπαιδευμένο σε κουπόνια 12Τ, χρησιμοποιεί GLU και GQA και δεν είναι πολυτροπικό (δεν μπορεί να τρέξει εικόνες).
Το μοντέλο έχει δύο εκδόσεις, τη βάση DBRX, βελτιστοποιημένη για εργασίες που βασίζονται σε εντολές, και την DBRX Instruct, ένα προεκπαιδευμένο μοντέλο κατάλληλο για περαιτέρω προσαρμογή. Το μοντέλο παραμέτρων 132B είναι ανοιχτού κώδικα και διατίθεται στα αγγλικά, αν και ισχυρίζεται ότι μπορεί να μεταφραστεί και στα γαλλικά, γερμανικά και ισπανικά.
Ο αντιπρόεδρος της γενετικής τεχνητής νοημοσύνης της Databricks, Naveen Rao, αποκαλύπτεται στο α TechCrunch συνέντευξη ότι η εταιρεία επένδυσε 10 εκατομμύρια δολάρια και δύο μήνες στην εκπαίδευση των μοντέλων. Ωστόσο, το πρόβλημά μας είναι ότι η εκτέλεση αυτών των μοντέλων απαιτεί βαρύ υλικό, όπως τουλάχιστον 4 GPU Nvidia H100 ή ισοδύναμες, συνολικής μνήμης 320 GB ή ένα cloud τρίτων κατασκευαστών με περισσότερο ή λιγότερο παρόμοιες απαιτήσεις.
Σύμφωνα με την δελτίο τύπου, η DBRX ισχυρίζεται ότι μπορεί να ξεπεράσει τα υπάρχοντα μοντέλα ανοιχτού κώδικα όπως τα LLaMA2-70B, GPT-3.5, Mixtral και Γκροκ-1 σε ορισμένα πράγματα όπως τα μαθηματικά, η λογική και άλλα. Μπορείτε να τα βάλετε να λειτουργούν απευθείας με το Databricks Model Serving ή να τα προσαρμόσετε περαιτέρω για συγκεκριμένες ανάγκες, καθώς έχουν άδεια χρήσης με την άδεια χρήσης Open Model License Databricks.
Μπορούν να αναπτυχθούν απευθείας στο Databricks Model Serving ή να χρησιμοποιηθούν για σκοπούς τελειοποίησης και συμπερασμάτων παρτίδας.
Μπορείτε να δοκιμάσετε τα μοντέλα ανοιχτού κώδικα DBRX της Databricks εδώ.
