Η Meta αποκάλυψε τον επιταχυντή συμπερασμάτων τεχνητής νοημοσύνης πρώτης γενιάς που έχει σχεδιαστεί για να τροφοδοτεί τα μοντέλα κατάταξης και συστάσεων που αποτελούν βασικά στοιχεία του Facebook και του Instagram το 2023.
Το τσιπ Meta Training and Inference Accelerator (MTIA), το οποίο μπορεί να χειριστεί συμπεράσματα αλλά όχι εκπαίδευση, ενημερώθηκε τον Απρίλιο και διπλασίασε το εύρος ζώνης υπολογισμού και μνήμης της πρώτης λύσης.
Στο πρόσφατο συμπόσιο Hot Chips τον περασμένο μήνα, η Meta έκανε μια παρουσίαση για το MTIA επόμενης γενιάς και παραδέχτηκε ότι η χρήση GPU για κινητήρες συστάσεων δεν είναι χωρίς προκλήσεις. Ο γίγαντας των μέσων κοινωνικής δικτύωσης σημείωσε ότι η κορυφαία απόδοση δεν μεταφράζεται πάντα σε αποτελεσματική απόδοση, οι μεγάλες αναπτύξεις μπορεί να απαιτούν πόρους και οι περιορισμοί χωρητικότητας επιδεινώνονται από την αυξανόμενη ζήτηση για Generative AI.
Μυστηριώδης επέκταση μνήμης
Λαμβάνοντας αυτό υπόψη, οι στόχοι ανάπτυξης της Meta για την επόμενη γενιά του MTIA περιλαμβάνουν τη βελτίωση της απόδοσης ανά TCO και ανά watt σε σύγκριση με την προηγούμενη γενιά, τον αποτελεσματικό χειρισμό μοντέλων σε πολλές υπηρεσίες Meta και τη βελτίωση της αποτελεσματικότητας των προγραμματιστών για γρήγορη επίτευξη ανάπτυξης μεγάλου όγκου.
Το πιο πρόσφατο MTIA της Meta κερδίζει σημαντική ώθηση στην απόδοση με το GEN-O-GEN, το οποίο αυξάνει τα GEMM TOPs κατά 3,5x σε 177 TFLOPS στο BF16, κβαντοποίηση τανυστών βάσει υλικού για ακρίβεια συγκρίσιμη με το FP32 και βελτιστοποιημένη υποστήριξη για τη λειτουργία PyTorch Eager, ενεργοποιώντας χρόνοι εκκίνησης κάτω από 1 μικροδευτερόλεπτο και αντικατάσταση εργασίας σε λιγότερο από 0,5 μικροδευτερόλεπτο. Επιπλέον, η βελτιστοποίηση TBE ενισχύει τους χρόνους λήψης και προφόρτωσης των δεικτών ενσωμάτωσης, επιτυγχάνοντας 2-3 φορές ταχύτερους χρόνους εκτέλεσης σε σύγκριση με την προηγούμενη γενιά.
Το τσιπ MTIA, που βασίζεται στη διαδικασία 5nm της TSMC, λειτουργεί στα 1,35 GHz με πλήθος πυλών 2,35 δισεκατομμυρίων και προσφέρει απόδοση GEMM 354 TOPS (INT8) και 177 TOPS (FP16), χρησιμοποιώντας μνήμη 128 GB LPDDR5 με εύρος ζώνης 20,4 GB. όλα μέσα σε ένα TDP 90 watt.
Τα Στοιχεία Επεξεργασίας είναι χτισμένα σε πυρήνες RISC-V, με βαθμωτές και διανυσματικές επεκτάσεις, και η μονάδα επιτάχυνσης της Meta περιλαμβάνει διπλούς CPU. Στο Hot Chips 2024, ServeTheHome παρατήρησε μια επέκταση μνήμης συνδεδεμένη με το διακόπτη PCIe και τις CPU. Όταν ρωτήθηκε αν αυτό ήταν το CXL, ο Meta είπε μάλλον αποθαρρυντικά, «είναι μια επιλογή για προσθήκη μνήμης στο πλαίσιο, αλλά δεν αναπτύσσεται αυτήν τη στιγμή».
VIA: TechRadar.com/
