Πρόσφατα είδαμε πώς μοιάζουν οι GPU τεχνητής νοημοσύνης αξίας 1 δισεκατομμυρίου δολαρίων όταν ο Elon Musk μοιράστηκε μια σύντομη περιήγηση βίντεο στον Cortex, τον εκπαιδευτικό υπερυπολογιστή AI του X που βρίσκεται υπό κατασκευή στο εργοστάσιο Giga της Tesla στο Τέξας.
Πιο πρόσφατα, ο Musk ανέβηκε στην πλατφόρμα κοινωνικής δικτύωσης του για να ανακοινώσει ότι το Colossus, ένα νέο εκπαιδευτικό cluster 100k H100, είναι τώρα σε λειτουργία.
Ο Musk ισχυρίζεται ότι το Colossus είναι «το πιο ισχυρό σύστημα εκπαίδευσης AI στον κόσμο» και ότι κατασκευάστηκε «από την αρχή μέχρι το τέλος» σε μόλις 122 ημέρες. Αυτό είναι αρκετά επίτευγμα. Οι διακομιστές για το σύμπλεγμα xAI παρασχέθηκαν από την Dell και τη Supermicro, με το κόστος του έργου να εκτιμάται ότι κυμαίνεται μεταξύ 3-4 δισεκατομμυρίων δολαρίων.
Αυτό το Σαββατοκύριακο, η ομάδα @xAI έφερε διαδικτυακά το προπονητικό μας σύμπλεγμα Colossus 100k H100. Από την αρχή μέχρι το τέλος, έγινε σε 122 ημέρες. Το Colossus είναι το πιο ισχυρό σύστημα εκπαίδευσης AI στον κόσμο. Επιπλέον, θα διπλασιαστεί σε μέγεθος σε 200k (50k H200s) σε λίγους μήνες. Εξοχος…2 Σεπτεμβρίου 2024
Από πού πήρε το όνομά του το Colossus;
Tom’s Hardware σημειώνει, «Παρόλο που όλα αυτά τα cluster είναι επίσημα λειτουργικά και ακόμη και εκπαιδεύουν μοντέλα τεχνητής νοημοσύνης, είναι εντελώς ασαφές πόσα είναι πραγματικά online σήμερα. Πρώτον, χρειάζεται λίγος χρόνος για τον εντοπισμό σφαλμάτων και τη βελτιστοποίηση των ρυθμίσεων αυτών των υπερσυστάδων. Δεύτερον, η X πρέπει να διασφαλίσει ότι έχουν αρκετή ισχύ και ενώ η εταιρεία του Elon Musk χρησιμοποιεί 14 γεννήτριες ντίζελ για να τροφοδοτήσει τον υπερυπολογιστή της στο Memphis, δεν ήταν αρκετές για να τροφοδοτήσουν και τις 100.000 μονάδες GPU H100.
Το σύστημα Colossus είναι έτοιμο να διπλασιαστεί τελικά σε χωρητικότητα, με σχέδια να ενσωματώσει επιπλέον 100.000 GPU – 50.000 μονάδες H100 και 50.000 τσιπ H200 επόμενης γενιάς της Nvidia. Το supercluster θα χρησιμοποιηθεί κυρίως για την εκπαίδευση του Grok-3 της xAI, του πιο πρόσφατου, πιο προηγμένου μοντέλου AI της εταιρείας. Δεν έχουμε δει ακόμη καμία αναφορά για αποθήκευση για το νέο σύστημα, αλλά θα πρέπει να είναι τεράστιο.
Η ονομασία του νέου υπερυπολογιστή έχει προκαλέσει περισσότερα από μερικά φρύδια, ωστόσο, με τους ανθρώπους να σημειώνουν ότι μοιράζεται το όνομά του με μια ταινία επιστημονικής φαντασίας του 1970 (βασισμένη σε ένα μυθιστόρημα του 1966 από τον DF Jones) σχετικά με έναν υπερυπολογιστή που γίνεται αντιληπτός αφού του δοθεί. έλεγχο του πυρηνικού οπλοστασίου των ΗΠΑ. Τα πράγματα, όπως ήταν αναμενόμενο, πάνε φρικτά στραβά για την ανθρωπότητα.
Τόσο το μυθιστόρημα όσο και η ταινία διερευνούν επίκαιρα θέματα της αυτονομίας της τεχνητής νοημοσύνης, τους κινδύνους της παραίτησης από τον έλεγχο στις μηχανές και τις ηθικές συνέπειες της τεχνητής νοημοσύνης. Είναι πιθανό ότι ο Musk δεν το γνώριζε αυτό όταν επιλέχθηκε το όνομα για το νέο του σύστημα εκπαίδευσης AI και μπορεί να είχε επιλεγεί καθαρά για να τονίσει την τεράστια κλίμακα του υπερσυστάδας. Και πάλι, με το ιστορικό του Musk, δεν θα ήταν περίεργο αν η αναφορά ήταν εντελώς σκόπιμη – ξέρει ακριβώς τι κάνει.
VIA: TechRadar.com/
