Η συζήτηση γύρω από τα όρια της τεχνητής νοημοσύνης συνήθως καταλήγει σε ένα σημείο: τις GPUs. Όσο πιο μεγάλα και ισχυρά γίνονται τα AI μοντέλα, τόσο περισσότερο εξαρτώνται από πανάκριβο hardware και τεράστιες υπολογιστικές υποδομές. Η DeepSeek, όμως, φαίνεται ότι θέλει να αλλάξει αυτό το αφήγημα.
Σε πρόσφατη επιστημονική εργασία που συνυπογράφει ο ιδρυτής της εταιρείας, προτείνεται ένας νέος τρόπος εκπαίδευσης μεγάλων AI μοντέλων, ο οποίος στοχεύει στο να παρακάμψει τους περιορισμούς που επιβάλλει η εξάρτηση από GPUs. Η προσέγγιση αυτή δεν υπόσχεται απλώς καλύτερη αποδοτικότητα, αλλά ενδέχεται να αλλάξει συνολικά τον τρόπο με τον οποίο εκπαιδεύονται τα επόμενης γενιάς μοντέλα τεχνητής νοημοσύνης.
Η DeepSeek είναι ήδη γνωστή για το γεγονός ότι έχει παρουσιάσει ισχυρά γλωσσικά μοντέλα με σαφώς χαμηλότερο κόστος εκπαίδευσης σε σύγκριση με τον ανταγωνισμό. Το νέο paper έρχεται να εξηγήσει πώς κάτι τέτοιο μπορεί να κλιμακωθεί ακόμη περισσότερο.
Τι προτείνει το νέο μοντέλο εκπαίδευσης της DeepSeek
Σύμφωνα με την έρευνα, το βασικό πρόβλημα στη σημερινή εκπαίδευση AI μοντέλων δεν είναι μόνο η έλλειψη GPUs, αλλά ο τρόπος με τον οποίο χρησιμοποιούνται. Τα περισσότερα μεγάλα μοντέλα βασίζονται σε brute force προσέγγιση, αυξάνοντας συνεχώς τις παραμέτρους και απαιτώντας όλο και περισσότερη υπολογιστική ισχύ.
Η πρόταση της DeepSeek επικεντρώνεται σε έναν πιο έξυπνο καταμερισμό της εκπαίδευσης, όπου το μοντέλο δεν χρειάζεται να ενεργοποιεί κάθε φορά ολόκληρο το δίκτυο. Αντίθετα, χρησιμοποιείται μια πιο επιλεκτική διαδικασία, κατά την οποία μόνο τα απολύτως απαραίτητα τμήματα του μοντέλου ενεργοποιούνται ανά task ή δεδομένο.
Με αυτόν τον τρόπο, η εκπαίδευση γίνεται πιο αποδοτική και απαιτεί λιγότερους υπολογιστικούς πόρους, χωρίς να θυσιάζεται η ποιότητα των αποτελεσμάτων. Η λογική θυμίζει σε κάποιο βαθμό αρχιτεκτονικές τύπου mixture of experts, αλλά με περαιτέρω βελτιστοποιήσεις που στοχεύουν στη μείωση των bottlenecks που εμφανίζονται συνήθως σε τέτοια συστήματα.
Το σημαντικό εδώ είναι ότι η προσέγγιση αυτή δεν απαιτεί απαραίτητα νέες GPUs ή εξειδικευμένο hardware. Αντίθετα, προσπαθεί να αξιοποιήσει καλύτερα αυτό που ήδη υπάρχει, κάτι που μπορεί να αποδειχθεί κρίσιμο σε μια περίοδο όπου η πρόσβαση σε ισχυρές GPUs είναι περιορισμένη και ακριβή.
Γιατί αυτό έχει σημασία για την παγκόσμια AI κούρσα
Η χρονική στιγμή που δημοσιεύεται αυτή η εργασία δεν είναι τυχαία. Η παγκόσμια αγορά τεχνητής νοημοσύνης αντιμετωπίζει σοβαρούς περιορισμούς στην προμήθεια GPUs, ενώ ταυτόχρονα οι γεωπολιτικές εντάσεις και οι εξαγωγικοί περιορισμοί δυσκολεύουν ακόμη περισσότερο την πρόσβαση σε προηγμένο hardware, ειδικά για κινεζικές εταιρείες.
Αν η προσέγγιση της DeepSeek αποδειχθεί βιώσιμη στην πράξη, τότε θα μπορούσε να μειώσει δραστικά την εξάρτηση από πανίσχυρα data centers και να ανοίξει τον δρόμο για ανάπτυξη ανταγωνιστικών AI μοντέλων με πολύ χαμηλότερο κόστος. Αυτό θα έδινε σημαντικό πλεονέκτημα σε εταιρείες που δεν έχουν πρόσβαση στις τελευταίες γενιές GPUs, αλλά και σε μικρότερους παίκτες που μέχρι σήμερα δεν μπορούσαν να μπουν στην κούρσα.
Παράλληλα, μια τέτοια εξέλιξη θα μπορούσε να πιέσει έμμεσα και τους μεγάλους παίκτες της αγοράς να επανεξετάσουν τον τρόπο με τον οποίο εκπαιδεύουν τα μοντέλα τους. Αν η αποδοτικότητα γίνει σημαντικότερη από την ωμή υπολογιστική ισχύ, τότε το παιχνίδι αλλάζει για όλους.
Το μόνο σίγουρο είναι ότι η DeepSeek δεν βλέπει το μέλλον της τεχνητής νοημοσύνης αποκλειστικά μέσα από περισσότερες GPUs. Αντίθετα, ποντάρει σε πιο έξυπνες αρχιτεκτονικές και μεθόδους εκπαίδευσης, που μπορεί να αποδειχθούν καθοριστικές για την επόμενη φάση εξέλιξης της AI.
