Ερευνητές από το Πανεπιστήμιο Στάνφορντ και το Πανεπιστήμιο της Ουάσιγκτον πέτυχαν μια σημαντική ανακάλυψη, εκπαιδεύοντας ένα AI μοντέλο “λογικής”, γνωστό ως s1, με λιγότερο από 50 δολάρια σε credits cloud computing. Αυτή η εξέλιξη αμφισβητεί την ιδέα ότι μόνο εταιρείες με τεράστιους οικονομικούς πόρους μπορούν να καινοτομήσουν στον χώρο της τεχνητής νοημοσύνης.
Το μοντέλο s1, όπως περιγράφεται σε πρόσφατη ερευνητική εργασία, επιδεικνύει επίπεδα απόδοσης συγκρίσιμα με τα κορυφαία μοντέλα λογικής, όπως το o1 της OpenAI και το r1 της DeepSeek, σε δοκιμές αξιολόγησης μαθηματικών και προγραμματιστικών ικανοτήτων. Επιπλέον, το μοντέλο s1, μαζί με τα δεδομένα εκπαίδευσης και τον κώδικα, είναι διαθέσιμο στο GitHub, προωθώντας την ανάπτυξη AI ανοιχτού κώδικα.
Η ομάδα πίσω από το s1 χρησιμοποίησε μια τεχνική που ονομάζεται απόσταξη (distillation). Αυτή η διαδικασία περιλαμβάνει την εξαγωγή ικανοτήτων “λογικής” από ένα υπάρχον AI μοντέλο, εκπαιδεύοντας το s1 στις απαντήσεις του. Στην περίπτωση αυτή, το s1 αποστάχθηκε από το μοντέλο Gemini 2.0 Flash Thinking Experimental της Google.
Η επιτυχία του s1 εγείρει ερωτήματα σχετικά με την εμπορευματοποίηση των AI μοντέλων. Εάν μια μικρή ομάδα μπορεί να αναπαράγει ένα μοντέλο πολλαπλών εκατομμυρίων δολαρίων με ελάχιστη επένδυση, τι σημαίνει αυτό για τις “τάφρους” που τα μεγάλα εργαστήρια AI έχουν χτίσει γύρω από τις τεχνολογίες τους;
Δεν είναι περίεργο που οι μεγάλοι παίκτες της AI δεν είναι ενθουσιασμένοι. Η OpenAI κατηγόρησε την DeepSeek ότι συγκέντρωσε ακατάλληλα δεδομένα από το API της για σκοπούς απόσταξης μοντέλου.
Για να εκπαιδεύσουν το s1, οι ερευνητές χρησιμοποίησαν ένα μικρό, άμεσα διαθέσιμο AI μοντέλο από το κινεζικό εργαστήριο AI Qwen, που ανήκει στην Alibaba. Στη συνέχεια δημιούργησαν ένα σύνολο δεδομένων από μόλις 1.000 σχολαστικά επιμελημένες ερωτήσεις, σε συνδυασμό με απαντήσεις και τη διαδικασία “σκέψης” πίσω από κάθε απάντηση που δημιουργήθηκε από το Gemini 2.0 Flash Thinking Experimental της Google. Η διαδικασία εκπαίδευσης, η οποία διήρκεσε λιγότερο από 30 λεπτά χρησιμοποιώντας 16 GPU Nvidia H100, απέδωσε εντυπωσιακά αποτελέσματα.
Μια ιδιαίτερα έξυπνη τεχνική που χρησιμοποιήθηκε από τους ερευνητές περιλάμβανε την οδηγία προς το s1 να “περιμένει” κατά τη διάρκεια της διαδικασίας λογικής. Αυτή η απλή προσθήκη βοήθησε το μοντέλο να ελέγξει ξανά την εργασία του και να καταλήξει σε ελαφρώς πιο ακριβείς απαντήσεις.
Ενώ η Meta, η Google και η Microsoft σχεδιάζουν να επενδύσουν εκατοντάδες δισεκατομμύρια δολάρια σε υποδομές AI το 2025, το έργο s1 υπογραμμίζει τις δυνατότητες για καινοτομία σε πολύ μικρότερη κλίμακα. Η απόσταξη μπορεί να είναι μια οικονομικά αποδοτική μέθοδος για την αναπαραγωγή ικανοτήτων AI, αλλά μένει να δούμε αν μπορεί να οδηγήσει σε ανακαλύψεις που ξεπερνούν τα υπάρχοντα μοντέλα.
Είναι σημαντικό να σημειωθεί ότι οι όροι παροχής υπηρεσιών της Google απαγορεύουν την αντίστροφη μηχανική των μοντέλων της για την ανάπτυξη ανταγωνιστικών υπηρεσιών AI. Αυτό εγείρει ερωτήματα σχετικά με τις ηθικές και νομικές επιπτώσεις της χρήσης της δωρεάν πρόσβασης της Google στο Gemini 2.0 Flash Thinking Experimental για έργα όπως το s1. Έχει ζητηθεί σχολιασμός από την Google σχετικά με αυτό το θέμα.
