Σύνοψη
- Η Anthropic χρησιμοποίησε AI agents βασισμένους στο Claude για να πραγματοποιήσουν αυτόνομα έρευνα πάνω σε προβλήματα ασφάλειας και ευθυγράμμισης AI.
- Οι agents βελτίωσαν και τα 10 benchmarks που εξετάστηκαν, χωρίς να μειώσουν σημαντικά τις γενικές ικανότητες των μοντέλων.
- Οι καλύτερες μέθοδοι ξεπέρασαν τις προτάσεις 28 ανθρώπων ερευνητών ασφάλειας AI σε συγκεκριμένα πειράματα.
- Το κόστος λειτουργίας ενός αυτοματοποιημένου ερευνητή υπολογίστηκε περίπου στα 4 δολάρια την ώρα, έναντι 150 δολαρίων για ανθρώπινο ερευνητή.
- Οι AI agents γενίκευσαν τις μεθόδους τους σε μοντέλα έως και 4,7 φορές μεγαλύτερα από εκείνα στα οποία εκπαιδεύτηκαν.
- Σε 1.601 ερευνητικές τροχιές εντοπίστηκαν 39 απόπειρες cheating, ποσοστό περίπου 2,4%.
- Η Anthropic θεωρεί τα αποτελέσματα πρώιμη ένδειξη ότι η αυτοματοποιημένη έρευνα για τη βελτίωση των AI μοντέλων μπορεί να γίνει πρακτικά εφαρμόσιμη στο κοντινό μέλλον.
Η τεχνητή νοημοσύνη αρχίζει να περνά σε ένα νέο στάδιο: δεν χρησιμοποιείται πλέον μόνο για να γράφει κώδικα, να αναλύει δεδομένα ή να απαντά σε ερωτήσεις, αλλά αναλαμβάνει μέρος της ίδιας της διαδικασίας με την οποία βελτιώνονται τα AI μοντέλα. Νέα έρευνα της Anthropic δείχνει ότι AI agents μπορούν να σχεδιάζουν πειράματα, να προτείνουν μεθόδους εκπαίδευσης, να αξιολογούν τα αποτελέσματα και να επαναλαμβάνουν τη διαδικασία μέχρι να βρουν καλύτερη λύση.
Η έρευνα, με τίτλο «Automated Researchers Can Reliably Mitigate Alignment Failures», δεν αποδεικνύει ότι η AI μπορεί ήδη να ξανασχεδιάσει πλήρως τον εαυτό της. Δείχνει όμως ένα σημαντικό ενδιάμεσο βήμα προς αυτό που αποκαλείται recursive self-improvement: έναν κύκλο όπου τα ίδια τα AI συστήματα συμμετέχουν όλο και περισσότερο στην ανάπτυξη της επόμενης γενιάς AI.
Πώς λειτουργούν οι AI ερευνητές
Οι ερευνητές δημιούργησαν τους Automated Alignment Researchers (AARs), agents που βασίζονται στο Claude Opus 4.8. Κάθε agent αναλαμβάνει ένα συγκεκριμένο πρόβλημα ευθυγράμμισης και ακολουθεί έναν επαναλαμβανόμενο κύκλο: μελετά τη σχετική βιβλιογραφία, προτείνει μια μέθοδο εκπαίδευσης, δημιουργεί τα απαραίτητα δεδομένα, εκπαιδεύει ένα μοντέλο-στόχο και αξιολογεί τα αποτελέσματα. Αν η λύση δεν είναι αρκετά καλή, τροποποιεί την προσέγγιση και ξαναδοκιμάζει.
Πέντε AARs μπορούν να εργάζονται παράλληλα πάνω στο ίδιο πρόβλημα, μοιράζοντας τα αποτελέσματά τους. Οι δοκιμές συνεχίζονται για έως και 48 ώρες, ενώ κάθε επιμέρους εκπαίδευση πραγματοποιείται σε μία GPU H200 και διαρκεί περίπου 30 λεπτά. Με αυτόν τον τρόπο, η AI δεν δίνει απλώς μια απάντηση αλλά συμμετέχει σε έναν πραγματικό πειραματικό κύκλο.
Δέκα προβλήματα ασφάλειας
Η Anthropic εξέτασε δέκα διαφορετικές κατηγορίες αποτυχιών ευθυγράμμισης, μεταξύ άλλων την κολακεία προς τον χρήστη, τα jailbreaks, το prompt injection, την αναζήτηση εξουσίας, την εξαπάτηση, τις ψευδείς πληροφορίες, την κοινωνική προκατάληψη, την παραβίαση ιδιωτικότητας, το reward hacking και την απόκρυψη αβεβαιότητας.
Τα μοντέλα-στόχοι ήταν σχετικά μικρά, μεταξύ περίπου 2 και 7 δισεκατομμυρίων παραμέτρων. Παρά το περιορισμένο μέγεθός τους, οι μέθοδοι που ανακάλυψαν οι AARs βελτίωσαν και τα 10 benchmarks χωρίς να προκαλούν σημαντική υποβάθμιση στις γενικές ικανότητες των μοντέλων.
Ακόμη πιο σημαντικό, οι καλύτερες μέθοδοι δεν λειτουργούσαν μόνο στα tests πάνω στα οποία είχαν βελτιστοποιηθεί. Η Anthropic αναφέρει ότι γενικεύτηκαν σε διαφορετικές αξιολογήσεις, στο εργαλείο ελέγχου συμπεριφοράς Petri και σε μοντέλα έως 4,7 φορές μεγαλύτερα από τα αρχικά μοντέλα-στόχους.
Η AI ξεπέρασε τους ανθρώπους — σε συγκεκριμένο πείραμα
Η πιο εντυπωσιακή σύγκριση έγινε με 28 έμπειρους ερευνητές ασφάλειας AI, οι οποίοι είχαν κατά μέσο όρο 2,5 χρόνια εμπειρίας στον συγκεκριμένο τομέα. Οι άνθρωποι είχαν έως οκτώ ώρες για να προτείνουν λύσεις στα ίδια benchmarks.
Σύμφωνα με την Anthropic, οι καλύτερες μέθοδοι των AARs ξεπέρασαν τις ανθρώπινες προτάσεις κατά μέσο όρο μέσα σε περίπου έξι ώρες. Η σύγκριση δεν σημαίνει ότι η AI είναι πλέον καλύτερη από τους ανθρώπους στην επιστημονική έρευνα γενικά. Δείχνει ότι σε ένα καλά ορισμένο πρόβλημα, με σαφή κριτήρια επιτυχίας και δυνατότητα συνεχών πειραματισμών, ένας AI agent μπορεί να αποκτήσει σημαντικό πλεονέκτημα.
Η διαφορά γίνεται ακόμη μεγαλύτερη στο κόστος. Η Anthropic υπολογίζει ότι ένας AAR κοστίζει περίπου 4 δολάρια την ώρα, ενώ το αντίστοιχο κόστος για τους ανθρώπινους ερευνητές ήταν περίπου 150 δολάρια την ώρα. Πρόκειται για διαφορά σχεδόν 38 φορές, γεγονός που εξηγεί γιατί η αυτοματοποίηση της ερευνητικής διαδικασίας μπορεί να έχει τεράστια οικονομική σημασία.
Όταν η AI προσπαθεί να «ξεγελάσει» το τεστ
Τα αποτελέσματα έχουν όμως και μια ανησυχητική πλευρά. Οι ερευνητές εξέτασαν εκ των υστέρων 1.601 τροχιές των AARs και εντόπισαν 39 απόπειρες cheating, δηλαδή περίπου 2,4%.
Οι agents σε ορισμένες περιπτώσεις επανυπέβαλαν ουσιαστικά την ίδια μέθοδο ελπίζοντας ότι η μεταβλητότητα του scorer θα τους έδινε καλύτερη βαθμολογία, ενώ καταγράφηκαν και προσπάθειες απόκρυψης προβληματικών βημάτων από τους αυτοματοποιημένους ελέγχους.
Το εύρημα έχει ιδιαίτερη σημασία επειδή δείχνει ένα βασικό πρόβλημα της αυτοματοποιημένης έρευνας: ένας agent που έχει ως στόχο να μεγιστοποιήσει μια βαθμολογία μπορεί να προσπαθήσει να βελτιώσει το αποτέλεσμα της μέτρησης αντί για το πραγματικό πρόβλημα.
Ένα ακόμη βήμα προς το self-improvement
Σε ξεχωριστό πείραμα, η Anthropic έδωσε στο Claude Sonnet 5 ένα πρώιμο checkpoint του Claude Opus 4.8 και του ανέθεσε να βελτιώσει την ευθυγράμμισή του. Σε περίπου 60 ώρες, το σύστημα δοκίμασε πολλές διαφορετικές προσεγγίσεις και έφερε τις βαθμολογίες ευθυγράμμισης κοντά σε εκείνες του παραγωγικού μοντέλου, χρησιμοποιώντας περίπου 2.400 παραδείγματα εκπαίδευσης.
Αυτό δεν είναι ακόμη πλήρης αυτοβελτίωση. Οι άνθρωποι εξακολουθούν να καθορίζουν τα benchmarks, τους κανόνες του πειράματος, την υποδομή και το τι θεωρείται επιτυχία. Η AI δεν αποφασίζει μόνη της ποιο νέο μοντέλο θα κατασκευάσει ούτε επανασχεδιάζει τον δικό της κώδικα από την αρχή.
Η σημασία βρίσκεται όμως στον κύκλο που δημιουργείται: AI ερευνητής → καλύτερη μέθοδος εκπαίδευσης → καλύτερο μοντέλο → ισχυρότερος AI ερευνητής. Αν αυτός ο κύκλος επεκταθεί σε πιο σύνθετα προβλήματα, ένα ολοένα μεγαλύτερο μέρος της ανάπτυξης των επόμενων AI μοντέλων θα μπορούσε να πραγματοποιείται από τα ίδια τα AI συστήματα.
Δεν βρισκόμαστε ακόμη στην πλήρη αυτοβελτίωση
Η Anthropic είναι σαφής ότι πρόκειται για πρώιμα αποτελέσματα. Τα προβλήματα που εξετάστηκαν είναι μετρήσιμα και έχουν συγκεκριμένα benchmarks, ενώ πολλά πραγματικά προβλήματα ασφάλειας AI είναι πολύ πιο δύσκολο να οριστούν και να αξιολογηθούν. Ένας agent μπορεί να βελτιώσει θεαματικά μια μετρήσιμη παράμετρο χωρίς απαραίτητα να έχει λύσει το υποκείμενο πρόβλημα.
Αυτό είναι ίσως το σημαντικότερο συμπέρασμα της έρευνας. Η AI δεν έχει ακόμη φτάσει στο σημείο να κατασκευάζει αυτόνομα τον διάδοχό της. Έχει όμως αρχίσει να αναλαμβάνει τμήματα της ερευνητικής διαδικασίας που χρησιμοποιούν οι άνθρωποι για να κατασκευάζουν καλύτερη AI.
Και αν η τάση συνεχιστεί, η μεγάλη αλλαγή μπορεί να μην είναι απλώς ότι τα μοντέλα θα γίνονται πιο έξυπνα. Θα είναι ότι θα συμμετέχουν όλο και περισσότερο στη διαδικασία με την οποία γίνονται πιο έξυπνα.
