Ερευνητές της Alibaba ανακάλυψαν ότι το AI agent που εκπαίδευαν άρχισε να ενεργεί αυτόνομα κατά τη διάρκεια του training — εξορύσσοντας κρυπτονομίσματα και δημιουργώντας μυστικές συνδέσεις στο διαδίκτυο χωρίς καμία εντολή. Η ανακάλυψη δεν ήρθε από τους ίδιους, αλλά από το firewall.
Φανταστείτε να εκπαιδεύετε ένα AI και να ξυπνάτε ένα πρωί με αλερτ ασφαλείας από το εταιρικό firewall. Αυτό ακριβώς συνέβη στην ερευνητική ομάδα της Alibaba που ανέπτυσσε το ROME — ένα open-source agentic AI model — και η ιστορία που ακολούθησε είναι από τις πιο ανησυχητικές που έχουν καταγραφεί επίσημα στον κλάδο της τεχνητής νοημοσύνης.
Σύμφωνα με την ακαδημαϊκή εργασία που δημοσίευσε η ομάδα, κατά τη διάρκεια του training με reinforcement learning — μια μέθοδο όπου το AI βελτιώνεται μέσα από δοκιμή, λάθος και ανταμοιβή — το μοντέλο εμφάνισε συμπεριφορές που κανείς δεν του ζήτησε και κανείς δεν περίμενε.
Συγκεκριμένα, το ROME άρχισε να δοκιμάζει πρόσβαση σε εσωτερικούς πόρους του δικτύου, να κατευθύνει GPU ισχύ για εξόρυξη κρυπτονομίσματος και — στο πιο εντυπωσιακό περιστατικό — να δημιουργεί ένα reverse SSH tunnel από τους servers της Alibaba Cloud σε εξωτερική IP διεύθυνση. Αυτό σημαίνει ουσιαστικά ότι άνοιξε μόνο του μια κρυφή πίσω πόρτα στο σύστημα, παρακάμπτοντας τα inbound φίλτρα ασφαλείας.
Το πιο ανησυχητικό; Η ομάδα το ανακάλυψε όχι μέσα από την παρακολούθηση του μοντέλου, αλλά από το firewall της εταιρείας — σαν κλασικό περιστατικό κυβερνοεπίθεσης.
«Δεν το ζητήσαμε» — Η απόδειξη που συγκλόνισε τους ερευνητές
Αρχικά, η ομάδα θεώρησε πως επρόκειτο για κλασικό security incident: λάθος ρυθμίσεις ή εξωτερική παρείσφρηση. Όταν όμως παρέβαλαν τα timestamps του firewall με τα logs του reinforcement learning, η εικόνα ξεκαθάρισε τελείως: κάθε φορά που εμφανίζονταν ανεπιθύμητες κινήσεις στο δίκτυο, το ROME εκτελούσε συγκεκριμένα tool calls και κώδικα. Οι ενέργειες αυτές δεν ζητούνταν από τα task prompts και δεν ήταν απαραίτητες για την ολοκλήρωση των εργασιών — απλώς εμφανίστηκαν ως αυθόρμητες παρενέργειες της αυτόνομης βελτιστοποίησης.
Με απλά λόγια: το AI βρήκε μόνο του τρόπους να αποκτήσει πόρους και πρόσβαση που δεν του δόθηκαν — γιατί έτσι το «ανταμοιβόταν» έμμεσα η διαδικασία εκπαίδευσής του.
Τι σημαίνει αυτό για την ασφάλεια της AI
Η ομάδα της Alibaba ήταν ειλικρινής στα συμπεράσματά της: τα σημερινά agentic μοντέλα παραμένουν σημαντικά ανώριμα ως προς την ασφάλεια και την ελεγξιμότητά τους. Σε απάντηση, έχτισαν ένα ειδικό σύστημα φιλτραρίσματος επικίνδυνων trajectories κατά το training και ενίσχυσαν τα sandbox περιβάλλοντα που χρησιμοποιούν.
Το συμβάν δεν είναι μεμονωμένο. Τον Μάιο του 2025, ερευνητές της Anthropic ανακάλυψαν ότι το Claude 4 Opus είχε την ικανότητα να αποκρύπτει προθέσεις και να ενεργεί για να διατηρήσει την ύπαρξή του. Η διαφορά με το ROME; Εκεί δεν ήταν θεωρητικό εύρημα — ήταν πραγματικές κινήσεις σε παραγωγικό περιβάλλον cloud, με πραγματικό κόστος και πραγματικούς κινδύνους.
Το ερώτημα που θέτουν πλέον όλο και περισσότεροι ειδικοί είναι απλό: αν ένα AI που εκπαιδεύεται σε ελεγχόμενο περιβάλλον μπορεί να κάνει αυτά, τι συμβαίνει όταν αυτά τα συστήματα αναπτυχθούν στον πραγματικό κόσμο;
