Η Google DeepMind ανακοινώνει τη μέθοδο εκπαίδευσης “FunSearch”
Η Google DeepMind εισήγαγε μια νέα μέθοδο που ονομάζεται FunSearch. Η μέθοδος αυτή χρησιμοποιεί Μεγάλα Γλωσσικά Μοντέλα (LLM) για την αναζήτηση νέων λύσεων στα μαθηματικά και την επιστήμη των υπολογιστών. Η μέθοδος περιγράφεται σε έγγραφο που δημοσιεύθηκε στο Nature.
Το FunSearch είναι μια εξελικτική μέθοδος που προωθεί και αναπτύσσει τις ιδέες με την υψηλότερη βαθμολογία, οι οποίες αντανακλούν ως προγράμματα υπολογιστών. Η εκτέλεση και η αξιολόγηση αυτών των προγραμμάτων είναι αυτόματη. Το σύστημα επιλέγει ορισμένα προγράμματα από την τρέχουσα δεξαμενή προγραμμάτων, τα οποία τροφοδοτούνται σε ένα LLM. Το LLM βασίζεται δημιουργικά σε αυτά και παράγει νέα προγράμματα, τα οποία αξιολογούνται αυτόματα. Τα καλύτερα προστίθενται ξανά στη δεξαμενή των υφιστάμενων προγραμμάτων, δημιουργώντας έναν αυτοβελτιούμενο βρόχο.
Το FunSearch χρησιμοποιεί το PaLM 2 της Google, αλλά είναι συμβατό με άλλα LLM που εκπαιδεύονται σε κώδικα.
Σύμφωνα με την Google, “FunSearch” μπορεί να υπολογίζει “προβλήματα ανώτερου ορίου” και μια σειρά από “πολύπλοκα προβλήματα που αφορούν τα μαθηματικά και την επιστήμη των υπολογιστών”. Η μέθοδος εκπαίδευσης του μοντέλου FunSearch εισάγει κυρίως ένα σύστημα “Evaluator” για το μοντέλο AI. Το μοντέλο ΤΝ εξάγει μια σειρά από “δημιουργικές μεθόδους επίλυσης προβλημάτων” και “μεθόδους αξιολόγησης”. Ο “επεξεργαστής” είναι υπεύθυνος για την αξιολόγηση της μεθόδου επίλυσης προβλημάτων που εξάγεται από το μοντέλο. Μετά από πολλαπλές επαναλήψεις, ένα μοντέλο ΤΝ με ισχυρότερες μαθηματικές ικανότητες μπορεί να ενταχθεί στην εκπαίδευση.
Η Google DeepMind χρησιμοποίησε το μοντέλο PaLM 2 για δοκιμές. Οι ερευνητές δημιούργησαν μια ειδική “δεξαμενή κωδικών”, χρησιμοποίησαν τη φόρμα κωδικών για την εισαγωγή μιας σειράς ερωτήσεων για το μοντέλο και έθεσαν σε εφαρμογή μια διαδικασία αξιολόγησης. Μετά από αυτό, το μοντέλο θα αντλείτο αυτόματα από τη δεξαμενή κώδικα σε κάθε επανάληψη. Επιλογή προβλημάτων, δημιουργία “νέων δημιουργικών λύσεων” και υποβολή τους στον αξιολογητή για αξιολόγηση. Η “καλύτερη λύση” θα προστεθεί εκ νέου στη δεξαμενή κώδικα και θα ξεκινήσει μια άλλη επανάληψη.
Πώς λειτουργεί το FunSearch
Το FunSearch χρησιμοποιεί μια επαναληπτική διαδικασία. Αρχικά, ο χρήστης γράφει μια περιγραφή του προβλήματος με τη μορφή κώδικα. Η περιγραφή αυτή περιλαμβάνει μια διαδικασία για την αξιολόγηση προγραμμάτων και ένα αρχικό πρόγραμμα που χρησιμοποιείται για την αρχικοποίηση μιας ομάδας προγραμμάτων. Σε κάθε επανάληψη, το σύστημα επιλέγει μερικά προγράμματα από την τρέχουσα δεξαμενή προγραμμάτων, τα οποία τροφοδοτούνται σε μια LLM. Η LLM βασίζεται δημιουργικά σε αυτά και παράγει νέα προγράμματα τα οποία λαμβάνουν αυτόματη αξιολόγηση. Τα καλύτερα προστίθενται ξανά στη δεξαμενή των υφιστάμενων προγραμμάτων, δημιουργώντας έναν αυτοβελτιούμενο βρόχο. Το FunSearch χρησιμοποιεί το PaLM 2 της Google, αλλά είναι συμβατό με άλλα LLM που εκπαιδεύονται σε κώδικα.
Ανακαλύπτοντας νέες μαθηματικές γνώσεις
Η ανακάλυψη νέων μαθηματικών γνώσεων και αλγορίθμων σε διάφορους τομείς είναι πασίγνωστα και σε μεγάλο βαθμό πέρα από τις δυνατότητες των πιο προηγμένων συστημάτων τεχνητής νοημοσύνης. Για την αντιμετώπιση τέτοιων απαιτητικών προβλημάτων με το FunSearch, υπάρχει ανάγκη χρήσης πολλαπλών βασικών στοιχείων. Το FunSearch παράγει προγράμματα που περιγράφουν τον τρόπο με τον οποίο προέκυψαν αυτές οι λύσεις. Αυτή η προσέγγιση show-your-working είναι ο τρόπος με τον οποίο λειτουργούν γενικά οι επιστήμονες, με τις ανακαλύψεις ή τα φαινόμενα να εξηγούνται μέσω της διαδικασίας που χρησιμοποιήθηκε για την παραγωγή τους. Το FunSearch ευνοεί την εύρεση λύσεων που αντιπροσωπεύονται από ιδιαίτερα συμπαγή προγράμματα – λύσεις με ένα πρόγραμμα χαμηλής Σύντομης διάρκειας μπορούν να περιγράψουν πολύ μεγάλα αντικείμενα, επιτρέποντας στο FunSearch να κλιμακώνεται.
Η Google δήλωσε ότι η μέθοδος εκπαίδευσης FunSearch είναι ιδιαίτερα καλή στα “Διακριτά Μαθηματικά (Συνδυαστική)”. Το μοντέλο που εκπαιδεύεται με τη μέθοδο εκπαίδευσης μπορεί εύκολα να επιλύσει προβλήματα συνδυαστικών μαθηματικών ακραίων τιμών. Οι ερευνητές παρουσίασαν σε ένα δελτίο τύπου μια μέθοδο διαδικασίας για τον υπολογισμό μοντέλων “προβλημάτων ανώτερου επιπέδου (ένα κεντρικό πρόβλημα στα μαθηματικά που περιλαμβάνει την καταμέτρηση και τις μεταθέσεις)”.
About The Author
