Την Πέμπτη, οι ερευνητές της OpenAI παρουσίασαν το CriticGPT , ένα νέο μοντέλο τεχνητής νοημοσύνης που έχει σχεδιαστεί για να εντοπίζει λάθη στον κώδικα που δημιουργείται από το ChatGPT. Στόχος του είναι να βελτιώσει τη διαδικασία ώστε τα συστήματα AI να συμπεριφέρονται με τον τρόπο που θέλουν οι άνθρωποι (που ονομάζεται “ευθυγράμμιση”) μέσω του Reinforcement Learning from Human Feedback (RLHF), το οποίο βοηθά τους ανθρώπινους αναθεωρητές να κάνουν τα αποτελέσματα μεγάλων γλωσσικών μοντέλων (LLM) πιο ακριβή.
Όπως περιγράφεται σε μια νέα ερευνητική εργασία που ονομάζεται ” LLM Critics Help Catch LLM Bugs “, η OpenAI δημιούργησε το CriticGPT για να λειτουργεί ως βοηθός τεχνητής νοημοσύνης σε εκπαιδευτές ανθρώπων που εξετάζουν τον κώδικα προγραμματισμού που δημιουργείται από τον βοηθό AI ChatGPT.
Το CriticGPT—βασισμένο στην οικογένεια GPT-4 του LLMS—αναλύει τον κώδικα και επισημαίνει πιθανά σφάλματα, διευκολύνοντας τους ανθρώπους να εντοπίζουν λάθη που διαφορετικά θα μπορούσαν να περάσουν απαρατήρητα. Οι ερευνητές εκπαίδευσαν το CriticGPT σε ένα σύνολο δεδομένων δειγμάτων κώδικα με σκόπιμα εισαγόμενα σφάλματα, διδάσκοντάς του να αναγνωρίζει και να επισημαίνει διάφορα σφάλματα κωδικοποίησης.
Είναι ενδιαφέρον ότι οι ερευνητές διαπίστωσαν ότι οι δυνατότητες του CriticGPT εκτείνονται πέρα από την απλή αναθεώρηση κώδικα. Στα πειράματά τους, εφάρμοσαν το μοντέλο σε ένα υποσύνολο δεδομένων εκπαίδευσης ChatGPT που είχαν προηγουμένως αξιολογηθεί ως άψογα από ανθρώπους σχολιαστές.
Παραδόξως, το CriticGPT εντόπισε σφάλματα στο 24 τοις εκατό αυτών των περιπτώσεων – σφάλματα που στη συνέχεια επιβεβαιώθηκαν από ανθρώπινους αναθεωρητές. Η OpenAI πιστεύει ότι αυτό καταδεικνύει τη δυνατότητα του μοντέλου να γενικεύεται σε εργασίες που δεν είναι κωδικοποιημένες και υπογραμμίζει την ικανότητά του να συλλαμβάνει ανεπαίσθητα λάθη που ακόμη και η προσεκτική ανθρώπινη αξιολόγηση μπορεί να χάσει.
Η OpenAI σχεδιάζει να ενσωματώσει μοντέλα που μοιάζουν με CriticGPT στον αγωγό ετικετών RLHF, παρέχοντας στους εκπαιδευτές της βοήθεια AI. Για την OpenAI, είναι ένα βήμα προς την ανάπτυξη καλύτερων εργαλείων για την αξιολόγηση των αποτελεσμάτων από συστήματα LLM που μπορεί να είναι δύσκολο για τους ανθρώπους να αξιολογήσουν χωρίς πρόσθετη υποστήριξη.
Ωστόσο, οι ερευνητές προειδοποιούν ότι ακόμη και με εργαλεία όπως το CriticGPT, εξαιρετικά σύνθετες εργασίες ή απαντήσεις μπορεί να εξακολουθούν να αποδεικνύονται προκλητικές για τους ανθρώπινους αξιολογητές – ακόμη και εκείνους που υποστηρίζονται από την τεχνητή νοημοσύνη.
