Οι επιστήμονες του Στάνφορντ βρίσκουν ότι το GPT-4 γίνεται πιο χαζό με την πάροδο του χρόνου
μικροαντικείμενα / / July 20, 2023
Η ακρίβεια της πληρωμένης έκδοσης του ChatGPT ήταν χαμηλότερη από αυτή του δωρεάν chatbot.
Νέος μελέτη από επιστήμονες στο Πανεπιστήμιο του Στάνφορντ επιβεβαίωσε αυτό για το οποίο παραπονιούνται οι χρήστες του Διαδικτύου εδώ και εβδομάδες: ChatGPT Plus, με βάση GPT-4 έχει γίνει πραγματικά πιο χαζό - σε αντίθεση με το GPT-3.5, το οποίο εκτελεί τη δωρεάν έκδοση του chatbot.
Στη μελέτη τους, οι συγγραφείς συνέκριναν απαντήσεις σε διαφορετικά αιτήματα από ένα chatbot που βασίζεται σε GPT-4 και GPT-3.5. Αυτοί διαπίστωσε ότι η συμπεριφορά του chatbot και η ακρίβεια των απαντήσεων σε ορισμένα αιτήματα στη νέα έκδοση είναι σημαντικά επιδεινώθηκε.
Οι συγγραφείς συνέκριναν τα μοντέλα γλώσσας GPT-4 και GPT-3.5 που κυκλοφόρησαν τον Μάρτιο και τον Ιανουάριο. Διαπίστωσαν ότι σε αυτό το διάστημα η ακρίβεια του GPT-4 έπεσε αισθητά, ενώ του GPT-3.5, αντίθετα, αυξήθηκε.
Για παράδειγμα, η ακρίβεια της απάντησης στο ερώτημα εάν το 17077 είναι πρώτος αριθμός μειώθηκε κατά 95,2%, ενώ το GPT-3,5, αντίθετα, αυξήθηκε από 7,4% σε 86,8%. Επίσης, η πιθανότητα επιτυχούς εκτέλεσης του κώδικα που γράφτηκε από το νευρωνικό δίκτυο έχει μειωθεί στις τρέχουσες εκδόσεις και των δύο μοντέλων.
Προηγουμένως, ο Αντιπρόεδρος του OpenAI Peter Welinder το έκανε ήδη απάντησε στις κατηγορίες των χρηστών του ChatGPT Plus:
Όχι, δεν φτιάξαμε το GPT-4 πιο χαζό. Όλα είναι ακριβώς το αντίθετο: κάνουμε κάθε νέα έκδοση πιο έξυπνη από την προηγούμενη.
Τώρα έχουμε αυτή την υπόθεση: όταν χρησιμοποιείτε κάτι πιο ενεργά, αρχίζετε να παρατηρείτε προβλήματα που δεν είχατε δει πριν.
Peter Welinder
Αντιπρόεδρος προϊόντος στο OpenAI
Σε μια από τις απαντήσεις σε αυτό το tweet, ο Welinder ερωτηθείς παρέχετε αποδείξεις ότι το chatbot έχει χειροτερέψει. Μια μελέτη από επιστήμονες του Στάνφορντ εμφανίστηκε 5 ημέρες μετά - και δεν έχει υπάρξει ακόμη απάντηση από το OpenAI.
Δεν είναι η πρώτη φορά που το GPT-4 κατηγορείται για παροχή ψευδών πληροφοριών. Τον Μάρτιο, οι αναλυτές του NewsGuard ανακαλύφθηκεότι το ChatGPT που βασίζεται στο GPT-4 είναι πιο εύκολο να πει κανείς ψέματα - ενώ το ίδιο το OpenAI ισχυρίζεται ότι η ακρίβεια των απαντήσεων έχει αυξηθεί κατά 40% σε σύγκριση με το GPT-3.5. ΣΕ Ειδικότερα, στις δοκιμές NewsGuard, η νέα έκδοση του νευρωνικού δικτύου ήταν λιγότερο πιθανό να αντικρούσει ψευδείς πληροφορίες - συμπεριλαμβανομένων ψευδών δεδομένων για σύγχρονα γεγονότα και θεωρίες συνωμοσίες.
Διαβάστε επίσης🧐
- 6 ανάλογα του ChatGPT
- Τζέιμς Κάμερον για τους κινδύνους της τεχνητής νοημοσύνης: «Σε είχα προειδοποιήσει το 1984, αλλά δεν με άκουσες»
- 8 μύθοι για την τεχνητή νοημοσύνη που πιστεύουν ακόμη και οι προγραμματιστές