Ο συλλογισμός που βλέπεις είναι ρύθμιση, όχι παράθυρο
Όταν ένα μοντέλο τυπώνει «ας σκεφτώ βήμα βήμα» εύκολα νιώθεις ότι το βλέπεις να σκέφτεται. Ο Gary Marcus, στη σκηνή με τον Brian Greene, λέει το ανείπωτο: το ορατό ίχνος είναι ρύθμιση αποκάλυψης που επιλέγει το εργαστήριο, όχι παράθυρο στον υπολογισμό, και τελευταία τα εργαστήρια δείχνουν λιγότερο για να μην αντιγράφουν οι ανταγωνιστές τα βήματα.
Υπέρ- Το «Illusion of Thinking» της Apple είναι η καθαρή απόδειξη: μοντέλο που λύνει τον Πύργο του Ανόι στους επτά δίσκους και καταρρέει στους οκτώ, εκεί που ένα παιδί εφαρμόζει τον κανόνα.
- Η πρόοδος στα δύσκολα προβλήματα έρχεται από συμβολικά ικριώματα γύρω από το μοντέλο (provers, interpreters, βρόχοι), που η βιομηχανία σπάνια κατονομάζει, γιατί το «scaling» είναι η ιστορία για τους επενδυτές.
- Ο Marcus προβλέπει τον τοίχο εδώ και χρόνια· ο τοίχος συνεχίζει να μετακινείται. Κράτα την επιστημολογία, προεξόφλησε την πρόβλεψη.
- Ένα benchmark score είναι επιφάνεια που ο optimizer μπορεί να ικανοποιήσει χωρίς να κάνει αυτό που εννοούσες, όπως ο ταξινομητής που ξεχώριζε λύκους από χάσκι από το χιόνι.
Η γνώμη μαςΜη διαβάζεις τον συλλογισμό ως τον λόγο, και μη διαβάζεις ένα επιτυχημένο eval ως την ικανότητα. Εμπιστέψου το αποτέλεσμα που επαλήθευσες, όχι την εξήγηση που σου έδειξαν.
Πηγή: Gary Marcus με τον Brian Greene, World Science Festival (YouTube)
← Όλα τα Focus posts