Το δομικό στοιχείο που έλειπε ήταν μια απόφαση, όχι περισσότερες λέξεις

Δύο χρόνια η βιομηχανία μεγέθυνε ένα πράγμα: την παραγωγή κειμένου. Ένα νέο μοντέλο, το Jev, κάνει το αντίθετο. Δεν μπορεί να γράψει. Του δίνεις context και ένα σταθερό σύνολο επιλογών· επιστρέφει μία επιλογή, ένα σκορ ή ένα ναι/όχι, και τίποτα άλλο. Οι δημιουργοί του ισχυρίζονται ότι είναι πολύ ταχύτερο και φθηνότερο από ένα chat μοντέλο, χωρίς hallucinations σε πρόζα επειδή δεν υπάρχει πρόζα.

• Η αναπλαισίωση είναι το κέρδος: μεγάλο μέρος αυτού που πληρώνουμε ένα chat μοντέλο να «συλλογιστεί» είναι ταξινόμηση ντυμένη συζήτηση. Δρομολόγησε το ticket, escalate ή όχι, ποιος από πέντε κάδους. Ονόμασε τα προβλήματα σχήματος απόφασης στο stack σου και θα βρεις δεκάδες.
• Μέσα σε λίγες μέρες εμφανίστηκε κλώνος Apache 2.0, το Laya: περίπου 0,4B παράμετροι, τα βάρη στο χέρι, self-hosted. Το δομικό στοιχείο δεν είναι απλώς φθηνό· μπορεί να είναι δικό σου.

• Τα νούμερα ταχύτητας και υιοθέτησης προέρχονται από τον προμηθευτή και από το βίντεο· ανεξάρτητα benchmarks υπάρχουν λίγα ακόμη.
• Μοντέλο που μόνο επιλέγει από τις επιλογές σου χρειάζεται σωστές επιλογές. Μια κακή ταξινόμηση αποφασίζει με σιγουριά και λάθος.

Πηγή: Για το Jev (Typesafe AI), μοντέλο που μόνο αποφασίζει, και τον ανοιχτό κλώνο του Laya (YouTube)