Ασφαλές σχήμα δεν σημαίνει ασφαλής αλήθεια: ένα μοντέλο μπορεί να είναι έγκυρο, σίγουρο και λάθος

Μια νέα κατηγορία μοντέλων «τυποποιημένων αποφάσεων» κάνει την άκυρη απάντηση αδύνατη: η έξοδος είναι εγγυημένα στο σχήμα που δήλωσες, με βαθμονομημένη βεβαιότητα δίπλα. Αυτό τελειώνει τον γνωστό βρόχο LLM συν regex συν retry για ταξινόμηση και δρομολόγηση. Δεν τελειώνει την άλλη αποτυχία. Το ίδιο το demo δείχνει απόφαση με βεβαιότητα 0,96 που είναι απλώς λάθος: άψογα σχηματισμένη, και ψευδής.

• Εγγυημένο σχήμα εξόδου με βαθμονομημένη βεβαιότητα είναι καθαρή μηχανική για δρομολόγηση, διαλογή και ταξινόμηση, όπου η μορφή της απάντησης μετράει όσο και η απάντηση.
• Μια βεβαιότητα που μπορείς να την περάσεις από κατώφλι είναι καλύτερη από ένα «νομίζω» σε ελεύθερο κείμενο, αρκεί να μετρήσεις εσύ τη βαθμονόμηση.

• Η ασφάλεια τύπων προστατεύει το σχήμα, όχι την αλήθεια· ένα κατώφλι βεβαιότητας από μόνο του δεν πιάνει το σίγουρο λάθος.
• Η επιτάχυνση που διαφημίζει ο προμηθευτής (σχεδόν διακόσιες φορές) απέναντι σε ανεξάρτητη μέτρηση περίπου τρεις φορές είναι η συνηθισμένη απόσταση διαφάνειας από benchmark.

Πηγή: Ο Jev για τις type-safe αποφάσεις ΤΝ