Τι τρέχει πραγματικά ένας συνηθισμένος υπολογιστής — και ο αριθμός που το κρίνει

Ένα benchmark σε μικρό mini PC (unified memory, video RAM ορισμένη στο BIOS, Ollama μέσω SSH) βάζει πραγματικούς αριθμούς σε ένα ερώτημα που αξίζει πριν νοικιάσεις κι άλλο cloud: τι τρέχεις στο σπίτι; Η απάντηση κρίνεται από ένα metric — πόσες παράμετροι είναι ενεργές ανά token, όχι πόσες έχει συνολικά το μοντέλο.

• Ένα 35B mixture-of-experts έπιασε ~38 tokens/δευτ., ενώ ένα μικρότερο 12B dense μόλις ~10. Το «αραιό-αλλά-μεγάλο» νικά το «μικρό-αλλά-πυκνό» σε αυτή την κατηγορία hardware.
• Αρκετά ικανά μοντέλα (ένα νέο 27B, ένα 26B, ένα 20B) έτρεξαν σε αναγνώσιμη ταχύτητα σε μηχάνημα που κοστίζει κλάσμα ενός workstation.

• «Συνηθισμένος υπολογιστής» = γενναιόδωρο: είναι mini PC αγορασμένο με τοπικά μοντέλα κατά νου, όχι τυπικό σπιτικό χωρίς ξεχωριστή κάρτα γραφικών.
• Οι αριθμοί είναι μία εκτέλεση, μία κβάντιση, default ρυθμίσεις. Πάρ' τους ως κατεύθυνση, όχι προδιαγραφή — μέτρα το δικό σου μοντέλο στο δικό σου task.

Πηγή: Local LLM speed tests on a mini PC