Προκαταρκτικό ενεργειακό κόστος της τοπικής ΤΝ σε πραγματικό φόρτο
Προκαταρκτικό κόστος ηλεκτρισμού μιας τοπικής εκτέλεσης ΤΝ, σε σύγκριση με τις αναφερόμενες τιμές API νέφους για τον ίδιο αριθμό τεκμηρίων.
Συλλέχθηκαν προκαταρκτικά στοιχεία κατανάλωσης ενέργειας από πραγματικούς φόρτους τοπικής ΤΝ, με μετρήσεις και αρχεία συστήματος. Οι αριθμοί παραμένουν εκτιμήσεις, αλλά δίνουν αρκετά ακριβή εικόνα της συνολικής οικονομίας.
Οι μετρήσεις έγιναν σε αποδοτικό φορητό με σύγχρονη GPU, αξίας περίπου 4.000–4.500 δολαρίων (4.000–4.500 €). Σε λιγότερο αποδοτικό υλικό, το κόστος ηλεκτρισμού είναι πιθανό να είναι υψηλότερο και μπορεί να πλησιάσει τις τιμές API των φθηνότερων κινεζικών μοντέλων. Τα μοντέλα αυτά συχνά διατίθενται δωρεάν ή με εκπτώσεις έως 90%. Σε αυτές τις περιπτώσεις, η ΤΝ νέφους μπορεί να είναι φθηνότερη από μόνον τον ηλεκτρισμό που απαιτείται για την τοπική εξαγωγή συμπερασμάτων.
Τα γραφήματα που δημοσιεύθηκαν με την ανάρτηση συγκρίνουν έναν φόρτο — 198 εργασίες GPQA-Diamond, 56.514 τεκμήρια εισόδου και 156.136 εξόδου, 212.650 τεκμήρια συνολικά — με ηλεκτρισμό 0,25 $/kWh. Το τοπικό κόστος στον πίνακα είναι 0,014 $ μόνο για την GPU και 0,025 $ για τον εκτιμώμενο πλήρη υπολογιστή. Τα αναφερόμενα σύνολα νέφους για τον ίδιο αριθμό τεκμηρίων κυμαίνονται από 0,065 $ (Qwen Flash) έως 1,674 $ (Claude Sonnet 5.5 και GPT-6.1 Sol). Σημείωση στον πίνακα αναφέρει ότι το υλικό εξαιρείται, ότι τα κόστη νέφους χρησιμοποιούν ίδιες ποσότητες τεκμηρίων και όχι ισοδύναμες μετρημένες εκτελέσεις, και ότι η ποιότητα των μοντέλων μπορεί να διαφέρει.
Πρόκειται για προκαταρκτικά αποτελέσματα. Προγραμματίζονται περαιτέρω μετρήσεις· τα ευρήματα πρόκειται να δημοσιευθούν στο GitHub.