Τοπικοί πράκτορες τεχνητής νοημοσύνης που συντονίζουν το υλικό στο οποίο τρέχουν

Ένα τοπικό σύστημα τεχνητής νοημοσύνης δεν χρειάζεται να συντονίζεται με το χέρι. Στα πειράματά μας, ο πράκτορας που τρέχει σε τοπικό υλικό αναλύει το ίδιο υλικό, εκτελεί τις δικές του μετρήσεις και διατηρεί μόνο τις ρυθμίσεις που πραγματικά βοηθούν. Παρακάτω είναι τέσσερα αποτελέσματα από την τελευταία εβδομάδα, από τα νεότερα έως τα παλαιότερα.

Περιορισμός των ρολογιών ώθησης CPU: ίδια ταχύτητα, λιγότερη θερμότητα

Ένα υποτιμημένο τέχνασμα για την εκτέλεση τοπικής AI είναι να περιορίσετε τα ρολόγια CPU ή/και GPU boost. Με φωνή, Ζητήσαμε από τον τοπικό πράκτορα AI να βελτιστοποιήσει το φορητό υπολογιστή που τρέχει τον κύριο εγκέφαλό μας AI. Μείωσε τη συχνότητα της CPU από 5,5 GHz σε 4,5 GHz.

• Η ταχύτητα συμπερασματολογίας LLM στο Strata παρέμεινε ακριβώς η ίδια, χωρίς καμία απώλεια.
• Η θερμοκρασία της CPU μειώθηκε κατά περίπου 10%.
• Η κατανάλωση ενέργειας της CPU μειώθηκε σημαντικά.
• Οι θερμοκρασίες GPU μειώθηκαν επίσης, χωρίς να περιορίζονται τα ρολόγια GPU.

Η CPU και η GPU μοιράζονται έναν θερμικό προϋπολογισμό, οπότε η μείωση της περιττής ενίσχυσης της CPU βοηθά επίσης τη GPU. Κανείς δεν πέρασε ώρες συντονισμού: ο πράκτορας απλώς είπε να βρει τα βέλτιστα όρια και έτρεξε τα ίδια τα πειράματα ενώ η εργασία συνεχίστηκε σε άλλα πράγματα.

Αυτοδιάγνωση: εμπιστευτείτε την τεχνητή νοημοσύνη, αλλά επαληθεύστε

Ρύθμιση: Strata + Qwen3.8-Next-IQ3_S.το τοπικό AI δήλωσε ότι ένα όριο ισχύος GPU δεν είναι διορθώσιμο. Αμφισβητήσαμε το εύρημα, το διασταυρώσαμε εξωτερικά (ακόμη και η δωρεάν έκδοση του ChatGPT είναι αρκετή για αυτό), καθόρισε το όριο και κέρδισε απόδοση 30-35%.

Ο κανόνας που εφαρμόζουμε: χρησιμοποιήστε το AI για αυτοδιάγνωση, αλλά διασταυρώστε τα κρίσιμα ευρήματα.

Αυτόματη βελτιστοποίηση σε φορητό υπολογιστή RTX 5090

Strata σε φορητό υπολογιστή παιχνιδιών με RTX 5090 (24 GB VRAM), μοντέλο Qwen3.8-Flash-επόμενο IQ3_S:

• Αποκωδικοποιήστε: 83.6 tok/s
• Ο πράκτορας αποκωδικοποιεί: 99.8 tok/s
• Προπληρώστε 4K: 1,443 tok/s
• Προπληρώστε 16K: 2,132 tok/s
• Πρώτο διακριτικό: 0.28 s

Μετά από αυτό, ο πράκτορας βελτιστοποίησε το ίδιο μηχάνημα από μόνο του:

• Θερμή αποκωδικοποίηση: 63–110 → 109–118 tok/s
• Ο μέγιστος πράκτορας αποκωδικοποιεί: 119.5 → 125.5 tok/s (+5%)
• Η βελτιστοποιημένη διαμόρφωση Αποθηκεύτηκε, οι ασταθείς ρυθμίσεις επανήλθαν και ο διακομιστής τερματίστηκε με ασφάλεια.

RTX 3060 12 GB: το ξεκλείδωμα και τα πρώτα κέρδη

Σε έναν από τους πειραματικούς υπολογιστές μας (μια μικρή θήκη ITX, 48 GB μνήμης RAM, ένα RTX 3060 12 GB) ενεργοποιήσαμε το ξεκλείδωμα NVIDIA. Το μετρούμενο κέρδος: έως +78% στον υπολογισμό GPU και +11% στην προπληρωμή συμπερασμάτων AI.

Για προοπτική, με την επόμενη στράτα εργασίας από coldniko το RTX 3060 12 GB + 48 GB RAM πήγε από 32 σε 60-80 συνεχή μάρκες ανά δευτερόλεπτο. Το MAC Studio m3 Ultra (60 πυρήνες GPU, 256 GB RAM, Strata v0.2.6) παρέδωσε αποκωδικοποίηση 61.4 tok/s και προπληρωμή 734 tok/s στο ίδιο μοντέλο Qwen3.8-Flash-Next IQ3_S. Τα πλήρη αποτελέσματα για αυτήν την κάρτα βρίσκονται σε ξεχωριστό άρθρο.

Τι σημαίνει αυτό για έναν πελάτη του Box

• Οι ρυθμίσεις επιλέγονται με μέτρηση, όχι με εικασίες: ο πράκτορας συγκρίνει πριν και μετά και επαναφέρει αυτό που δεν βοηθά.
• Οι χαμηλότερες θερμοκρασίες και η ισχύς αντλούν με την ίδια ταχύτητα σημαίνουν πιο αθόρυβη λειτουργία και λιγότερη φθορά.
• Τα κρίσιμα συμπεράσματα του παράγοντα διασταυρώνονται πριν ενεργήσουν.
• Το προσιτό υλικό συνεχίζει να γίνεται πιο γρήγορο μόνο με ενημερώσεις λογισμικού.

Τοπική AI βελτιστοποίηση του υλικού που εκτελεί τοπική AI.

Αρχικό νήμα στο Χ · Το άρθρο RTX 3060 · Όλα τα νέα