Νέα
Αυτόνομος βρόχος Strata: RTX 3060 έναντι Mac Studio M3, πρώτα αποτελέσματα
Ένα μοντέλο (Qwen3.8-Flash-Next IQ3_S), τα ίδια αρχεία και η ίδια έκδοση Strata σε δύο πολύ διαφορετικές διαμορφώσεις. Δεδομένα των τελευταίων 12 ωρών.
Διαμόρφωση
- PC πειραμάτων: RTX 3060 με 12 GB VRAM και 24 GB μονοκάναλης RAM· εξαιρετικά περιορισμένη μνήμη και επιθετικές ρυθμίσεις εκτέλεσης. Λειτουργεί 24/7.
- Hermes (υπολογιστής P2005): 24 GB VRAM και 64 GB RAM. Αναλύει τα αποτελέσματα, επαληθεύει τη δουλειά, κάνει βελτιώσεις.
- Mac Studio M3: 256 GB ενοποιημένης μνήμης· όλο το μοντέλο χωρά στη μνήμη. Παράλληλες εκτελέσεις σύγκρισης.
- Ίδια αρχεία μοντέλου, έκδοση μοντέλου και έκδοση Strata σε όλα τα συστήματα· ίδιες εργασίες και αντίστοιχες επαναλήψεις.
Τι μετριέται
- Χρησιμότητα σε πραγματικές εργασίες με περιορισμένο υλικό.
- Υποβάθμιση με μεγάλα παράθυρα συμφραζομένων.
- Ποιότητα απαντήσεων σε διαφορετικό υλικό.
- Αν το μοντέλο μπορεί να βελτιώνει τη δική του δουλειά: να βρίσκει λάθη, να τα διορθώνει και να τα προλαμβάνει σε συνεχή βρόχο.
Ταχύτητα, τελευταίες 12 ώρες
| Μέγεθος | RTX 3060 | Mac Studio M3 |
|---|---|---|
| Εγγραφές καταγραφής | 3392 | 4012 |
| Μοναδικές επαναλήψεις εργασιών | 2387 | 2497 |
| Μέση έξοδος ανά εργασία, tokens | 235 | 228 |
| Μέση διάρκεια εργασίας, s | 8.4 | 4.3 |
| Συνολική ταχύτητα παραγωγής, tok/s | 28 | 53.4 |
| Διάμεση ταχύτητα παραγωγής, tok/s | 19 | 45 |
| ID εργασίας | RTX 3060, tok/s | Mac Studio M3, tok/s |
|---|---|---|
| A-me-00-0 | 44 | 69 |
| D-ea-00-0 | 5 | 18 |
| F-ha-01-0 | 18 | 45 |
| F-ha-02-0 | 19 | 39 |
| G-me-04 | 9 | 16 |
| H-ha-04-0 | 20 | 48 |
| J-ha-01-0 | 44 | 67 |
| K-ha-04-0 | 9 | 32 |
Η συνολική ταχύτητα παραγωγής είναι περίπου 1,9 φορές υψηλότερη στο Mac Studio. Το σκέτο μοντέλο στο PC πειραμάτων φτάνει περίπου τα 60 tok/s. Ο Hermes παράγει ταχύτερα, αλλά έχει διαφορετικό φορτίο, οπότε μια άμεση σύγκριση θα ήταν παραπλανητική.
Ποιότητα απαντήσεων: v1.8 και v1.9
| Μέγεθος | RTX 3060 v1.8 | Mac Studio v1.8 | RTX 3060 v1.9 | Mac Studio v1.9 |
|---|---|---|---|---|
| Μέση βαθμολογία | 0.882 | 0.876 | 0.938 | 0.944 |
| Τέλειες απαντήσεις, % | 68.9 | 65.2 | 79.6 | 77.9 |
| Συμμόρφωση με τη μορφή, % | 89.2 | 92.0 | 97.7 | 99.8 |
| Διαφορά Mac − RTX | −0.006 | +0.006 | ||
Η ποιότητα είναι σχεδόν ισοδύναμη· στην ταχύτητα κερδίζει το Mac. Από v1.8 σε v1.9 η μέση βαθμολογία αυξήθηκε κατά 6,3% στην RTX 3060 και κατά 7,8% στο Mac Studio· αυξήθηκε και το ποσοστό τέλειων απαντήσεων. Οι διαφορές ανά κατηγορία αναλύονται ακόμη.
Συμπεριφορά του πράκτορα
Χωρίς οδηγία στα prompts, ο πράκτορας άρχισε να εκτιμά το κόστος των βελτιώσεών του σε tokens και, σε ορισμένες εκδόσεις, να βελτιστοποιεί τις διεργασίες του για να μειώσει την περιττή κατανάλωση tokens.
Επόμενο βήμα
Συλλέχθηκαν: 13.000 εκτελέσεις, 16.000 αρχεία, 1.000 αρχεία καταγραφής. Κατασκευάζεται ένα demo αναλυτικού συστήματος για βαθύτερη ανάλυση των αποτελεσμάτων αυτού του πειράματος.