CLARYEL CLARYEL Box
Ζητήστε διαμόρφωση

Νέα

Το First Strata τρέχει και ένα εργαστήριο για επαναλαμβανόμενες τοπικές διαμορφώσεις AI

31 tok/s με μοντέλο ~47 GB που χρησιμοποιεί μόνο περίπου 3 GB μνήμης RAM του συστήματος, 45-48 tok / s μετά από αναβάθμιση RAM, 32 GB μνήμης RAM επιβεβαιώθηκε ως αρκετό, η πρώτη αυτόνομη ροή εργασίας κατά τη διάρκεια της νύχτας και πανομοιότυπα μηχανήματα για επαναλαμβανόμενες διαμορφώσεις.

Πίνακας Ελέγχου στρωμάτων που δείχνει 31 μάρκες ανά δευτερόλεπτο

Το πρώτο αποτέλεσμα: 31 μάρκες ανά δευτερόλεπτο

Το μοντέλο παρήγαγε 12.136 μάρκες σε περίπου 6,5 λεπτά: 31 μάρκες ανά δευτερόλεπτο. Με ένα μοντέλο περίπου 47 GB, το VRAM ήταν σχεδόν γεμάτο ενώ η χρήση της μνήμης RAM του συστήματος ήταν μόνο περίπου 3 GB: το Strata διαβάζει μέρος του μοντέλου απευθείας από το SSD. Η GPU τράβηξε περίπου 130-150 W, παρέμεινε στους 45 °C και οι οπαδοί ήταν μόλις ακουστικοί. Αυτό ανοίγει τη δυνατότητα σημαντικά φθηνότερων τοπικών συστημάτων AI, χωρίς τεράστιες ποσότητες μνήμης RAM ή ακριβές πλατφόρμες διακομιστών.

Ένα συστηματικό πρόγραμμα σε διαφορετικό υλικό

Αυτά τα αποτελέσματα ξεκίνησαν ένα πιο συστηματικό πρόγραμμα: Strata σε 11 υπολογιστές με πολύ διαφορετικές διαμορφώσεις, με GPU NVIDIA, AMD και Intel, DDR4 και DDR5 και αποθήκευση NVMe από PCIe 3.0 έως PCIe 5.0, συμπεριλαμβανομένης μιας σειράς PCIe 5.0 RAID 0 περίπου 35 GB/s. πρώτα συμβατότητα, απόδοση και σταθερότητα.στη συνέχεια πρακτικές καθημερινές και επιχειρηματικές εργασίες.

Η αντίθετη περίπτωση ελέγχθηκε επίσης: σε Ένα mini PC χωρίς διακριτή GPU και 8 GB μνήμης RAM, το Strata θα μπορούσε να κατασκευαστεί, αλλά το μοντέλο δεν ξεκίνησε, ακόμη και μετά την προσθήκη μνήμης RAM, λόγω της δυναμικά κατανεμημένης μνήμης βίντεο. Συμπέρασμα: το Strata δεν ξεκινά σε αυτή τη διαμόρφωση χωρίς έγγραφα.

256κ πλαίσιο και τα πρώτα πρακτικά μαθήματα

Στο σύστημα RX 9070 με πλαίσιο 256K, η έξοδος ήταν 15-30 μάρκες ανά δευτερόλεπτο. Σε μία συνεδρία (9:44-12:00): 18 αιτήματα, περίπου 108k prompt tokens (114 tok/s), περίπου 856k επαναχρησιμοποιημένα, περίπου 100k γραμμένα (22,6 tok/s). Από περίπου 25 αιτήματα, μερικά έσπασαν: μια προτροπή με πέντε ερωτήσεις ταυτόχρονα (λειτούργησε όταν χωρίστηκε) και ένα αίτημα για απάντηση 60-70 χιλιάδων συμβόλων. Άλλες εξόδους έφτασαν τις 14-22 χιλιάδες μάρκες και οι μεγάλες γενιές κράτησαν την ποιότητα.

Η Strata δεν ανίχνευσε τη GPU χωρίς συνδεδεμένη οθόνη σε αυτήν την πλακέτα ASUS Pro Q870M-C-CSM.ένα ψεύτικο βύσμα HDMI το έλυσε.

32 GB μνήμης RAM είναι αρκετά

Με 32 GB μνήμης RAM, το Strata μπορεί να τρέξει χωρίς να φορτώσει το μοντέλο στη μνήμη RAM του συστήματος: η μνήμη παραμένει ελεύθερη για άλλες εργασίες και η CPU για παράλληλους φόρτους εργασίας, στα 15-20 tok/s. με 64 GB στο ίδιο μηχάνημα (Strata v0.1.43, Qwen3.8-Flash-Next IQ3_S), η γενιά έφτασε τα 45-48 tok/s, αλλά με πολύ λιγότερη μνήμη για άλλες εργασίες. Αργότερα, σε δύο διαφορετικές διαμορφώσεις, συμπεριλαμβανομένου του DDR4, η Strata μόλις χρησιμοποίησε RAM στα 15-25 tok/s, ενώ περίπου το ήμισυ της CPU παρέμεινε ελεύθερο για τον Hermes και τα υποστηρικτικά εξαρτήματα. Η απόδοση μειώνεται καθώς αυξάνεται το μήκος του περιβάλλοντος, επομένως εξαρτάται από τις εργασίες.

Η πρώτη αυτόνομη ροή εργασίας

Μια διανυκτέρευση σε μη υποστηριζόμενο υλικό χωρίς διακριτή GPU έδωσε περίπου 1 token ανά δευτερόλεπτο, επειδή μεγάλο μέρος του μοντέλου κατέληξε σε ανταλλαγή. Η ταχύτητα δεν ήταν ο στόχος: η εργασία ανατέθηκε το βράδυ και το αποτέλεσμα ήταν έτοιμο το πρωί. Ο Hermes στη συνέχεια μετακόμισε σε μια μηχανή με χρήσιμη ταχύτητα και άρχισε την καθημερινή εργασία. Ένας πρωινός έλεγχος χρησιμοποιεί ήδη αισθητήρες οικιακού βοηθού και παρακολουθεί αντίγραφα ασφαλείας, υγεία δίσκου και θερμοκρασίες σε συνδεδεμένους υπολογιστές.ανέφερε αμέσως ότι το δωμάτιο διακομιστή ήταν πολύ ζεστό με έξι υπολογιστές να λειτουργούν.

Ένα εργαστήριο πανομοιότυπων μηχανών

Δέκα πανομοιότυπες Μητρικές κάρτες διακομιστή ASUS και CPU

Για να μετατρέψουμε τα μεμονωμένα αποτελέσματα σε επαναλαμβανόμενη ρύθμιση, αγοράσαμε 10 πανομοιότυπες Μητρικές κάρτες και επεξεργαστές για 10 συστήματα αντιστοίχισης: μια πλατφόρμα ASUS με 8 υποδοχές RAM, προσιτή απομακρυσμένη διαχείριση DDR4 και BIOS, έτσι ώστε οι πράκτορες να μπορούν ακόμη και να επανεγκαταστήσουν το λειτουργικό σύστημα από απόσταση.

Είχαμε ήδη δημιουργήσει 20-30 υπολογιστές σχεδόν από το μηδέν και τους διαχειριζόμασταν φωνητικά από ένα τηλέφωνο μέσω πρακτόρων cloud, συμπεριλαμβανομένης μιας λογιστικής ροής εργασίας από την εγκατάσταση ERP έως την εισαγωγή τιμολογίων στο ιταλικό φορολογικό σύστημα. Ο στόχος τώρα είναι η αναπαραγωγή τέτοιων ροών εργασίας με τοπική τεχνητή νοημοσύνη. Από το κουτί, οι εργασίες που διαρκούν δευτερόλεπτα ή ένα λεπτό στο σύννεφο χρειάστηκαν 5-10 λεπτά τοπικά.η βελτιστοποίηση ήρθε στη συνέχεια. Οι εργασίες προέρχονται από πολλές πηγές και οι πράκτορες τις αρχειοθετούν στο OpenProject και τις αναθέτουν στον καταλληλότερο πράκτορα ή άτομο.

Τι σημαίνει αυτό για έναν πελάτη του Box

Αρχικό νήμα στο Χ · Όλα τα νέα