Νέα
Πώς χτίζουμε λύσεις σε οικονομικούς υπολογιστές
Μελετάμε πόση χρήσιμη και αξιόπιστη δουλειά μπορεί να κάνει ένα τοπικό μοντέλο ΤΝ σε φθηνό υπολογιστή και το συγκρίνουμε με ένα μηχάνημα όπου όλο το μοντέλο χωρά στη μνήμη.
Συμμετέχουν τρεις υπολογιστές. Ένας οικονομικός PC με κάρτα γραφικών RTX 3060 λειτουργεί με αυστηρά όρια μνήμης. Ένας δεύτερος υπολογιστής με τον πράκτορα Hermes αναλύει τα αποτελέσματα, επαληθεύει τη δουλειά και κάνει βελτιώσεις. Ένα Mac Studio M3 εκτελεί παράλληλα τις ίδιες εργασίες ως σημείο αναφοράς με επαρκή μνήμη. Όλα τα μηχανήματα χρησιμοποιούν τα ίδια αρχεία μοντέλου και την ίδια έκδοση Strata.
Μας ενδιαφέρει όχι η ταχύτητα καθαυτή, αλλά η ποιότητα και η αξιοπιστία των απαντήσεων σε πραγματικές εργασίες. Τα προκαταρκτικά αποτελέσματα δείχνουν ότι το περιορισμένο υλικό δεν σημαίνει απαραίτητα χαμηλότερη ποιότητα απαντήσεων.
Ένα ξεχωριστό μέρος του πειράματος εξετάζει αν ο πράκτορας μπορεί να βρίσκει μόνος τα λάθη του, να τα διορθώνει και να προλαμβάνει παρόμοια. Χωρίς να του ζητηθεί, άρχισε επίσης να υπολογίζει πόσα tokens κοστίζουν οι βελτιώσεις του και να περιορίζει την περιττή κατανάλωση.
Αυτά τα πειράματα οδηγούν σε πραγματικά αποτελέσματα και πρακτικά σενάρια, για παράδειγμα στην εργασία με έγγραφα.