वास्तविक भार पर स्थानीय एआई की प्रारंभिक ऊर्जा लागत
स्थानीय एआई चलाए की प्रारंभिक बिजली लागत, उसी टोकन संख्या के लिए सूचीबद्ध क्लाउड एपीआई मूल्यों के साथ तुलना में।
माप और सिस्टम लॉग का उपयोग कर वास्तविक स्थानीय एआई भारों से प्रारंभिक ऊर्जा खपत के आँकड़े एकत्र किए गए हैं। आँकड़े अभी अनुमान हैं, लेकिन समग्र अर्थव्यवस्था की पर्याप्त सटीक तस्वीर देते हैं।
माप एक ऊर्जा-कुशल लैपटॉप पर किए गए, जिसमें आधुनिक जीपीयू है और जिसकी कीमत लगभग 4,000–4,500 डॉलर (4,000–4,500 €) है। कम ऊर्जा-कुशल हार्डवेयर पर बिजली की लागत संभवतः अधिक होगी और सबसे सस्ते चीनी मॉडलों के एपीआई मूल्यों के निकट पहुँच सकती है। वे मॉडल अक्सर मुफ्त या 90% तक की छूट के साथ उपलब्ध होते हैं। उन स्थितियों में क्लाउड एआई केवल स्थानीय अनुमान के लिए आवश्यक बिजली से सस्ता हो सकता है।
पोस्ट के साथ प्रकाशित चार्ट एक भार की तुलना करते हैं — 198 जीपीक्यूए-डायमंड कार्य, 56,514 इनपुट और 156,136 आउटपुट टोकन, कुल 212,650 टोकन — बिजली 0.25 $/किलोवाट-घंटा पर। तालिका में स्थानीय लागत केवल जीपीयू के लिए 0.014 $ और अनुमानित पूरे पीसी के लिए 0.025 $ है। उसी टोकन संख्या के सूचीबद्ध क्लाउड योग 0.065 $ (क्वेन फ्लैश) से 1.674 $ (क्लॉड सॉनेट 5.5 और जीपीटी-6.1 सोल) तक हैं। तालिका के नोट में कहा गया है कि हार्डवेयर शामिल नहीं है, कि क्लाउड लागत समान टोकन मात्रा का उपयोग करती है न कि समतुल्य मापे गए चलाओं का, और कि मॉडल की गुणवत्ता भिन्न हो सकती है।
ये प्रारंभिक परिणाम हैं। आगे के माप योजनाबद्ध हैं, और निष्कर्ष गिटहब पर प्रकाशित किए जाने हैं।