Akka ने 65 ओपन सोर्स परियोजनाओं में विनिर्देश-आधारित एआई वितरण का परीक्षण किया

यह प्रयोग दो चरणों में विभाजित था। Akka ने सभी 65 परियोजनाओं का विश्लेषण किया, विनिर्देश उत्पन्न किए और प्रत्येक परियोजना की अधिकतम 10 प्रतिशत कार्यक्षमता को लागू किया। इसके बाद, सिस्टम विशेषताओं और मापने योग्य परिणामों के आधार पर, पूर्ण कार्यान्वयन के लिए 10 परियोजनाओं का चयन किया गया। वितरण नियंत्रण वर्कफ्लो में आवश्यकता खोज, विनिर्देश परिभाषा, पोर्टिंग, बेंचमार्किंग और अनुकूलन के चरण शामिल थे। आवश्यकता खोज चरण में कोड, मॉडल, पैटर्न और रनटाइम व्यवहार का विश्लेषण किया गया, जबकि Akka Specify के साथ Claude ने कार्यान्वयन, परीक्षण और समीक्षा का कार्य किया। एक सामान्य बेंचमार्किंग रनर के माध्यम से परीक्षण, कोड आकार और विलंबता की तुलना की गई।

Akka ने पाया कि घोषणाओं, साक्ष्यों और टाइप किए गए व्यवहार वाले संरचित विनिर्देशों ने शुरुआती कार्यान्वयन के परिणामों में सुधार किया, हालांकि संदर्भ फाइलों में घटकों के बीच के निर्णयों की कमी थी। प्रयोग में, Sonnet को प्रति पोर्टिंग औसतन 61 मिनट लगे, जबकि Opus को 120 मिनट लगे, लेकिन Opus की टोकन खपत लगभग 40 प्रतिशत कम थी। यह भी देखा गया कि कार्यभार सेटिंग्स बढ़ाने से खपत तो बढ़ी, लेकिन दक्षता में निरंतर सुधार नहीं हुआ।

सत्यापन कार्य के लिए मूल यूनिट टेस्ट और इंटीग्रेशन टेस्ट का उपयोग किया गया। समीक्षकों ने सीरियलाइजेशन, सुरक्षा, त्रुटि हैंडलिंग, व्यक्तिगत पहचान योग्य जानकारी, इडेम्पोटेंसी और आर्किटेक्चर सीमाओं की जांच की। प्रदर्शन के परिणाम अलग-अलग थे: अनुप्रयोगों, फ्रेमवर्क और लाइब्रेरी के प्रदर्शन में आम तौर पर सुधार हुआ, जबकि बुनियादी ढांचे और उपकरणों के प्रदर्शन के माध्यिका में गिरावट आई। Akka की रिपोर्ट के अनुसार, Dify के प्रदर्शन में 143333 गुना वृद्धि हुई, हालांकि तुलना किए गए वर्कलोड अलग थे, जबकि Netflix Metaflow की गति लगभग 100 गुना धीमी हो गई।