Akka בחנה תהליך מסירה של תוכנה מבוסס בינה מלאכותית ב-65 פרויקטים של קוד פתוח

הניסוי חולק לשני שלבים. בשלב הראשון, Akka ניתחה את כל 65 הפרויקטים, יצרה מפרטים והגשימה עד 10 אחוזים מהפונקציונליות של כל פרויקט. לאחר מכן, נבחרו 10 פרויקטים למימוש מלא על בסיס מאפייני המערכת ותוצאות מדידות. תהליך הבקרה כלל שלבי גילוי דרישות, הגדרת מפרטים, הסבה, בדיקות ביצועים ואופטימיזציה. שלב גילוי הדרישות ניתח קוד, מודלים, תבניות והתנהגות זמן ריצה, בעוד שהמודל Claude בשילוב עם Akka Specify ביצע את המימוש, הבדיקות והביקורת. השוואות של בדיקות, גודל קוד ושיהוי בוצעו באמצעות מריץ בדיקות ביצועים כללי.

Akka מצאה כי מפרטים מובנים הכוללים הצהרות, ראיות והתנהגות מוקלדת שיפרו את המימוש הראשוני, אך קבצי ההקשר היו חסרים מידע על החלטות חוצות רכיבים. בתחומי המחקר העתידיים נכללים פירוט ממשקים, ייבוא נתוני בדיקה, מעקב מקורות, בדיקות הפרשים ובדיקות התנגשות. בנוסף, GitHub Spec Kit תכנן מבנה לתהליך עבודה של סוכני קידוד סביב שלבי מפרטים, תכנון, משימות, מימוש והתכנסות.

במסגרת הניסוי, המודל Sonnet ארך בממוצע 61 דקות לכל הסבה, בעוד שהמודל Opus ארך 120 דקות, אך צרך כ-40 אחוזים פחות אסימונים. נמצא כי הגדלת הגדרות העומס הגבירה את הצריכה אך לא הובילה לשיפור עקבי ביעילות.

תהליך האימות השתמש בבדיקות יחידה ובבדיקות אינטגרציה מקוריות, לצד ביקורת אנושית על סריאליזציה, אבטחה, טיפול בשגיאות, מידע מזוהה אישית, אידמפוטנטיות וגבולות ארכיטקטוניים. Akka הוסיפה אמצעי הגנה בעקבות תקלות שהתגלו, אך ציינה כי תנאי יציאה נוספים הגבירו את עלות ההסבה. ביצועי האפליקציות, המסגרות והספריות השתפרו בדרך כלל, בעוד שביצועי התשתיות והכלים ירדו בחציון. לפי הדיווח, ביצועי Dify השתפרו פי 143,333, אם כי עומסי העבודה שהושוו היו שונים, בעוד ש-Netflix Metaflow פעל לאט פי 100 בערך.