Akka、65のオープンソースプロジェクトで仕様に基づくAI配信をテスト

Akkaは65のオープンソースプロジェクトにおいて、仕様に基づくAI支援ソフトウェア移植ワークフローのテストを実施しました。評価内容には、仕様の構造、文脈、モデルと作業量の選択、自動化検証、トークン消費、実行時性能が含まれます。初回テストは99.3時間を要し、94.1億トークンを消費しました。Akkaの報告によると、65の移植プロジェクトのうち57がコード行数または性能での向上を達成しました。

この実験は二つの段階に分かれて行われました。Akkaは全65プロジェクトを分析し、仕様を生成し、各プロジェクトの最大10%の機能を実装しました。その後、システム特性と定量的な結果に基づいて10のプロジェクトを選び、完全な実装を行いました。配信管理ワークフローは、要求発見、仕様定義、移植、ベンチマークテスト、最適化の段階を経ました。