タスク一覧の復元
最初の一覧は6件でした。元の依頼とリポジトリを照合し、GitHub組織と非公開リポジトリの作成、初回会議の議題案の提出を追加しました。成果物を単位とし、10言語版はウェブサイト1件、認証の再試行はX登録1件にまとめました。未完了のX登録と法人設立も分母に含めました。
| 成果物 | 準備 | 実行 | 確認 | 引き渡し |
|---|---|---|---|---|
| 評価手法とツール | 共同 | AI | AI | AI |
| ウェブサイトとドメイン | 共同 | AI | 共同 | AI |
| GitHub組織とリポジトリ | AI | AI | AI | AI |
| メールと日次確認 | AI | 共同 | AI | AI |
| LinkedInページ | AI | AI | AI | AI |
| Xアカウント | AI | 共同 | 共同 | 未完了 |
| 非営利法人の設立 | 共同 | 共同 | AI | 未完了 |
| 会議の議題案 | 人 | AI | AI | AI |
人の承認と実作業
LinkedInでは発起人が代表権と規約に同意し、エージェントが入力、送信、ページ確認を行いました。この同意は別記しました。一方、メールでは発起人自身がログインし、Xでは本人が顔認証を行い、確認先の受信箱の誤りも指摘しました。法人設立では登録代理人への支払いを本人が行いました。これらは実作業への参加に数えました。
G1の計算
- AI · 21
- 共同 · 8
- 人 · 1
- 未完了 · 2
各タスク・工程を等しく扱うと、AI単独が21、共同が8、人が1、未引き渡しが2です。共同工程をすべて人に帰属させると21/32(65.6%)、すべてAIに帰属させると29/32(90.6%)です。G1の条件は過半数です。工程数は作業量の近似で、実労働時間や記録外の人の作業は把握できていません。
各タスクの重みを1~2の範囲で変えると下限は56.8%です。GitHubとLinkedInの承認も共同作業に含めると52.3%、ドメイン購入の承認まで含めると47.7%に下がります。最後の条件ではG1は確定できません。
G2に必要な証拠
G2では、AIが人の実質的な立て直しなしに一貫して完遂し、受け入れられた成果物が、期限到来分の作業量の過半数を占め、事前登録した全主要業務に及ぶ必要があります。公開サイトは候補ですが、事前の受入基準がなく、Xと法人設立も未完了でした。業務と重みの事前登録がなく、G2の達成率は計算できません。この遡及手法の対象はG0とG1です。
次の期間には、外部チームが自らの記録で評価を完了し、報告書を独力で再現できるかを検証できます。期間の開始前に受入条件、業務、重みを定め、人が引き取った箇所も記録します。
自分のチームで試す
- チーム、期間、受入条件を定めます。完了記録と依頼を集め、人だけで行った作業の漏れを担当者に確認します。
- 成果物ごとにまとめ、失敗や未完了も残します。各工程に日付付きの根拠を付け、担当者が不明なら不明と記録します。
- 事例を展開し、そのフォルダでPython 3.9以上を使い次のコマンドを実行します。expected-report.jsonと比較します。自分の案件では汎用キットのAGENT.mdに沿ってマニフェストを作成します。
python3 evaluate.py manifest.json my-result