AIエージェントが事前定義されたツールなしでRemotionを使用して自律的に動画を作成

ビデオ作成のための自律型AIエージェントのワークフロー

ある開発者が、計画、コード記述、実行、エラー処理、完了までループするという多段階タスクを自律的に実行するAIエージェントを実験しました。ChatGPTをラップしたエージェントとは異なり、このエージェントは足場や事前定義ツールなしで動作します。

エージェントには、特定のトピックで短いリールを作成するという目標が与えられました。それは自律的に以下を行いました：

• ビデオレンダリングライブラリが必要だと判断
• Remotionを導入
• コンポジションコードを記述
• いくつかの問題を独立してデバッグ
• レンダリングされたビデオファイルを提供

開発者はこのプロセス中に編集ツールを一切開きませんでした。

拡張オートコンプリートを超えるアーキテクチャの転換

重要な側面は出力ではなく、ワークフローのアーキテクチャでした。現在のほとんどのAIツールは「拡張オートコンプリート」フェーズで動作し、ユーザーがプロンプトを入力し、AIが提案し、ユーザーが実行します。このエージェントは異なるアプローチを示しました：目標を入力し、成果物を出力するまで、すべての中間ステップを自律的に処理します。

開発者は、エージェントがタスクの文脈に基づいてツールを自己選択する能力に注目し、ワークフロー全体で一貫性を維持するペルソナベースのエージェントや、以前は半日かかっていた研究パイプラインにエージェントを使用するなど、他の方向性も探求していると述べました。

現在の状態と失敗モード

この技術はまだ初期段階で、ぎこちない部分もありますが、失敗モードは貴重な洞察を提供します。エージェントが自信を持って間違った道を進み、自己修正（または修正に失敗）する様子を観察することで、自律型AIシステムの真のギャップがどこにあるかが明らかになります。