コンテンツにスキップ
メインサイト ニュース コンソール

shot-scraper video を使ってエージェントに作業デモ動画を録画させる

· Simon Willison 翻訳済
技巧LLM

shot-scraper video は、今日リリースされた shot-scraper 1.10 で新たに追加されたコマンドです。Web アプリ上で実行する一連の操作を定義した storyboard.yml ファイルを受け取り、Playwright を使ってその操作の動画を録画します。私は以前、コーディングエージェントに実際に動くデモを出力させることの重要性について書きました。これは、その実現に向けた私の最新の試みです。

以下は、現在開発中の機能を紹介するために shot-scraper video で作成したサンプル動画です。これは、貼り付けた CSV、TSV、または JSON データから Datasette 内に新しいテーブルを作成できるようにするものです。

この動画は、次のコマンドを実行して作成しました。

shot-scraper video datasette-bulk-insert-storyboard.yml \
  --auth datasette-demo-auth.json --mp4

(この --auth JSON ファイルにはcookie が含まれています。詳細はドキュメントをご覧ください。)

以下が datasette-bulk-insert-storyboard.yml ファイルです。

output: /tmp/datasette-bulk-insert-demo.webm
server:
  - uv
  - --directory
  - /Users/simon/Dropbox/dev/datasette
  - run
  - datasette
  - -p
  - 6419
  - --root
  - --secret
  - "1"
  - /tmp/demo.db
url: http://127.0.0.1:6419/demo/tasks
viewport:
  width: 1280
  height: 720
cursor: true
wait_for: 'button[data-table-action="insert-row"]'
javascript: |
  (() => {
    let clipboardText = "";
    Object.defineProperty(navigator, "clipboard", {
      configurable: true,
      get: () => ({
        writeText: async (text) => {
          clipboardText = String(text);
        },
        readText: async () => clipboardText,
      }),
    });
  })();
scenes:
  - name: 既存テーブルに行を一括挿入
    do:
      - pause: 0.8
      - click: 'button[data-table-action="insert-row"]'
      - wait_for: "#row-edit-dialog[open]"
      - pause: 0.5
      - click: ".row-edit-bulk-insert"
      - wait_for: ".row-edit-bulk-textarea"
      - pause: 0.5
      - click: ".row-edit-copy-template"
      - wait_for: "text=已复制"
      - pause: 0.8
      - fill:
          into: ".row-edit-bulk-textarea"
          text: |
            title,owner,status,priority,notes
            Prepare release video,Ana,doing,1,Recorded with shot-scraper
            Check pasted CSV import,Ben,review,3,Previewed before inserting
            Share the branch demo,Chen,queued,2,Bulk insert creates three rows
      - pause: 0.8
      - click: ".row-edit-save"
      - wait_for: "text=正在プレビュー 3 行。"
      - pause: 1.2
      - click: ".row-edit-save"
      - wait_for: "text=3 行を挿入しました。"
      - pause: 1.0
      - click: ".row-edit-cancel"
      - wait_for: "text=Prepare release video"
      - pause: 1.0
  - name: 貼り付けた CSV からテーブルを作成
    open: http://127.0.0.1:6419/demo
    wait_for: 'details.actions-menu-links summary'
    do:
      - pause: 0.8
      - click: 'details.actions-menu-links summary'
      - click: 'button[data-database-action="create-table"]'
      - wait_for: "..."