Skip to main content
W&B Weave のAgents ビューでは、シグナル タブに、エージェントの会話に対する タグ と 評価 が表示されます。シグナル は品質や安全性に関する問題を可視化し、問題をフラグ付けしたり、パターンを見つけたり、注意が必要なトレースを強調表示したりするのに役立ちます。シグナル を使用すると、エージェントの応答の品質を自動的にスコアしたり、ユーザーのいら立ちに気づいたり、NSFW コンテンツをフラグ付けしたりできます。

​
Get started

project のシグナルを表示するには、次の手順を実行します。
  1. https://wandb.ai にアクセスし、project を選択します。
  2. サイドバー メニューで Agents を選択し、project に保存されているすべてのエージェントとの会話を表示します。
  3. タブバーで シグナル を選択します。
エージェントのスコアが付与されたターンの一覧を表示する シグナル タブ。

​
主要な用語

  • Turn: ユーザーとエージェントの1往復のやり取りです。
  • Rating: 一致したスパンに割り当てられる、0.0〜1.0の数値スコアです。
  • Tags: 一致したスパンに割り当てられるラベルです。たとえば、“user-frustration” や “nsfw” などがあります。

​
シグナルの表

シグナル タブには、エージェントのスコアリング済みターンの表が表示されます。各行は、いずれかのシグナル モニターの出力を表します。次の列がデフォルトで表示されます。 時間範囲セレクターと Filter バーを使用して、Scorer、エージェント、スコア範囲、または期間で結果を絞り込みます。Score volume タイムラインには、Weave が評価またはタグ付けしたシグナルの件数が表示されます。これは表に表示されている行を反映しており、タイムライン上でドラッグしてフィルターできます。

​
新しいシグナルを作成する

エージェントのターンのスコアリングを開始するには、1 つ以上のシグナルを作成してください。+ New signal を選択して、Create signals ドロワーを開きます。 ドロワーでは、利用可能なシグナルは次の 2 つのカテゴリに分かれています。
  • タグ: user-frustration や nsfw など、一致するスパンにラベルを自動的に付与します。タグ を使用すると、スパンを分類したり、望ましくない動作にフラグを付けたりできます。signals UI には少なくとも 1 つのタグに一致したスパンの行だけが表示されるため、出力が表示されなくても、タグ シグナルが正常に実行されている場合があります。
  • 評価: 一致するスパンに 0 から 1 のスコアを割り当てます。評価 を使用してエージェントのパフォーマンスを評価し、時間の経過に伴う改善を測定します。

​
プリセットシグナル

各カテゴリには、直接選択できるプリセットテンプレートが用意されています。両方のカテゴリから任意の組み合わせでプリセットを選択し、Create [N] signals を選択すると、それらをすべてデフォルト設定でまとめて作成できます。

​
タグプリセット

​
評価プリセット

​
カスタムシグナル

空の シグナル タブからカスタムタグシグナルを作成する方法については、カスタムシグナルを作成するを参照してください。

​
シグナルの管理と編集

少なくとも 1 つのシグナルを作成している場合は、ツールバーのアクティブなシグナル ボタン (1 active signals のように、有効なシグナル数が表示されます) を選択すると、project で有効なすべてのシグナルを一覧表示するドロワーが開きます。ここから、シグナルのオン/オフを切り替えたり、削除したり、各シグナルを編集したりできます。エディタには、カスタム シグナルと同じ設定項目が表示されます。

​
シグナルのトラブルシューティング

シグナルのアクティビティは、プロジェクトのサイドバーにある Traces に表示されます。想定したシグナルの一致が表示されない場合は、Traces 表を使ってデバッグしてください。たとえば、Scorer 名や、エラーが発生していないか Status 列を確認してください。Scorer の実行エラーが発生すると、Status に赤いインジケーターが表示され、エラーの詳細も確認できます。