メインコンテンツへスキップ
Black プラン専用。 それ未満のプランではページはプラン画面に置き換わります。カスタムボット(+)は AI アクセスを付与しません ― プラン単体に紐付いています。
標準の 自動モデレーション はパターン一致です。AI 自動モデレーションはモデレーターと同じ読み方をします:皮肉、隠語、フィルター回避のミススペル、メンバーが書くあらゆる言語のコンテンツを理解します。画像と動画も、その中のテキストも含めて読みます。自動モデレーションがすでに削除したメッセージを、AI が再度チェックすることはありません。
2 つのスイッチが両方オンである必要があります:サーバーセットアップ の AI Auto-Mod、そしてこのページの設定です。モジュールがオフのときは何もスキャンされず、警告はアンバーのバナー以外に表示されません。

まず Monitor モードで開始する

Operating mode はこのページで最も重要なコントロールです。

Monitor

違反はログに記録されます。アクションは行われません。ただし、未成年に関する性的なコンテンツは常に削除されます。これが既定です。

Enforce

設定されたアクションが自動で適用されます。
Monitor モードでもトークンは消費されます ― すべてのメッセージがスキャンされ、アクションだけが保留されます。ログチャンネル未設定のまま Monitor を放置すると、誰も見ない結果のスキャン代を払うことになります。
ログチャンネルを設定した状態で Monitor を数日運用し、何が引っかかったかを読み、感度を調整してから Enforce に切り替えてください。この手順を省くのが偽陽性への苦情の最大原因です。

感度

パーセントで表す 1 つのスライダーです。AI は各メッセージをカテゴリーごとに 0〜100% で採点します(そのカテゴリーに違反している可能性)。スコアが 100 から感度を引いた値に達すると、そのカテゴリーがアクションを実行します。感度 25 なら 75% からです。 バランスの取れた出発点は 25〜40% です。 テキストでは、50 を超える感度は 50 と同じに扱われます。スコアが 50 未満のとき、AI はそのメッセージを違反よりも問題なしの可能性が高いと判断しているため、それ以上に設定しても誤検知が増えるだけです。モデレーションを言葉でかわそうとするメッセージ(スタッフの承認を装う、AI に直接呼びかける、冗談やフィクションだと言い訳するなど)は、常に 50 以上の感度でチェックされ、そのログにもその旨が記録されます。 画像にはこの上限はありません。AI は画像についてはたいてい確信を持って判定し、40〜69% とスコアを付けた境界線上の画像は、感度によって扱いが決まります。
各カテゴリーには独自の感度スライダーがあります。カテゴリーのスライダーが設定されている場合、それだけが適用されます ― グローバル値は未調整のカテゴリー用のフォールバックであり、追加の最低値ではありません。

カテゴリー

10 カテゴリー、それぞれ独自のスイッチ、独自のアクションセット、独自の感度を持ちます。
最初から有効なのは 未成年に関する性的なコンテンツ のみです。他はすべてオフで、有効化しないと動きません ― 有効化直後の AI 自動モデレーションは、設定するまでほぼ何もしません。
未成年に関する性的なコンテンツは常に削除されます。 AI がメッセージ、画像、または動画をこのカテゴリーで 50% 以上と評価すると、コンテンツは削除され、スタッフにアラートが送られます ― カテゴリーがオフでも、感度の基準を下回っていても、年齢制限付きチャンネルでも、Monitor モードでも同様です。カテゴリー自体の設定で決まるのは、Ban などの追加の処罰だけです。AI プロバイダーの児童保護フィルターがブロックしたコンテンツも、同じように扱われます。これらのコンテンツが、ログやアラートに表示されることは一切ありません。AI がこのカテゴリーで 35% 以上と評価したテキストも同様です。オンのままにしてください。
1 つのメッセージに複数の結果(テキスト、画像とその中のテキスト、動画のフレーム・音声・画面上のテキスト)がある場合、それぞれが設定に照らして評価され、設定上アクションの対象となる結果のうち最も深刻なものが適用されます。50% 以上と評価された未成年に関する性的なコンテンツは、他の結果が求める処罰に加えて削除されます。

年齢制限付きチャンネル

Discord の年齢制限付きチャンネルでは 性的なコンテンツ カテゴリーが抑制されます。他のカテゴリー(未成年に関する性的なコンテンツを含む)は通常通り強制されます。こうしたチャンネルでは、AI が判定できなかった画像または動画は削除されずにスタッフへ報告されます。詳しくは下の「画像チェックの仕組み」を参照してください。

アクション

カテゴリーごとに任意の組み合わせを選べます:Delete message、Warn user、Timeout、Mute、Kick、Ban、Alert。 拒否される 3 つの組み合わせがあります:
  • Kick と Ban を同時に
  • Alert と Ban
  • Alert と Kick
それ以外はすべて重ねられます。Delete はどれとでも組み合わせられます。
Mute はテキストのみのミュートです。 ボイスチャンネルでは沈黙させません。

カスタムルール

サーバー独自のルールを平易な英語で書きます。AI は標準カテゴリーと並行してチェックします。対象は、メッセージとメンバー名、画像に写っているものとその中のテキスト、動画の音声と画面上のテキストです。
25 ルール、Black プラン専用。
各ルールに名前、最大 1,000 文字の説明、単一のアクション、そして任意でグローバル値を上書きする感度があります。カテゴリーと同様に、テキストでは 50 を超える感度は 50 と同じに扱われます。
許可されることと許可されないことの両方を具体的に書いてください。「他のサーバーの広告禁止、ただし友人のアートや配信リンクを #showcase で共有するのは OK」の方が「広告禁止」よりずっと精度が高くなります。
AI の指示を操作しようとしているように見えるルール文は保存時に拒否されます。一般的なエラーで保存できない場合は、命令ではなく行動の平易な説明として書き直してください。
一致したカスタムルールは 自身の 感度に対して評価され、同等のカテゴリーが有効かどうかとは独立して強制されます。

エスカレーション

既定はオフ。オンにすると、繰り返しの違反者には段階的に強いアクションが課されます。
1

ステップを追加

各ステップは違反回数(1〜99)+アクションで、Timeout、Mute、Ban には期間も設定します。最大 20 ステップ。
2

減衰ウィンドウを設定

1〜30 日、既定 7。この期間を過ぎると違反はカウント対象から外れます。
現在のメッセージも合計にカウントされます。 1 違反に設定したステップは、そのメンバーの初違反で発動します(2 回目ではなく)。
ステップのアクションはカテゴリーの処罰を 置き換え ますが、カテゴリーが持っていた場合は Delete と Alert を維持します。エスカレーションは処罰をエスカレートするだけで、メッセージ削除を止めるわけではありません。
期間の上限は 1 年です。ダッシュボードは 100,000 時間などの値を受け付けますが、サーバー側で一般的な保存エラーとして拒否されます ― 期間は 1 年以内に収めてください。

除外

  • 除外ロール ― これらのいずれかを持つメンバーは完全にスキップ
  • 除外チャンネル ― ここのメッセージは決してスキャンしない
  • 除外ユーザー ― 最大 500、ボット向けに便利
Administrator を持つメンバーは除外の有無に関わらずスキャンされません。 このチェックはトークンが消費される前に走ります。

Kick と Ban 前の確認

既定でオン。Kick と Ban のアクションは即時実行されず、モデレーターの承認用に投稿されます。
確認は削除を保留しません。 カテゴリーのアクションセットに Delete が含まれる場合、違反検出の瞬間にメッセージは削除されます。Kick や Ban だけが承認を待ちます。
確認は 1 時間で期限切れになります。アラートチャンネルに投稿され、なければログチャンネル、それもなければメッセージがあったチャンネルにフォールバックします。

Trust Tiers(信頼ティア)

トークン節約策です。長期にわたって違反のないメンバーはスキャン頻度が下がります。 信頼メンバーが「見えなくなる」ことがないよう、4 つのセーフガードがあります:
  1. Discord 招待、@everyone/@here、5 件以上のメンションは常にスキャン ― 例外なし
  2. 6 秒で 3 メッセージのバーストは強制スキャン
  3. サンプリングはゼロにはならず、信頼メンバーも定期的にスキャンされる
  4. 違反があると信頼スコアは即座にゼロにリセット
賑わうサーバーでは Trust Tiers はトークン支出を大幅に削減できます。よく投稿するメンバーはたいていルールを破らない人だからです。
Trusted Members リストで現在資格のあるメンバーを確認できます。Reduce はスコアを半分に、Remove は完全にクリアします。どちらも即時適用され ― 保存バーは関与しません。

チャンネル

  • Log channel ― 一致カテゴリーと確信度を含む全モデレーションイベント
  • Alert channel ― 高い深刻度のイベントと確認プロンプト
どちらも未設定だと、AI モデレーションはどこにも記録を残さずに動作します。

トークン残高が尽きたら

AI 自動モデレーションはフェイルクローズ設計です:予算があると確認できないとスキャンしません。 通知はアラートチャンネルへ、なければログチャンネルへフォールバックします。残高が回復してから再度下がると、低残高警告は再び発火します。

AI 使用量

支出を追跡、スキャン内容を確認、トップアップ。

AI が応答しない場合

メッセージのテキストについて AI が応答しない場合(停止中または応答が遅すぎる場合)、そのメッセージには AI の判定がつかず、費用もかからず、再チェックもされません。メンバーの名前は、そのメンバーの次の更新時または名前の変更時に再チェックされます。標準の自動モデレーションには影響しません。画像と動画はもう一度チェックされます。以下を参照してください。

画像チェックの仕組み

1 メッセージあたり最大 4 枚の画像がチェックされます。Discord、Tenor、Giphy、Imgur の埋め込みに含まれる画像や、誰かが転送したメッセージ内の画像も対象です。5 枚目以降の画像はチェックされず、アラートチャンネルに通知されます(最大 1 時間に 1 回)。
  • アニメーション画像(GIF、アニメーション WebP)は、最初から最後までのフレームをサンプリングしてチェックされます。長すぎたり大きすぎたりして全体をサンプリングできないアニメーションや、アニメーション PNG は、サンプリングできた範囲でチェックされ、何も見つからなかった場合は、完全にはチェックされなかったことがアラートチャンネルに通知されます。
  • 動画 は映っている内容と話されている内容に基づいてチェックされます。詳しくは下の「動画チェックの仕組み」を参照してください。
  • SVG と極小の画像(10 ピクセル未満、または縦横比が 1:200 より細長いもの)はスキップされます。
  • 大きな画像(写真や全画面のスクリーンショットなど)は、文字が読める大きさに縮小してから確認されるため、消費するトークンが少なくなります。
AI が画像の判定を拒否した場合や、安全フィルターによってブロックされた場合は、2 つ目の AI モデルが分類します。どちらも判定できない場合、その画像は 削除され、スタッフにアラートが送られます。年齢制限付きチャンネルでは、スタッフへのアラートのみ行われます。これによってメンバーが警告を受けたり、違反が記録されたりすることはありません。テキストが AI プロバイダーの安全フィルターにブロックされたメッセージも、同じように扱われます。 AI は各画像内のテキスト(チャットのスクリーンショットやミームの文字など)も読み取って画像の判定に含め、その一部をメッセージと同様にもう一度チェックします。対象は、アラビア文字、キリル文字、漢字などラテン文字以外で書かれたテキストや、文字の代わりに数字を使って書かれたテキストです。AI が画像の判定に確信を持てない場合や、サーバーにカスタムルールがある場合はすべてのテキストが対象となり、カスタムルールはそのテキストと画像に写っているものの両方に照らしてチェックされます。このチェックは結果を追加するだけで、取り消すことはなく、費用もかかりません。応答がない場合は、画像自体の判定がそのまま有効です。 どの AI モデルも応答しない場合、その画像は約 30 分後に再度チェックされ、アラートチャンネルに通知されます(最大 1 時間に 1 回)。AI プロバイダーが読み取れない画像は再度チェックされず、同じようにアラートチャンネルに通知されます。

動画チェックの仕組み

画像と動画をスキャン をオンにすると、動画もチェックされます:動画の添付ファイル、および Tenor や Giphy の GIF が再生する動画です。YouTube や Twitch などのサイト上の動画はダウンロードされません。プレビュー画像が通常の画像と同様にチェックされます。 各動画はバックグラウンドでチェックされ、通常は投稿から 30 秒ほどで処理されます:
  • 映っている内容 ― 最初から最後まで、シーンの切り替わりを含めて最大 12 フレームが画像と同様にチェックされます。
  • 話されている内容と書かれている内容 ― 最初の 60 秒間の音声が文字起こしされ、画面上のテキストと合わせて、カスタムルールを含めてメッセージと同様にチェックされます。最初の 1 分を過ぎた音声はチェックされません。
各結果は設定に照らして評価され、他の AI Auto-Mod の判定と同様に、設定上アクションの対象となる結果のうち最も深刻なものが適用されます。AI が判定を拒否したフレームは、そのような画像と同様に扱われます:動画は削除されスタッフにアラートが送られるか、年齢制限付きチャンネルではアラートのみが送られます。 一部の動画はチェックされません。その場合、アラートチャンネルに通知されます(最大 1 時間に 1 回):
  • 100 MB を超えるファイル。
  • ダウンロードまたは再生できない動画。再度チェックされることはありません。
  • AI が完全にはチェックできなかった動画。一部について AI が応答しなかった場合は、約 1 分後にもう一度チェックされます。映像を読み取れない動画でも、音声はチェックされます。
  • 1 つのサーバーで待機中の動画が 20 本を超える場合、または 1 人のメンバーの動画が 3 件を超えるメッセージに含まれる場合 ― それを超えた分はスキップされます。

1 スキャンのコスト

1 メッセージにつき 1 回の AI 呼び出しで、長さやカスタムルールの数に関係なく費用は同じです。画像付きメッセージはテキストで 1 回に加えて 画像 1 枚あたり 1 回、最大 4 回 です。画像内のテキストの読み取りは無料です。最初のモデルが判定を拒否した画像は、2 つ目のモデルがチェックするため、呼び出しが 1 回増えます。AI プロバイダーが読み取れない画像は費用がかかりません。 動画は最大 4 回の呼び出しを消費します:フレームに最大 2 回、音声の文字起こしに 1 回、発言内容と画面に表示された内容のチェックに 1 回です(動画に音声がない場合、このチェックは無料です)。Tenor や Giphy の GIF は画像と動画の両方としてカウントされます。ダウンロードまたは再生できない動画は費用がかからず、すでにチェック済みの動画の再投稿も通常は費用がかかりません。初回に AI が完全にはチェックできなかった動画はもう一度チェックされるため、これらの呼び出しの一部が再度かかることがあります。
画像と動画のスキャンがサーバーに重要でなければ、画像と動画をスキャン をオフにするのが単一で最大の節約です。

ユーザー名スキャン

表示名とユーザー名は、メンバーの参加時と、ニックネーム・表示名・ユーザー名の変更時にチェックされます。新しいロールなど、それ以外のメンバー更新でかかる費用は、メンバー 1 人につき 30 日ごとに最大 1 回のチェック分です。名前はカテゴリーだけでなく、カスタムルールに照らしてもチェックされます。名前に対する Delete は意味を持たないので、代わりに Alert になります。

トラブルシューティング

順番に確認してください:
  1. サーバーセットアップで AI Auto-Mod がオンか?
  2. カテゴリーをどれか有効にしたか?既定で 1 つしか有効ではありません。
  3. Monitor モードか?ログを記録し、作動するのは未成年に関する性的なコンテンツのみです。
  4. トークン残高は 3,000 以上か?
  5. 対象メンバーが Administrator か、除外リストに載っていないか?
グローバルスライダーではなく、過剰発火している特定カテゴリーの感度を下げてください。調整中は Monitor モードに戻してください。
画像と動画のスキャンをオフにし、Trust Tiers を有効にし、モデレーション不要の混雑チャンネルを除外してください。カテゴリーをオフにしても節約にはなりません。チェックの費用は、どのカテゴリーやルールがオンでも同じです。
モジュールを有効化しても設定を一度も保存していないサーバーは完全に沈黙します。このページを開き、カテゴリーとログチャンネルを設定し、一度保存してください。
それこそが AI 自動モデレーションが扱い、標準の自動モデレーションが扱えない領域です。該当カテゴリーが有効か、感度が低すぎないかを確認してください。

自動モデレーション

パターン一致によるフィルタリング、すべてのプランで無料。

AI サーバー制御

ボットに話しかけてサーバーを管理。