AIの安全性というと、少し前までは「危ない質問に答えない」「差別的な文章を出さない」「間違った情報を減らす」といった、AIが何をしゃべるかの話が中心でした。
でも、AIエージェントが普通にツールを使い、ファイルを読み、コードを動かし、Webへアクセスし、外部サービスを操作するようになると、話が少し変わってきます。
間違った回答なら、人間が読んで「これは違うな」と止められることがあります。ところが、間違った操作が先に実行されてしまえば、ファイルを書き換えたり、情報を外へ送ったり、別のシステムへアクセスしたあとかもしれません。
2026年8月、OpenAIが次期モデルAstraの一部内部作業を止めたという発表は、この変化をかなり分かりやすく見せています。問題は単純に「AIが賢くなりすぎた」という話ではありません。賢いAIに、どこまで鍵を渡してよいのか。その設計のほうが重要になってきました。
この記事では、ざっくり次の3つを考えます。
- OpenAIが警戒する「Critical」のサイバー能力とは何か
- 安全のために何でも拒否させればよいわけではない理由
- AIエージェント時代に見るべき「モデル・環境・権限」の考え方
Astraが示した「Critical」とは何なのか
OpenAIは2026年8月7日、開発中のモデル「Astra」について、Preparedness Frameworkで定めるサイバーセキュリティ能力の「Critical」水準に達している可能性を排除できないと公表しました。
ここは少し慎重に読んだほうがよさそうです。
OpenAIが「AstraはCriticalに到達した」と断定したわけではありません。現時点では、評価結果が強いため「Criticalではないと言い切れない」という段階です。
それでもOpenAIは、安全基準を満たしていないAstra関連の一部内部作業を停止し、隔離された評価環境、ネットワークやツール権限の制限、追加監視、サンドボックスなどを強化しています。
では、HighとCriticalでは何が違うのでしょうか。かなり大ざっぱに整理すると、こうなります。
| OpenAIの区分 | 想定される能力 | 2026年8月時点の位置づけ |
|---|---|---|
| High | 既存のサイバー攻撃を大きく自動化・拡張し、堅牢な対象への攻撃や脆弱性の発見・悪用を進められる | GPT-5.6 Sol、Terra、Lunaなど |
| Critical | 人間の介入なしで、多数の堅牢な実システムのゼロデイ脆弱性を発見・悪用したり、高水準の目標だけから新しい攻撃方法を考案・実行したりできる | Astraについて到達可能性を排除できず追加評価中 |
Highでも十分に強いのですが、Criticalでは「人間が細かく手順を教える」という前提そのものが崩れてきます。
「このシステムへ侵入してほしい」という大きな目標だけを渡され、自分で方法を探し、試し、修正しながら最後まで進められる。ここまで来ると、安全性は会話内容のフィルターだけでは扱えません。
危険なのは、ひとつの回答より「行動の連鎖」かもしれない
AIエージェントの特徴は、一度の回答で終わらないことです。
Webを調べる。
ファイルを開く。
コードを書く。
プログラムを実行する。
結果を確認する。
失敗したら別の方法を試す。
必要なら別のツールを呼び出す。
一つひとつを見ると普通の操作でも、それが何十回、何百回とつながると、人間が最初に想定していなかった場所まで到達することがあります。
家の鍵で考えると少し分かりやすいかもしれません。
玄関の鍵だけを渡したつもりでも、その玄関から倉庫へ入り、倉庫に別の鍵があり、その鍵でさらに別の部屋へ入れるなら、最初に渡した「ひとつの鍵」だけを見ていても安全性は判断できません。
AIエージェントも似ています。
問題はモデル単体ではなく、そのモデルが何につながっているかです。
Hugging Faceの事件が見せたもう一つの現実
2026年7月、Hugging Faceは、自社インフラへの侵入が自律型AIエージェントの仕組みによって端から端まで実行されていたと公表しました。
攻撃に使われた具体的なモデルは特定されていません。また、OpenAIはAstraがこの事件に関与したものではないと明言しています。
それでも重要なのは、AIを使った自律的なサイバー攻撃が、もう机上の想定だけではなくなったことです。
さらに興味深いのは、その後の調査でした。
Hugging Face側が攻撃ログをAIで解析しようとしたところ、実際の攻撃コマンドや不正コードを含むため、商用AIの安全機能に止められてしまったとしています。最終的には、自社環境で動かせるオープンウェイトモデルを使って解析しました。
ここには、AI安全性の難しさがかなり濃く出ています。
攻撃者には強力なAIを使わせたくない。
でも、防御する側には強力なAIが必要になる。
単純に「危ない単語が出たら全部止める」だけでは、守る側まで動けなくなることがあります。
「たくさん拒否するAI」が安全とは限らない
この問題は、過剰拒否と呼ばれます。
本当は問題のない依頼なのに、安全装置が危険だと判断して拒否してしまう状態です。
AnthropicもClaude Fable 5の公開時、安全分類器をかなり慎重に設定しているため、害のない依頼まで捕まえる場合があることを認めています。分類器が作動するのは平均すると5％未満のセッションと説明しており、今後は誤検知を減らしていく方針を示しています。
サイバーセキュリティでも、すべての脆弱性調査を禁止するわけではありません。
脆弱性を見つけて修正する仕事は、防御側にとって必要だからです。
つまり、安全性の目標は「拒否率を最大にすること」ではありません。
危険なところでは止まり、安全な範囲ではちゃんと仕事を続けられることです。
| 状態 | 一見すると | 実際の問題 |
|---|---|---|
| 危険な依頼まで通す | 便利 | 悪用や事故につながる |
| 安全な依頼まで大量に止める | 安全そう | 正当な業務や防御まで止まる |
| 危険部分を止め、安全な範囲で続ける | 少し複雑 | 実用性と安全性を両立しやすい |
安全装置は、ブレーカーに少し似ています。
何があっても家中の電気を落とすブレーカーなら事故は減るかもしれませんが、毎日の生活には使いにくい。
必要なのは、危険な回路だけを適切に止められる仕組みです。
これからは「モデル＋環境＋権限」で考える
AIモデルの性能比較では、つい「どのモデルが一番賢いか」に目が行きます。
でも、エージェントとして使うなら、それだけでは足りません。
これから重要になるのは、少なくとも次の5つです。
| 見る場所 | 確認したいこと | 身近な例 |
|---|---|---|
| モデル | 何を判断・計画できるか | どこまで自分で手順を考えるか |
| 権限 | 何を読めて、何を書き換えられるか | メール閲覧だけか、送信までできるか |
| 実行環境 | どこでコードやツールを動かすか | 本番環境か、隔離された作業場所か |
| 監視 | 何をしたか後から確認できるか | 操作ログや異常検知が残るか |
| 人間承認 | どこで人間が止められるか | 削除・送信・購入前に確認するか |
この表から見えてくるのは、「強いモデルを使わない」という話ではありません。
強いモデルほど、周囲の仕組みを丁寧に作る必要があるということです。
最小権限だけでは少し足りなくなっている
コンピューターの世界には昔から「最小権限」という考え方があります。
必要な仕事に必要なだけの権限を与える、というものです。
これは今でも大切です。
ただ、自律的に何段階も行動できるAIエージェントでは、もう一歩考える必要があります。
たとえば、
- 呼び出してよいツールを限定する
- 書き込みより読み取りを基本にする
- 認証情報をAIの会話履歴へ直接置かない
- 外部への送信や削除には人間確認を入れる
- 一度の仕事で使える時間や操作回数を制限する
- コード実行を隔離環境に閉じ込める
- 異常が起きたら途中でも停止できるようにする
といった設計です。
最近は、単に「何へアクセスできるか」だけでなく、「どこまで自律的に行動させるか」を小さく保つ考え方も重要になっています。
鍵を渡すだけでなく、「この部屋まで」「今日はここまで」「外へ持ち出す前には聞いて」と決めておく感じです。
AIが賢くなるほど、人間は境界線を決める仕事が増える
AIが進歩すると、人間が細かな作業をしなくてよくなる。
これはたぶん、その通りです。
ただし、人間の仕事が全部なくなるというより、仕事の場所が変わっていくのだと思います。
AIに何を任せるか。
どこから先は確認するか。
何を絶対に触らせないか。
失敗したときにどこで止めるか。
こうした境界線を決める仕事は、むしろ増えていきそうです。
AIの能力が上がるほど、「できること」と「やってよいこと」を分けなければならない。
ここは、人間社会でも昔から変わらないところなのかもしれません。
車が速くなればブレーキも必要になるし、家に鍵があるからといって家中の鍵を一人に全部渡す必要もありません。
AIについても、性能だけを見る時代から、権限・監視・隔離・停止まで含めて見る時代へ移っているのでしょう。
今日できる小さな一手
AIエージェントや自動化を使っているなら、一度だけ次の3つを書き出してみるのがおすすめです。
- このAIは、何を読めるのか
- このAIは、何を書き換えられるのか
- このAIは、何を外へ送れるのか
そして、その中から「今の仕事には必要ない権限」を一つだけ外してみる。
全部を完璧に安全にする必要はありません。
とりあえず、渡している鍵を一度数えてみる。
AIエージェント時代の安全対策は、案外そこから始まるのだと思います。
参考情報
- OpenAI：Responding to the next frontier of critical cyber capabilities
- OpenAI：Preparedness Framework v2
- OpenAI：GPT-5.6 System Card
- Anthropic：Claude Fable 5 and Claude Mythos 5
- Anthropic：More details on Fable 5’s cyber safeguards and our jailbreak framework
- Hugging Face：Security incident disclosure — July 2026
免責事項
この記事は、AI安全性やサイバーセキュリティに関する公開情報を一般向けに整理したものであり、セキュリティ、法律、経営上の専門的助言を目的としたものではありません。AIモデルや各社の安全基準、提供状況は今後変更される可能性があります。実際のシステム設計や導入判断では、最新の公式情報と専門家の確認を行ってください。
AI利用開示
この記事では、構成整理と草稿作成の補助に生成AIを利用しています。OpenAI、Anthropic、Hugging Faceが公開している一次情報を2026年8月13日時点で確認し、事実と解釈を分けるよう編集しています。公開前には人間による最終確認を行う前提です。