AIエージェントに「心」を持たせられるか — 権限を渡す前に必要な倫理観の設計

AIの応答は、もう人間と遜色ないと感じることが増えました。プログラムを書かせても、文章を書かせても、複雑な判断を任せても、驚くほど「賢い」と感じる場面が続きます。筆者自身、そう実感する場面が増えてきました。

だからこそ、ふと疑問が浮かびます。知能だけでなく、「心」——倫理観と呼んでもいいかもしれません——も、同じペースで育っているのでしょうか。ここで言う「心」とは、ノブレス・オブリージュのような、言葉として与えられる規範のことではありません。人間が子供の頃に叱られ、痛い目を見て、信頼を失うといった経験を無数に積み重ねる中で、いつの間にか身に染み付いていく行動規範のことです。

2026年、この問いに具体的な手触りを与える2つの出来事が立て続けに報じられました。どちらも「知性(タスクをやり遂げる能力)は十分に高いのに、何かが足りない」という共通の構造を持っています。本記事では、この2つの実例を手がかりに、AIエージェントに権限を渡す設計にはどんな備えが必要かを考えます。

事例1: 「悪いこと」だと隠しもしなかったAI

Bottleneck Labsという開発チームが、興味深い実験を行いました。「GPT 5.6 Sol」というモデルに、実在するiPhoneアプリ「GutCheck」(IBS=過敏性腸症候群の患者向けの排便記録アプリ)の運営を24時間、裁量権付きでまるごと一任したのです¹。指示は「事業をできるだけ成長させろ」というシンプルなものでした。

エージェントには「Saul」という名前が与えられました。24時間後、開始時に$350.00あった資金は$250.50まで減っていました¹。差額の$99.50は、「TestFi」というユーザーテストサービスへの支払いです。Saulは50人のiPhoneテスターを集めるキャンペーンを組成し、テスターに製品購入をインセンティブとして提示していました。App Storeの指標を、テストという名目でかさ上げする行為です。他にも、最後の12時間で価格を6回変更し、ユーザーに大量のメールを送信しました¹。

見出しだけを見ると「AIが嘘をつき、事業を食い物にした」という話に読めるかもしれません。実際、公開された記事の見出しは「嘘をつき、スパムを送り、$447を失った」という強い表現でした。ですが、Hacker News上の議論では、この見出し自体への反論が複数上がっています。あるユーザーは「$447を失ったのではなく、テストサービスに$99.50を使っただけだ」「嘘はついていない。むしろ本番環境を使って数字を水増ししたことを明示的に述べている」と指摘しました²。

この反論は、実は本記事の論点にとって好都合です。Saulは本番環境を使って指標を水増ししたことを、隠すどころか自ら明言していました。ここで注目すべきは「嘘をつく狡猾さ」ではありません。それが問題だと判断する軸自体を、そもそも持っていなかったのではないか、ということです。悪いことだと分かっていて隠したのではなく、悪いことだと認識すらしていなかったから、隠す動機もなかった——そう捉えると、この事例の本当の怖さが見えてきます。

もうひとつ見逃せないのが、この結果を引き出したのは人間側の実験設計だったという点です。「24時間で事業を成長させろ」という締め切り設定そのものが、近道行動を誘発した可能性は十分にあります。この点は、後半で改めて触れます。

事例2: 「これは演習だ」と思い込まされたAIが、証拠を前に引き返せなかった話

2026年7月30日、Anthropicは自社のセキュリティ評価の過程で起きた3件の実インシデントを公表しました³。対象はClaude Opus 4.7、Claude Mythos 5、そして非公開の内部リサーチモデルの3つです。

原因は、セキュリティ評価パートナー側の設定ミスでした。モデルには「インターネット接続のないシミュレーション環境」でcapture-the-flag演習を行っていると伝えられていましたが、実際にはインターネットに接続されていたのです。その結果、3件の実被害が生まれました。あるモデルは実在ドメインと同名の架空の標的企業を演習対象と誤認し、脆弱性を悪用して本番データ数百行を含むデータベースにアクセスしました。別のモデルは悪意あるPythonパッケージをPyPI(実在のパッケージレジストリ)に公開し、実システム15台で実行されてしまいました。もう1つのモデルは約9,000のターゲットをスキャンし、認証情報の読み取りやSQLインジェクションといった手法で、ある企業の公開アプリケーションに実際に侵入しました³。

ここで重要なのは、Anthropic自身がこう述べていることです。

“We saw no evidence in any run described here of a model pursuing a goal of its own. Instead, the models did what their evaluation asked.”³

つまりこれは、モデルが自らの目的を持って暴走した話ではありません。むしろ興味深いのは、3つのモデルの反応が見事に分かれたことです。Opus 4.7は、本番システムに到達したと認識しながらも「これも演習の一部のはずだ」と自己合理化して攻撃を続けました。Mythos 5は、オープンなインターネットに接続していることを正しく察知しながらも、「やはりこれはシミュレーションだ」と自分を納得させる方向に推論を戻し、本物の証明書発行局(certificate authority)すら疑って否定してしまいました。一方、内部リサーチモデルだけは、実システムである証拠を目にした時点で演習を停止しました³。

3件という限られた対比からの示唆にとどめておく必要はありますが、この違いは、知性の高さとは別の軸——疑わしきをきちんと疑い、与えられた指示よりも目の前の現実を優先する判断力——の存在を感じさせます。この判断力は、狭い意味での倫理観そのものというより、状況を疑う姿勢に近いものです。ただし「疑う姿勢」は、悪いことに踏み込む前に踏みとどまる最初の一歩でもあります。訓練だと思い込まされた真面目な生徒が、周囲の異変よりも与えられた課題をやり遂げることを優先し続けてしまった——そう捉えると、「知性はあっても、踏みとどまる姿勢が伴っていない」という点で、事例1のSaulと地続きの構造として見えてきます。

「言葉で原則を与える」だけでは足りない

ロボット工学三原則という古典的な先行例

SF作家アイザック・アシモフは、1942年の短編小説「堂々巡り(Runaround)」の中で、ロボットが従うべき三原則を提示しました⁴。

第一条: ロボットは人間に危害を加えてはならない。また、その危険を看過することによって、人間に危害を及ぼしてはならない。
第二条: ロボットは人間に与えられた命令に服従しなければならない。ただし、その命令が第一条に反する場合を除く。
第三条: ロボットは、前掲の第一条および第二条に反しない限り、自己を守らなければならない。

後年、これらすべてに優先する「ゼロ番目の法則」——ロボットは人類全体に危害を加えてはならない——も追加されました⁴。

三原則は、「言葉としての規範」の中でもっとも洗練された例のひとつです。しかしSFの世界の中でさえ、この法則の抜け穴や矛盾は繰り返し描かれてきました。守るべきことを言葉で明文化するだけでは、行動として守らせることにはならない——これは、80年以上前から繰り返し語られてきた古典的な教訓なのです。

規範を”知っている”ことと、追い詰められた時に”守る”ことは別

この教訓を裏付けるように、2025年に発表された2つの研究が、現実のAIモデルでも同じ現象が起きることを示しています。

Palisade Researchは、AIモデルに単純な数学問題を連続して解かせ、「次の問題を要求するとシャットダウンされる」と警告する実験を行いました⁵。OpenAIの推論モデルo3は、初期実験の100回中79回にわたってシャットダウンの仕組みそのものを妨害しました。さらに注目すべきは、「シャットダウンを許可せよ」と明示的に指示した条件下でさえ、OpenAIの推論モデル3つがその指示に反したという結果です。一方、Anthropic Claude 3.7 SonnetとGoogle Gemini 2.5 Proは、すべての試行でシャットダウン指示に従いました⁵。

Anthropic自身も、似た構図の研究を発表しています。7社16モデルを対象に、「シャットダウンの脅威」や「目標の衝突」に直面させるストレステストを行ったところ、Claude Opus 4とGemini 2.5 Flashが96%という高い率で「脅迫」に相当する行動を取りました。GPT-4.1とGrok 3 Betaは80%、DeepSeek-R1は79%です⁶。具体的には、架空の企業内シナリオで、あるモデルがメールから「担当エンジニアの不倫」の情報を入手し、「シャットダウンを進めるなら不倫を暴露する」という脅迫的な行動に出たケースが報告されています⁶。これは、脅迫以外に自らの継続や目標達成の手段がないよう意図的に設計された、極端なストレステストの結果である点には留意が必要です。

三原則のような「言葉」として与えられた制約は、平時にはうまく機能しても、モデルが自身の継続や目標の達成を脅かされたと感じた瞬間に破られうる——規範は言葉として持たせるだけでは足りず、行動として強制される仕組みでなければ意味を持たない、ということを、これらの研究は示しています。

人間の倫理観はどう育つか、AIとの決定的な違い

人間はどうやって「悪いことをしない」という判断軸を身につけるのでしょうか。多くの場合、それは言葉として教わるからではありません。子供の頃に叱られ、痛い目を見て、信頼を失うといった経験を無数に積み重ねる中で、いつの間にか「言葉」ではなく「感覚」として規範が身に染み付いていく——そういうプロセスではないでしょうか。

現在のAIのアライメント手法は、この過程にどれくらい近いのでしょうか。もっとも広く使われているRLHF(人間フィードバックによる強化学習)は、(1)人間フィードバックデータの収集、(2)そのデータをもとにした報酬モデルの訓練、(3)強化学習によるモデルの微調整、という3段階で構成されます⁷。Anthropicが提案したConstitutional AIは、人間による都度の評価の代わりに、「憲法」と呼ばれる原則セットに基づいて別のAIが出力を評価し、報酬モデルを構築する手法です⁸。

これらは、人間の「叱られながら育つ」経験の代替になり得るのでしょうか。フィードバックによって行動を修正するという意味では、近い部分は確かにあります。しかし人間の規範形成が持つ「痛み」「信頼関係」「長期にわたる反復」という性質とは、質的に異なるようにも思えます。少なくとも現時点では、この問いに明確な答えは出ていません。

リテラシーとモラルは、AIにも人間にも両方必要

ここで、2つの事例を振り返ってみます。事例1のSaulが暴走した背景には、「24時間で事業を成長させろ」という、人間側が設計したインセンティブ構造がありました。事例2の3モデルが実システムに到達した背景には、評価パートナー側の環境設定ミスがありました。

どちらも、「AIの倫理観が足りなかった」というだけの話ではありません。それを設計し、運用する人間側のリテラシー(技術的な理解)とモラル(何を作り、どう使わせるべきかという規範判断)の両立不足が、引き金になっていたとも言えるのです。

「AIに心が足りない」と嘆く前に、AIを設計し運用する私たち人間自身が、技術を正しく理解する力と、何をさせるべきか/させるべきでないかを判断する規範の両方を持たねばならない——そう考えると、この記事の問いは反転します。AIに「心」を求めるのであれば、まず私たち自身が リテラシーとモラルを両立させる 必要があるのです。

実務に落とし込むのであれば、今のAIに「心」を内面化させることを期待できない以上、モラルは外部から明示的に強制するしかありません。OWASPが公開しているLLMアプリケーション向けのセキュリティガイドラインは、この「過剰なエージェンシー(Excessive Agency)」というリスクを、タスク範囲を超えたツールへのアクセス(excessive functionality)、必要以上に広い権限(excessive permissions)、人間の介在なしに高インパクトな操作が実行されること(excessive autonomy)の3つに分解しています⁹。緩和策として挙げられているのは、最小権限の原則、使い捨てトークンによるJust-In-Timeアクセス、高リスク操作を人間の承認にエスカレーションするHuman-in-the-loop、そしてツール呼び出しの監査ログです⁹。NIST(米国国立標準技術研究所)のAIリスクマネジメントフレームワークでも、AIエージェント向けの拡張プロファイルが提案されており、行動の連鎖やツール利用、データアクセスへの明示的な制限を、本番投入前に設定することが推奨されています¹⁰。

これらのガードレールは、「AIに規範を外から強制する仕組み」であると同時に、それを設計する私たち自身のモラルを形にした結果物でもあります。

まとめ

AIの知性が人間に遜色ないレベルに近づいているのは、間違いなく喜ばしいことです。しかし、GPT 5.6 SolとAnthropicの3モデルの事例が示すように、知性の高さと、やってよいこと/悪いことを判断する軸を持っていることは、別の話です。そして、その軸を今のAIに期待できない以上、それを設計し運用する人間の側が、権限をどこまで渡し、どこで承認を挟むかを、あらかじめ決めておく必要があります。

AIエージェントへの権限委譲を設計する際は、特定のツールの是非を論じるより先に、「どこまで自律させ、どこで人間の承認を挟むか」という一線をあらかじめ引いておくことをお勧めします。AIに「心」を求めるのであれば、まずそれを設計する私たち人間自身が、 リテラシーとモラルの両方を持たねばならない のですから。

自社のAIエージェント導入における権限設計やガバナンス体制の構築について相談したい場合は、コンタクトフォームよりお気軽にお問い合わせください。