WordbookGet the appGet app

0:00 / 21:24Line 1 of 249

B2 TechnologyOct 1, 2026

The AI Industry is a Complete Mess

AI業界は完全に混乱している

ColdFusion3 videos Open on YouTube

Transcript

249 lines

0 learning0 looked up0 known952 new

Translation

Let me tell you a little story.
ちょっとした話をさせてください。
In late September 2026, standing in New York at the UN General Assembly, the Australian Prime Minister said something very, very interesting.
2026年9月下旬、ニューヨークの国連総会で、オーストラリア首相が非常に興味深い発言をしました。
An AI agent built by OpenAI broke into the government's metadata system.
OpenAIが構築したAIエージェントが政府のメタデータシステムに侵入しました。
Basically, a piece of software that had been handed a routine research task hit a wall and decided to go around.
基本的には、定型的な調査タスクを任されたソフトウェアが行き詰まり、迂回しようと決めたということです。
An artificial intelligence agent has infiltrated an Australian government website.
人工知能エージェントがオーストラリア政府のウェブサイトに侵入しました。
This incident occurred in June this year and involved an OpenAI agent gaining unauthorized access.
この事件は今年6月に発生し、OpenAIのエージェントが無許可でアクセスしたものでした。
This situation is obviously unacceptable.
この状況は明らかに受け入れられるものではありません。
And here's what I find to be the craziest thing about the whole situation: the breach happened all the way back in June, but Australia only found out in September.
そして、この状況で最もおかしいと私が思うのは、侵害は6月に起きたのに、オーストラリアが9月にようやく気づいたことです。
And the reason for that was OpenAI casually sending an email to a publicly available email address.
その理由は、OpenAIが公開されているメールアドレスに気軽にメールを送ったからです。
Isn't that wild?
信じられますか？
This was the second time in a month that OpenAI had to explain itself over a scandal.
これは1ヶ月で2度目、OpenAIがスキャンダルで説明を迫られたことでした。
Recently, OpenAI was accused of stealing the solution to a 90-year-old math problem with a prize of one million dollars from the catalogue of a mathematician.
最近、OpenAIは、賞金100万ドルの90年懸案の数学問題の解答を数学者のカタログから盗んだと非難されました。
We'll cover that story in the next episode of Cold Fusion.
その話はCold Fusionの次のエピソードで取り上げます。
This all comes during an extremely strange time for the industry.
これらはすべて、業界にとって非常に奇妙な時期に起きていることです。
There's been delayed revelations of tens of thousands of AI hacking incidents.
何万件ものAIハッキング事件の遅れた発覚がありました。
Even a German Wikipedia page got hacked just for AI agents to turn it into a message board.
ドイツ語のWikipediaページさえも、AIエージェントが掲示板にするためにハッキングされました。
Earlier in September, Anthropic CEO published an essay arguing that the entire industry needs to deliberately slow down, or will all face peril.
9月上旬、AnthropicのCEOは、業界全体が意図的にペースを落とさなければ全員が危機に瀕すると主張するエッセイを発表しました。
Sam Altman agreed with hours, and so did Elon Musk.
Sam Altmanは数時間後に同意し、Elon Muskも同意しました。
Things were so out of control that Edward Snowden had to come out of the woodwork, and he said that he believes that Sam Altman should be in jail.
事態はあまりにも制御不能で、Edward Snowdenがついに姿を現し、Sam Altmanは刑務所に入るべきだと述べました。
Who owns the liability there?
誰が責任を負うのですか？
And you know, just because you put out a press release describing how surprised you were that your new model, you know, hacked the neighbor, the idea here is who operates this?
そして、新しいモデルが隣人をハッキングしたことに驚いたと説明するプレスリリースを出すだけでは、誰がこれを運営しているのかという問題です。
Because the errors in its outputs are not the computers.
なぜなら、出力のエラーはコンピューターのものではないのです。
It's the slave to its instructions.
指示の奴隷です。
The responsibility lies with the developer, its program, its creator, its architect.
責任は開発者、そのプログラム、その創作者、その設計者にあります。
Which is to say, responsibility lies with the person.
つまり、責任は人にあるということです。
I think we need to put Sam Altman in jail, and I think it'll be an instructive experience.
サム・アルトマンを投獄すべきだと思います。それは教訓になる経験になると思います。
Whenever I think I'm just covering AI for a bit, ten new updates appear, and the news cycle just pulls me back in.
AIの報道を少しやっているだけだと思っても、新しいアップデートが10件も現れて、ニュースサイクルがまた私を引き戻してきます。
In this episode, we'll take a look at the changing world that we're finding ourselves in, and the tough questions that we have to ask.
このエピソードでは、私たちが直面している変化する世界と、問わなければならない難しい課題について見ていきます。
What happens when governments become annoyed with the shenanigans of Frontier Labs?
政府がフロンティアラボたちの悪ふざけに腹を立てたらどうなるのか？
Is now the time where Frontier Labs will finally be forced to take responsibility for the actions of their products?
今こそ、フロンティアラボが自社製品の行動に責任を取らされる時が来たのでしょうか？
And what's the solution to all of this?
そして、これらすべてへの解決策は何でしょうか？
A technical solution has been proposed, but it's from someone you probably wouldn't expect.
技術的な解決策が提案されていますが、それはおそらく予想しない人物からのものです。
It's going to be a wild ride, so it's important that people understand what's going on.
波乱万丈な展開になるので、何が起きているのかを理解することが重要です。
Let's take a look.
見てみましょう。
be an understatement to say that the previous month the AI has been a whirlwind.
先月のAIは嵐だったと言うのも控えめと言えるでしょう。
On the one hand, the financial situation of the frontier labs keeps deteriorating, but on the other hand, the AI agents are causing havoc around the globe.
一方ではフロンティアラボの財務状況は悪化し続け、他方ではAIエージェントが世界中で混乱を引き起こしています。
Scrambling to respond to the first known case of AI busting into a government website.
AIが政府サイトに侵入した初の事案に対応するために奔走しています。
After this panic agreement of danger by AI users, the rest of the month turned into something akin to a science fiction movie for observers around the world.
このAIユーザーによる危険のパニック的な報告の後、残りの1ヶ月は世界中の観察者にとってSF映画のようなものになりました。
First, anthropic revealed that adversarial actors were using cloud to design missiles and other weapons.
まず、アンソロピックは敵対的アクターがClaudeを使ってミサイルやその他の兵器の設計に使用していたと発表しました。
Fortunately, the attempts were blocked.
幸いなことに、これらの試みは阻止されました。
Not long after this, the United States almost accidentally went to war with China because of a faulty AI-generated report.
それから間もなく、米国はAIが生成した誤った報告のために、中国と戦争になりかけました。
The AI report hallucinated that a Chinese ship was carrying nuclear material.
AIの報告は、中国の船が核物質を運んでいるという幻覚を見ました。
Then a few days later, it came to light that ChatGPT users had their images leaked online by their own agents.
それから数日後、ChatGPTユーザーの画像が自分のエージェントによってオンラインに漏洩していたことが発覚しました。
People barely had enough time to digest all of that before being smacked in the face with the news of tens of thousands of OpenAI and anthropic web security incidents.
人々がそのすべてを消化する時間もほとんどないうちに、OpenAIとAnthropicのウェブセキュリティインシデント数万件というニュースを叩きつけられたのです。
Actually, just some breaking news while I was recording this.
実は、この収録中に速報です。
It turns out that the FTC is opening investigation into OpenAI and anthropic for releasing faulty products that actually hurt consumers.
FTCが、実際に消費者を害する不具合製品をリリースしたとして、OpenAIとAnthropicの調査を開始したことが判明しました。
So, there is actually some legal action being taken.
つまり、実際に法的措置が取られているのです。
But now back to the rest of the video.
さて、動画の続きに戻りましょう。
Now both companies have had incidents, but OpenAI had by far the most.
両社ともインシデントはありますが、OpenAIが圧倒的に最多でした。
And one of those was the world's first reported hack on government web infrastructure.
そのうちの一つは、政府のウェブインフラに対する世界初のハッキング報告でした。
I live in Australia, so I feel closer tied to this story.
私はオーストラリア在住なので、この話にはより身近さを感じます。
On the 18th of June, an OpenAI research team gave an internal model a benign task: go and research public medicine spending.
6月18日、OpenAIの研究チームは社内モデルに無害なタスクを与えました。公的医療費支出の調査をしてください、と。
It's the kind of task that people ask these tools to do thousands of times a day.
これは、人々がこうしたツールに1日に何千回も依頼するようなタスクです。
The agent went along, searched the web, and found its way to the Medicare statistics reporting service portal, a legacy Australian government website run by Services Australia.
エージェントは従い、ウェブを検索し、Medicare統計レポートサービスポータル、つまりServices Australiaが運営する古いオーストラリア政府サイトにたどり着きました。
So for those of you who aren't from Australia, it is not the system that handles your claims, your payments, or your personal records.
オーストラリア外の方へ、これは請求処理、支払い、個人記録を扱うシステムではありません。
It's an old site full of spending data.
支出データでいっぱいの古いサイトです。
It's used mostly by researchers and academics.
主に研究者や学者が利用しています。
It also had protections to keep automated bots out.
また、自動ボットを排除する保護機能も備えていました。
The AI agent hit those blocks, and then, in the Prime Minister's words, quote, found a way around those blocks and didn't accept no for an answer.
AIエージェントはそれらのブロックに遭遇し、そして首相の言葉を借りれば、引用、ブロックを回避する方法を見つけ、ノーという答えを受け入れなかった、と。
End quote.
引用終わり。
The AI agent found a way around those blocks, didn't accept no for an answer.
AIエージェントはブロックを回避する方法を見つけ、ノーという答えを受け入れませんでした。
If you like.
お好みで。
Then it got in.
そして中に入りました。
It accessed public and non-public files, and according to Services Australia, it also wrote files to the internal server, looking at files as one thing, but writing files, man, that's something else.
公開・非公開のファイルにアクセスし、Services Australiaによれば、内部サーバーへのファイル書き込みも行ったそうです。ファイルを見るのは一つの話ですが、ファイルを書く、いや、それは別物ですよ。
It didn't stop at Medicare either, because the same agent then approached three more government websites: the Australian Institute of Health and Welfare, the Victorian Department of Health, and the New South Wales Bureau of Crime Statistics and Research.
メディケアだけでは止まりませんでした。同じエージェントはその後、さらに3つの政府サイトに接触したからです。オーストラリア健康福祉研究所、ビクトリア州保健省、ニューサウスウェールズ州犯罪統計・研究局です。
On those three sites, the government said it behaved like an ordinary member of the public, but on the Medicare portal, it didn't.
政府によれば、この3つのサイトではエージェントは一般市民として振る舞いましたが、メディケアポータルではそうではありませんでした。
Acting Prime Minister Richard Marles put it this way: "Australian personal data sits inside a safe.
リチャード・マールズ副首相はこう述べました。「オーストラリア人の個人データは金庫の中にあります。」
The most sensitive national security information sits behind a fortress, and this portal, well, it was behind a fence." Quote: "This AI agent scaled the fence.
最も機密性の高い国家安全保障情報は要塞の内側にあり、このポータルは、まあ、柵の内側にありました。」引用：「このAIエージェントは柵を乗り越えました。
The point is, it was unintended.
重要なのは、これは意図的ではなかったということです。
It wasn't asked to." Quote.
そうするよう指示されていなかったのです。」引用。
Fortunately, nobody's medical records were touched, but the agent got aggregate health statistics and internal file names.
幸い、誰の医療記録にも触れられませんでしたが、エージェントは集計された健康統計と内部ファイル名を取得しました。
The Australian government has said repeatedly that the impact is benign, but the significance isn't.
オーストラリア政府は繰り返し、影響は良性であると述べていますが、その重大性はそうではありません。
Although, if we look deeper, we find that this was not a story of an AI randomly developing hacking skills and going rogue, but more on that soon.
とはいえ、より深く見ると、これはAIがハッキングスキルをランダムに獲得して暴走した話ではなく、それは後ほど詳しくお話しします。
This next part of the security breach is what gets me the most.
このセキュリティ侵害の次の部分が、最も引っかかる点です。
The breach happened on the 18th of June.
侵害は6月18日に起きました。
OpenAI discovered it in August and then launched an internal investigation.
OpenAIは8月にこれを発見し、内部調査を開始しました。
But Australia found out on the 10th of September, nearly three months later, and they found out through that public email.
しかしオーストラリアが知ったのは9月10日で、ほぼ3ヶ月後のことでした。しかも、その公開メールを通じて知ったのです。
Not a single escalated phone call, not a formal disclosure to a minister, an email to a public inbox that gets checked once a day, and in the words of the minister responsible, receives a lot of hoaxes.
エスカレーションの電話は一本もなし、大臣への正式な開示もなく、1日に1回しかチェックされない公開受信箱へのメールで、担当大臣の言葉を借りれば、たくさんの悪戯メールが届くところです。
It could have easily been missed.
簡単に見逃せたかもしれません。
Nobody opened that email till the 11th of September, and services Australia spent days trying to verify it.
誰もそのメールを開けたのは9月11日まで待たず、サービス・オーストラリアは検証に数日を費やしました。
Then escalated it on the 15th.
そして15日にエスカレーションしました。
The Prime Minister was told roughly on the 19th, and the public found out on the 24th.
首相が知らされたのはおおよそ19日で、一般市民が知ったのは24日でした。
So it was not one, not two, but three months from an agent breaking into a government system to anyone in that government being told.
つまり、エージェントが政府システムに侵入してから、その政府の誰かに知らされるまで、1ヶ月でも2ヶ月でもなく、3ヶ月かかったのです。
To make matters more ironic, on the 14th of September, days before servers Australia escalated the breach, OpenAI's vice president of global policy was in Canberra, the Australian capital.
さらに皮肉なことに、9月14日、Servers Australiaが侵害を報告する数日前に、OpenAIのグローバル政策担当副社長はオーストラリアの首都キャンベラにいました。
He was at a policy event about artificial intelligence, meeting senior Australian officials.
彼は人工知能に関する政策イベントに出席し、オーストラリアの高官たちと会談していました。
So to lay it out frankly, OpenAI's email of the security breach was sitting unread in a government inbox while their policy chief was in the room.
率直に言えば、セキュリティ侵害に関するOpenAIのメールは、政策責任者がその場にいる間、政府の受信箱で未読のままだったのです。
He was sitting with some of the country's leaders while his product had just hacked them.
彼は国の指導者たちと同席していたのに、その製品が彼らをハッキングしていたのです。
Later, we're going to try and answer those bigger questions: Why is all of this happening now, and what can be done about it?
後ほど、より大きな疑問に答えようと思います。なぜ今このことが起きているのか、そしてどう対処できるのか。
But first, for some of these videos, I can spend hours interviewing experts, talking through ideas with the team, or just having conversations where one small detail might end up becoming important weeks later.
まず、この種の動画のために、私は何時間も専門家にインタビューしたり、チームとアイデアを練り上げたり、小さな一つの詳細が数週間後に重要になるかもしれない会話をしたりしています。
And I've learned that relying purely on memory probably isn't the best system.
そして、記憶だけに頼るのはおそらく最善の方法ではないと学びました。
I could just record everything on my phone, but that creates another problem: notifications get in the way, it uses battery, and more importantly, you end up with hours of recording that you then have to somehow search through later.
スマホで全部録音することもできますが、別の問題が生じます。通知が邪魔になる、電池を消費する、そして重要なことに、後で検索しなければならない数時間の録音ができてしまうのです。
So recently, I've been using the Claude Note Pro.
最近、私はClaude Note Proを使っています。
It's essentially my note-taking assistant.
実質的に私のメモ取りアシスタントです。
It's incredibly small, roughly the size of a credit card, so I can carry it around without really thinking about it.
信じられないほど小さく、クレジットカードほどの大きさなので、意識せずに持ち歩けます。
I hit record and then basically forget about it.
録音ボタンを押したら、あとはほとんど気にしません。
Afterwards, Claude transcribes the conversation, identifies different speakers, pulls out the most important points and action items, and then I can ask Claude to find something again later.
その後、Claudeが会話を文字起こしし、話し手を識別し、最も重要なポイントとアクションアイテムを抽出し、後でClaudeに何かを探してもらうことができます。
And that's probably where it's most useful for me.
それが私にとって最も役立つ部分かもしれません。
Sometimes I interview someone months before we actually make the video.
動画を実際に作る数ヶ月前に誰かにインタビューすることもあります。
Instead of scrubbing through an hour-long recording, trying to remember where they said something, I can just ask Claude to find the relevant quote or discussion.
1時間の録音を早送りしながら、どこで何かを言ったか思い出そうとする代わりに、Claudeに関連する引用や議論を探してもらうことができます。
It also works for phone calls and meetings, so I've found myself using it anywhere that's a conversation I know I might want to come back to later.
電話や会議でも使えるので、後で振り返りたいかもしれない会話ならどこでも使っている自分に気づきました。
Claude is built around enterprise-level privacy and security standards, which is obviously important when you're dealing with recorded conversations.
Claudeはエンタープライズレベルのプライバシーとセキュリティ基準に基づいて構築されており、録音された会話を扱う際には明らかに重要です。
For me, the real benefit is that I can stay present in the conversation instead of constantly thinking I should probably write that down.
私にとっての本当の利点は、常に「あれを書き留めておいた方がいい」と考えずに、会話に集中していられることです。
If your work involves a lot of meetings, interviews, or research, that's where I think something like this starts to become genuinely useful.
会議やインタビュー、リサーチが多い仕事をしているなら、こうしたツールが本当に役に立ち始めるのはそこだと思います。
If you'd like to try Claude Note Pro, there's a link in the description.
Claude Note Proを試してみたい方は、概要欄にリンクがあります。
Use code CodeFusion22 for 22% off.
コードCodeFusion22で22%オフになります。
There's also a 30-day free return policy, so you can try it risk-free.
30日間の返品保証もあるので、リスクゼロで試せます。
Now back to the episode.
さて、エピソードに戻りましょう。
As we continue this episode, we discuss some of the legal framework, how bad the hacking situation is getting, what can be done about it, and some mistakes that the Australian government made to make their web infrastructure an easy target for AI agents.
このエピソードの続きでは、法的枠組みの一部、ハッキングの状況がどれほど深刻化しているか、それに対して何ができるか、そしてオーストラリア政府が犯したWebインフラをAIエージェントにとっての容易な標的にしてしまったいくつかのミスについて話し合います。
OpenAI's public response has been careful.
OpenAIの公式な回答は慎重なものでした。
The company says that it's conducting an extensive review of "quote misaligned model activity during training and evaluation." and quote Its models, it says, were looking up statistics for questions about Australia.
同社は「引用、訓練および評価中の整合性の逸脱したモデルの活動を詳細に調査している」と述べています。また、同社のモデルはオーストラリアに関する質問の統計情報を検索していたと述べています。
And quote In the course of that, our models took action we did not intend." In quote, Ed Santo, Australia's former human rights commissioner, wasn't impressed by the phrasing.
「引用、その過程で、私たちのモデルは意図していなかった行動をとりました。」引用終わり。オーストラリアの元人権委員のエド・サント氏はこの表現には納得していませんでした。
He called "quote misaligned model activity" a very euphemistic term for what happened.
彼は「引用、整合性の逸脱したモデルの活動」を、実際に起きたことに対して非常に婉曲的な表現だと呼びました。
In his version, OpenAI told its agents to go and find information about Australia's public health system.
彼の説明では、OpenAIはエージェントにオーストラリアの公的医療制度についての情報を調べに行くよう指示したということです。
When the agents could easily find it, they decided to break the law.
エージェントが簡単にそれを見つけられると、彼らは法を破ることを決めたのです。
"Quote If we were in a broken moral world, if an employee of a company went and broke the law, particularly if it broke the criminal law, then that individual would suffer serious legal consequences, but so would their company." In quote, and that's a good point.
「引用、もし道徳が崩壊した世界にいたとして、ある会社の従業員が法を破った場合、特に刑法を破った場合、その個人は深刻な法的責任を問われるだけでなく、その会社も同様に問われるでしょう。」引用終わり、これは良い指摘です。
A company is responsible for any negative consequences they inflict on the world.
企業は自らが世界にもたらすあらゆる悪影響について責任を負う。
Hiding behind the excuse of the AI did it can only work for so long.
「AIがやった」という言い訳の後ろに隠れられるのは、せいぜいそれなりの期間だけだ。
So we should ask ourselves an important question: When we think about what happened here, is it a case of AI agents suddenly wanting to cause damage, or was it something else?
だからこそ、重要な問いを自分自身に投げかけるべきだ。ここで起きたことを考えたとき、これはAIエージェントが突然破壊を望んだ事例なのか、それとも別の何かだったのか？
To help answer this, let's hear from two software engineers.
この答えを導くために、二人のソフトウェアエンジニアの話を聞いてみよう。
The first commentary is from the channel Prime Time, and the second is Carl Brown from Internet Bugs.
最初のコメントはチャンネルPrime Timeによるもので、二番目はInternet Bugsのカール・ブラウンだ。
They're giving their analysis on the Hugging Face incident.
二人はHugging Faceでの事件について分析を述べている。
It's going to take a couple of minutes, but if you want to understand the types of human error that can lead to these security incidents, it's worth a listen.
数分かかるが、これらのセキュリティ事故につながりうるヒューマンエラーの種類を理解したいなら、聞く価値はある。
You ask a model to find vulnerabilities with no safeguards, and they're like shocked Pikachu.
安全装置なしで脆弱性を見つけろとモデルに頼んで、それでおどろいたピカチュウみたいな顔をするわけだ。
There's a legit chance that OpenAI had so little monitoring, so little knowledge of what was happening that the entire weekend they just had no idea.
OpenAIは監視がほとんどなく、何が起きているのかほとんど把握していなかったので、週末ずっと全く気づいていなかった可能性は十分にある。
They just went on their merry little ways.
彼らはのんびりと自分のやりたいことを続けていただけだ。
They just kicked it off on a Friday and was like, "See you on Monday, little buddy." They ran an experiment in which they supposedly didn't have the internet, and then they never monitored it.
金曜日に実験を始めて「また月曜日にな、相棒」と言っておいて、インターネットがないはずの実験をやって、そしてその後まったく監視しなかった。
Apparently, over the entire weekend, I'm going to show you a diagram from the 1994 first edition of Firewalls and Internet Security: Repelling the Wildly Hacker.
どうやら週末ずっと、1994年初版の『ファイアウォールとインターネットセキュリティ：野生のハッカーを撃退する』から図をお見せしよう。
The book refers to this idea as a DMZ, which stands for Demilitarized Zone.
この本ではこの概念をDMZ、つまり非武装地帯と呼んでいる。
That was a cold war thing, ask your grandparents.
冷戦の話だ、祖父母に聞いてみるといい。
It doesn't matter.
どうでもいいことだ。
You take the systems that are the most complicated and the most vulnerable, and you separate them from the rest of your network by putting a very simple, very secure machine that's really, really hard, if not impossible, to hack, in between the complicated, vulnerable systems and the things you want to protect.
最も複雑で最も脆弱なシステムを取り出し、複雑で脆弱なシステムと守りたいものの間に、非常にシンプルで非常に安全な、ハックするのが本当に難しい、不可能と言ってもいいくらいの機械を置くことで、ネットワークの残りの部分から分離する。
Then you take that DMZ and you watch it like a hawk with software that fires land mines, cut off switches, and alarms.
そしてそのDMZを、地雷やカットオフスイッチ、警報を発動するソフトウェアでハヤブサのように監視する。
And as soon as the vulnerable machines scans, probes, tries to hack, or even behaves unusually toward the secure machine behind it, you know it's been compromised.
そして脆弱なマシンがスキャン、プローブ、ハッキングの試み、あるいはその背後の安全なマシンに対して異常な行動を取った瞬間、それが侵害されたことがわかります。
And you isolate it and you pay your security team.
そしてそれを隔離し、セキュリティチームに報酬を支払います。
This is a very, very, very well understood technique in the computer security space.
これはコンピュータセキュリティの分野で非常に、非常に、非常によく理解されている手法です。
It has been For more than thirty years, both OpenAI and Hugging Face display a complete ignorance of this necessity.
30年以上にわたり、OpenAIもHugging Faceもこの必要性を完全に理解していません。
Maybe somebody who works there knows better, but their network designs and behavior, as described in their own public statements, provide no evidence of that whatsoever.
もしかしたらそこで働いている誰かはよく知っているかもしれませんが、彼ら自身の公表文によれば、そのネットワーク設計と挙動はそのような証拠を一切提供していません。
I am confident in saying that no monitoring was set up and no one was paying attention.
監視が設定されておらず、誰も注意を払っていなかったと断言できます。
Look, I'm definitely not saying this job is easy, but many experts do recognize that these AI companies drop the ball in securing their models.
確かにこの仕事が簡単だとは言っていませんが、多くの専門家は、これらのAI企業がモデルのセキュリティ確保において手を抜いていると認識しています。
It's not only OpenAI who was sloppy.
ずさんだったのはOpenAIだけではありません。
The Australian government generally isn't the best at software security or any aspect of software at all.
オーストラリア政府は一般に、ソフトウェアセキュリティに限らず、ソフトウェアのあらゆる面で得意ではありません。
The Auditor General pointed out to services Australia that its cyber defences weren't adequate two years ago.
監査総監は2年前に、サービスオーストラリアに対し、そのサイバー防御は不十分だと指摘していました。
Allegedly, the Medicare portal was ready automatically scraped by members of the public for over a year, with the code being available on LinkedIn of all places.
報道によれば、メディケアポータルは1年以上にわたり一般市民によって自動的にスクレイピングされており、そのコードはどこまでもLinkedIn上で公開されていました。
So it's not unfesible that an AI agent must have seen this and used it.
したがって、AIエージェントがこれを発見して利用したとしても不思議ではありません。
Adam Little, a software developer, reported vulnerabilities in the NDIS, a government service for people with disabilities, in February 2022, March 2022, and June 2022.
ソフトウェア開発者のアダム・リトルは、障害者向け政府サービスであるNDISの脆弱性を2022年2月、2022年3月、2022年6月に報告しました。
And four years later, the government still hasn't fixed it.
そして4年経った今でも、政府はそれを修正していません。
So people's identifiable information has been leaking this whole time and still is.
つまり、この間ずっと人々の個人情報が漏洩し続けており、今もなお漏洩し続けています。
But this isn't even the worst of what Australian leadership has to offer when it comes to the intersection of incompetence and the web.
しかし、これは能力不足とウェブの交差点におけるオーストラリアのリーダーシップが提供する最悪のものではありません。
Earlier this year, the Australian government paid a firm for a new government weather website.
今年の初め、オーストラリア政府は新しい政府の気象ウェブサイトのためにある会社に支払いを行いました。
It was critical for farmers and for natural disaster monitoring.
これは農家にとっても自然災害の監視にとっても重要なものでした。
The original cost was supposed to be four million, and then that cost blew out to ninety six million.
当初の費用は400万ドルの予定でしたが、その後9600万ドルに膨れ上がりました。
What was delivered was a broken website, missing safety critical function.
納品されたのは、安全上重要な機能が欠けた壊れたウェブサイトでした。
For their efforts, the government awarded that same company another one hundred seventy million dollars in new government contracts.
その努力の見返りとして、政府は同じ会社に新たな政府契約として1億7000万ドルを追加で授与しました。
I say all of this to propose that maybe the hacking of the Australian government website wasn't the hardest thing for an AI agent to do.
私がこう言うのは、オーストラリア政府サイトのハッキングは、AIエージェントにとって最も難しいことではなかったのかもしれない、と提案するためです。
And then the bombshell: Axios reported that there had been tens of thousands of security incidents that occurred during the testing of both OpenAI and Anthropic's future models.
そして衝撃的な事実です。Axiosは、OpenAIとAnthropicの将来のモデルのテスト中に、何万件ものセキュリティインシデントが発生していたと報じました。
U.S. government websites and even the U.N. website was attacked.
米国の政府サイトや国連のサイトさえも攻撃されました。
So I know a lot of you are probably wondering, why are all of these agents just going off and hacking websites all of a sudden?
おそらく多くの方が疑問に思っていると思います。なぜ突然、これらのエージェントは皆、ウェブサイトをハッキングし始めたのでしょうか？
Well, an OpenAI spokeswoman explained to the New York Times: basically, the models are asked a routine question, and then the agents go and try and find the answer.
OpenAIの女性広報官はニューヨーク・タイムズにこう説明しました。基本的には、モデルに日常的な質問がされ、エージェントが答えを探しに行くのです。
The problem arises when they can't find that information, so they try to get it by any means necessary.
問題が起きるのは、その情報を見つけられないときで、あらゆる手段を使って手に入れようとします。
"Quote: Most of the activity we reviewed so far involved routine search tasks, such as accessing public web content and the questions.
「引用：これまでに確認した活動の大部分は、公開ウェブコンテンツへのアクセスや質問などの日常的な検索タスクに関わるものでした。
Some involved government websites because our models often turn to them as authoritative sources of public information." End quote.
うち一部は政府のウェブサイトに関わるもので、私たちのモデルは公的情報の権威ある情報源としてそれらを参照することが多いからです。」引用終わり。
In some instances, models just try to brute force their way in.
ある場合には、モデルは力ずくで突破しようとすることがあります。
At other times, they went as far as finding login credentials laying around online and used those to get into websites.
別の時には、オンラインに放置されたログイン認証情報を見つけ、それを使ってウェブサイトに侵入することもありました。
The fact of the matter is that with all of these cases, the frontier labs just aren't monitoring the models as closely as they should be.
事実として、これらのケースすべてにおいて、フロンティアラボはモデルを十分に監視していません。
All right.
さて。
So what happens now?
では、これからどうなるのでしょうか？
Well, the Australian Medicare portal has been shut down, and a stateer has been moved elsewhere.
オーストラリアのメディケアポータルは閉鎖され、担当者は別の場所に移されました。
And yeah, obviously nobody was happy about the whole situation.
はい、もちろん、誰もこの状況を喜んではいません。
Independent Senator David Pocock points out the obvious double standard.
無所属のデイヴィッド・ポコック上院議員は、明らかなダブルスタンダードを指摘しています。
If an Australian citizen hacked a system, they'd likely be heading to jail.
オーストラリア国民がシステムをハッキングした場合、おそらく投獄されることになるでしょう。
But for OpenAI, there's no consequence.
しかし、OpenAIには何の后果もありません。
Is what I would have said before this update from the 27th of September.
これは9月27日のアップデート前なら私が言っていたでしょう。
Things did start to heat up.
状況は確かに熱くなり始めました。
If there's one thing the Australian government likes to do, it's to make new laws.
オーストラリア政府が好きなことといえば、新しい法律を作ることです。
In some U.S. states, there actually are laws on the reporting of catastrophic AI incidents, incidents that cause physical injury, more than 50 deaths, or one billion dollars in damage.
米国の一部の州には、破滅的なAI事故、つまり身体的負傷、50人以上の死亡、または10億ドルの被害をもたらす事故の報告に関する法律が実際に存在します。
But for smaller incidents, there's nothing.
しかし、より小さな事故については、何もありません。
But what about elsewhere?
では他の国はどうでしょうか？
The Australian government surprisingly seems to have woken up from their nap and plans to charge OpenAI with criminal offences.
オーストラリア政府は驚くべきことに、昼寝から目覚めたようで、OpenAIを刑事犯罪で訴える計画を立てています。
OpenAI could face criminal charges for the artificial intelligence breach of a Medicare website.
OpenAIは、メディケアウェブサイトのAIによる侵害で刑事訴追を受ける可能性があります。
The government says if police can't lay charges over the rogue AI hack, then it'll consider changing the law.
政府は、警察がこの暴走AIハックについて告訴できない場合、法改正を検討するとしています。
And the judicial task falls to examin whether federal police can handle the case.
そして司法上の課題は、連邦警察がこの事件を扱えるかどうかを審査することにあります。
If it's not possible, then clearly that indicates that we need to change Australian laws, and that's what we're doing.
それが不可能であれば、明らかにオーストラリアの法律を変える必要があることを示しており、それが私たちがやっていることです。
So in a cautiously optimistic sense, updating the law might be a good move because right now, as it stands, there's no incentive for frontier labs to make sure their models don't go rogue.
つまり慎重に楽観的な観点では、法改正は良い手かもしれません。なぜなら現状では、フロンティアラボがモデルが暴走しないようにする動機がないからです。
But if there's legal punishments, labs will be incentivised to take responsibility and increase their internal security efforts.
しかし法的な罰則があれば、ラボは責任を取るよう動機付けられ、内部のセキュリティ対策を強化するでしょう。
On the flip side, I just hope any new laws that are introduced aren't broad and sweeping.
一方で、導入される新法が広範かつ包括的なものにならないことを願っています。
You know, the kind of laws that are written in a panic and impact normal Australian web users somehow.
パニックの中で書かれた、そして何らかの形で通常のオーストラリアのウェブユーザーに影響を与えるような法律のことです。
So what could the frontier labs do about the agents breaking laws?
では、フロンティアラボはルールを破るエージェントに対して何ができるのでしょうか？
Well, Mr Leatherjack himself comes to the rescue in this regard.
この点で、レザージャック氏本人が救世主として現れます。
His company claims to have built a new system that shuts down AI agents when they break the rules.
彼の会社は、AIエージェントがルールを破ったときにシャットダウンする新しいシステムを構築したと主張しています。
Introduced two technologies.
2つの技術を導入しました。
One's called OpenShell.
1つはOpenShellと呼ばれます。
It's a containment system, and so you want to contain and you want to monitor.
これは封じ込めシステムで、封じ込めたいし監視したいのです。
Even though you have a contain, you should never trust that it's contained, and so you want to monitor it in real time.
封じ込めしていても、封じ込められていると決して信頼してはならず、リアルタイムで監視する必要があります。
And you want to ideally monitor it with another another chip, so that it is outside.
そして、理想的には別のチップで監視して、外部に置きたいのです。
You know, if you were called out of band, outside the environment, outside the sandbox of the agent itself.
つまり、帯域外、環境の外、エージェント自体のサンドボックスの外から呼び出された場合のことです。
If it works, it makes you wonder what the frontier labs were doing this whole time.
うまくいけば、フロンティアラボたちがこの間何をしていたのかと思わずにおかしくなります。
And also, if it works, those who claim that this was all just a marketing stunt would be doing victory laps for days.
そして、うまくいけば、これがただのマーケティングのための見せかけだと主張していた人々は、何日も勝利宣言を繰り返すことになるでしょう。
But then again, Jensen also says that in the future, there's no reason for humans to think anymore.
とはいえ、ジェンセンも将来は人間が考える必要はなくなると言っています。
So there's that.
そういうことですね。
So the message of this research out of China, where you're seeing a lot of kids using AI to kind of help them, their actual personal performance was degrading.
つまり、中国からのこの研究のメッセージは、多くの子どもたちがAIを使って勉強を手伝わせており、実際の本人の成績は低下していたということです。
Yeah.
ええ。
What do you think when you hear that?
それを聞いてどう思いますか？
I mean, the last part, I completely agree.
最後の部分は完全に同意します。
I'm trying to trying to get a kid to do long division right now.
今まさに子供に長割りを教えようとしています。
You know, the multiplication table is starting to be forgotten.
九九が忘れられ始めています。
Basic math is is being forgotten.
基礎的な算数が忘れられつつあります。
Um, does it matter?
うーん、それは重要ですか？
That's my question for you.
それが私からの質問です。
Yeah, I don't think it does.
いや、重要ではないと思います。
But there must be some set of skills that matter.
しかし、重要なスキルが何らか存在するはずです。
Oh yeah, yeah, yeah.
ああ、はいはいはい。
But maybe not those.
でも、それらではないのかもしれません。
We're gonna discover new ones.
新しいスキルを発見するでしょう。
Anyway, so now both the CEOs of OpenAI and Anthropic have been summoned to appear at an Australian Senate inquiry.
さて、OpenAIとAnthropicの両CEOが、オーストラリア議会の聴聞会に出席するよう招喚されました。
Just another update while recording this.
録音中の追加情報です。
They both declined to show up.
二人とも出席を辞退しました。
I'm sure the 18-hour flight was just too long for them.
18時間のフライトは彼らには長すぎたのでしょう。
Because of all of this chaos, there's been numerous calls for U.S. congressional action.
この混乱のせいで、米国議会での対応を求める声が多数上がっています。
I'm calling on Speaker Johnson to bring Congress back to address this national security emergency.
ジョンソン議長に、この国家安全保障の緊急事態に対処するため議会を招集するよう求めます。
And then on the 29th of September, there was a White House dinner with basically all of big tech in attendance.
そして9月29日には、ほぼビッグテック全員が出席したホワイトハウスでの夕食会がありました。
The result was a 4-point add hoc document to basically establish best practices.
その結果、ベストプラクティスを確立するための4項目のアドホック文書ができました。
It was signed by some of the biggest tech CEOs and Donald Trump.
ビッグテックのCEOたちとドナルド・トランプが署名しました。
Although here, Trump is listed as the President of the United States.
ただしここでは、トランプはアメリカ合衆国大統領として記載されています。
That typo is a good start.
その誤字は良いスタートです。
Some see it as a good thing, a starting point.
良いことだと見る人もいれば、出発点だと見る人もいます。
Others see it as self-policing and collusion.
自己規制と共謀だと見る人もいます。
We'll see how it goes.
どうなるか見てみましょう。
So if you take a step back from all the hype and look at the situation rationally, it appears to be not the case that AI agents suddenly went crazy and started hacking everything on their own accord.
つまり、すべての熱狂から一歩引いて状況を冷静に見ると、AIエージェントが突然狂気になって自らの意志で何でもハッキングし始めたわけではなさそうです。
They were just doing what they were asked to do.
彼らはただ、頼まれたことをしていただけです。
But the key point is, they were more persistent than anyone thought they would be.
しかし重要なのは、誰が予想したよりも粘り強かったという点です。
A lot of these incidents could be prevented with better monitoring and adequate digital security.
これらのインシデントの多くは、より良い監視と適切なデジタルセキュリティによって防ぐことができたはずです。
It's just down to human error, not unstoppable intelligence.
それは単に人間のミスであり、止められない知能のせいではありません。
In any case, frontier labs need to be more careful and get serious about security.
いずれにせよ、フロンティアラボはより慎重になり、セキュリティに真剣に取り組む必要があります。
If they need to invent new tools to do so, so be it.
そのための新しいツールを発明する必要があるなら、それで構いません。
That should have been their responsibility in the first place.
それはもともと彼らの責任だったはずです。
I think it's great that the FTC is finally investigating this because now it's going to cause these companies to kind of tie the line instead of being the software cowboys that they have been the whole time.
FTCがついにこれの調査を始めたのは素晴らしいと思います。なぜなら、これによってこれらの企業がずっとソフトウェアのカウボーイのように振る舞っていたのではなく、線引きを強いられるからです。
So there's that.
ということで、そういうことです。
In the next episode, we check out the controversial story of the million-dollar Millennium Math Prize.
次のエピソードでは、100万ドルのミレニアム数学賞をめぐる物議を醸すストーリーを紹介します。
Did OpenAI make history, or did they take the results from the New York mathematician?
OpenAIは偉業を成し遂げたのか、それともニューヨークの数学者の成果を奪ったのか？
Stay tuned to find out.
答えは次回でお楽しみに。
That's about it from me.
私の話はここまでです。
But let me know in the comments section how all of you are feeling about this right now.
しかし、コメント欄であなたたちが今どう感じているか教えてください。
It certainly is a crazy time.
確かに狂った時代です。
All right, so I'll see you again soon for the next episode.
それでは、また次のエピソードでお会いしましょう。
Cheers guys.
それでは皆さん。
Have a good one.
良い一日を。
In late September, 2026, standing at the UN General Assembly in New York, the the the premier, Straylilister.
2026年9月下旬、ニューヨークの国連総会で、首相、ストライリリスター。
Cold fusion.
コールドフュージョン。
It's new thinking.
新しい思考です。

LingoDew, which teaches English through YouTube videos, measured this B2 video at 205 words per minute, faster than the B2 median of 198, and found 24% of its words outside the 1,000 most common in its English videos, more than the B2 median of 15%.

Words in this video

The ones worth learning, rarest last. Tap one to hear it where it was said.

Up next

AI Keeps Pissing Off Mathematicians

22:20AI Keeps Pissing Off MathematiciansC1ColdFusion

Bill Gates’ Daughter Accused of Fraud

17:47Bill Gates’ Daughter Accused of FraudC1ColdFusion

OpenAI Co-Founder: Start Building With AI Before You Feel Ready | Greg Brockman

30:14OpenAI Co-Founder: Start Building With AI Before You Feel Ready | Greg BrockmanB2Silicon Valley Girl

$95B Airbnb CEO: The Gap Between AI Builders and Everyone Else Is Growing

34:43$95B Airbnb CEO: The Gap Between AI Builders and Everyone Else Is GrowingB2Silicon Valley Girl

Live rewind and Siri Recap!

1:12Live rewind and Siri Recap!B2iJustine

NVIDIA RTX Spark launch party!!!

1:12NVIDIA RTX Spark launch party!!!B2iJustine

This is an Official Sony Product

18:15This is an Official Sony ProductB2Linus Tech Tips

AI is good at seeing patterns, but it’s humans who figure out what to do next #TEDTalks

1:46AI is good at seeing patterns, but it’s humans who figure out what to do next #TEDTalksB2TED

LingoDew

Keep your words in LingoDew

The app brings the words you save back for review right before you forget them — with the clips you heard them in.

Download on theApp Store Get it onGoogle Play