最近、こういう話をよく聞くようになりました。
AIに任せておけば、コンテンツもAI対策もSEO対策も、全自動でできる。
AIが結果を見て、自分で学習して、改善のループを回してくれる。
私は、この話は成立しないと考えています。（当面の間は）
とくに「AIによる改善ループ」は限りなく100％に近い確率で効果性を発揮しない。
こんにちは、バズ部の石井です。
目次
先に結論をお伝えします
今のAI（LLM）が力を発揮するのは、答えが数学のようにはっきりしている分野だけです。それともう一つ加えるなら、加点方式を採用できる業務だけです。
それ以外の分野では、力を発揮しにくく、少なくとも「改善ループ」はほぼ成立しません。
私はどちらかというとAIは大好きで、本当はめちゃくちゃ期待してました。（過去形、、、）でも、今はAI、というか今のLLMの限界がはっきりしています。そこはやはりLLMの根本的な構造が原因となっています。早く次の構造をもったAIが出てくるといいなと思いますが、最近出てきたTYPESAFEのJEVも微妙ですね。やはりLLMの限界を越えそうに思えません。
もっと自動化できることを夢見ていましたが、やはり現段階では難しい。LLMの構造がそうなので。そのため、やはりコンテンツの制作にも向いていません。使いますよ。でも向いてない。
素晴らしいコンテンツの条件はAIが得意なこととは逆で、まだ誰も書いていないことや、その会社にしか出せないデータや見解、経験談です。AIは構造上、素晴らしさから遠い方向への慣性が働き続けてしまいます。
では一度出力したものを何度も直させればいい、と思われるはずです。そこにもう一段の壁があります。直すには良くなったかどうかを判定する物差しが要ります。素晴らしさは点数をつけにくい。そうすると判定のしやすい方向にAIは確実に向かいます。測定しやすいものを重視してしまう。いつのまにか、その方向に向けて改善ループが進んでいってしまう。これは如何ともしがたい慣性で、頑張って抗ってみてほしいのですが、それは時間の無駄だとわかります。
先に断っておきます。私はAI否定派ではありません。普段AIを使って仕事をすることのほうが多い積極派です。だからこそ、任せられない部分をはっきりさせたい。この線をどこに引くかが、今回の主題です。
この記事では、私がなぜそう確信しているのか、その根拠として何を見ているのか、そして現場で何を人間が持ち続けなければいけないのかを書きます。最後に、この話がAI時代の競争でどういう意味を持つのかまで踏み込みます。
最新モデルFable5に私は本気で期待していました
私自身の話をさせてください。
新しいモデルが出るたびに私はすぐに触ります。今回もそうでした。Fable5が出て最初の3日は興奮してました。「めちゃめちゃいいかも！」と本気で思っていました。
ところがしばらく色々なシステムを作ったり、AIを使って仕事をしていくと、「ここはあんまり変わってないな」という部分が次々に出てきます。確かに以前のモデルよりも進んでいるところはありつつも、でも本質的にはほぼ変わっていない。作業能力が上がっただけです。
作業的なことは前からできました。私が知りたかったのは、作業的でない部分にどれだけ進化があるかでした。そこがほとんど変わっていない。Fableだけでなく、最近はAstraも素晴らしい。でも期待が高かったぶん、がっかり感が強い。
なぜ変わらないのか。いや、変わってますよ。よくはなってる。だけど、私がAIに任せたいことは一向にできる気配がない。
この構造は、モデルが一世代進んだくらいでは変わりませんでした。あと数世代先でも変わらないでしょう。
ここで、素晴らしいコンテンツの条件を思い出してください。まだWebのどこにも書かれていない事実。その会社にしかない経験と数字。同業の誰も言っていない見解。すべて「来そうにないもの」です。一見、それらしいアウトプットはできます。でもやはり偽物です。私が作りたいのは、それではない。
つまり、LLMが得意な方向と、素晴らしいコンテンツに必要な方向は逆なのです。これは、性能の問題ではなく構造の問題です。少なくとも現時点から2、3年後のLLMまでを見る限り、この行き止まりは変わらないと考えています。
コストがめちゃくちゃ安くなれば、スピードがめちゃくちゃ早くなれば、可能性がないわけではない。でも、検証コストも高いし、これからLLM自体の利用コストや電力などの制約も強くでてきます。
改善ループを回した瞬間、AIは何を探し始めるのか
ここが今回いちばん言いたいことです。
AIに結構な量の仕事を渡せるかは、この改善ループが回るかどうかで決まると私は考えています。ループが回らないなら、それはAIというよりも、機械に近い感じがしてしまいます。速くやってくれる機械です。
そして、ループが回る領域は確かにあります。算数のように正解がパチッと定まる領域です。答えが決まっていれば、正解に近づいたかどうかを機械が自分で判定できます。判定できるなら改善できます。
問題は、そこから少しでも複雑性が増した瞬間です。正解が定義しづらい。どちらが良いか判断しづらい。成果までの距離が遠い。この三つのどれかが混ざった瞬間、LLMを使った自律ループは必ず成果を悪化させます。
素晴らしいコンテンツは、この三つを全部満たしています。正解の形は誰にも定義できない。2案並べてどちらが良いかも判断が割れる。そして本当の答え合わせは、受注できたかどうかで、半年後にしか出ません。改善ループを回すには、これ以上に条件の悪い対象はありません。
だからAIは、自分で点数をつけられるものを探しに行きます。つまり計測しやすい安易な指標です。
タイトルを改善すれば流入は増えるかもしれません。でもその改善が売上を増やすかというと、微妙です。ここにズレがある。AIは迷わず、流入という計測できる側を取ります。悪意ではありません。そうとしか動けないからです。
マーケティングの現場に置き換えると、こうなります。AIに引用されたか。インデックスされたか。PVが増えたか。どれも計測できます。だからAIは、そこを目指して最適化を始めます。一方で「この問い合わせは受注につながる案件だったか」「比較検討の最後で選ばれたか」は、計測しづらく、結果が出るまで遠い。改善ループの中では、この指標はほぼ確実に無視されます。
放っておくと必ず計測しやすい方に寄る。これは性能の問題ではなく構造の問題です。だからモデルが賢くなっても解消しません。
「良さそうに見えるゴミ」をどうやって見分けるか
ここまで読んでいただいて、私をAI否定派だと思われたかもしれません。そうではありません。
AIを使わない私と、AIを使う私が勝負したら、絶対に使う方が勝ちます。だから使うのは必須です。自分がAI無しではできなかった仕事ができるようになる。そんな価値は、はっきりとあります。
ただし、同時にこうも思っています。AIのアウトプットには、良さそうに見えるだけで「実はゴミ」、というものが大量にあります。私自身AIでたくさんのものをここ数年作っていますが、ゴミも結構たくさんつくりました。（涙）そして厄介なことに、そのゴミを作るために膨大な時間とコストを使っており、総じて生産性は上がってるような、上がってないような。
だから私は、使う場面を定義して制限しています。基準は一つです。どんな角度から見ても100%疑いようがない場合に限って使う。クオリティかスピードが確実に上がると言い切れる場面だけです。
使ってよいのは、1+1のように正解が完全に決まっている作業を大量に解くとき。
・タイトル案を10個出すとき。
・バナーの案を10個だすとき。
これは出せたか出せなかったかで評価できます。
・1万件のキーワードリストを精査するとき。
・データをフォーマットに沿ってレイアウトさせるとき。
こういった作業も効果的です。
使ってはいけないのは、
・どちらのタイトルが良いかを判断させる
・判断させて、作業させるを任せてしまう
・正解がない判断を含む一連のプロセスをAIで組み立ててしまう
ここをAIに判断させてしまうと、それは終わりの始まりです。
この見分けを間違えると、最初はいいのですが、徐々にシステムが崩壊していくか、使えないシステムになる。もしくは大量の無駄な時間とトークンが消えていきます。一番大事なのは時間です。
私が自分に課している問いがあります。AIを使わずノリノリで仕事をしている自分と勝負して、勝たなければいけない。AIを使っていない自分に「そんなのゴミじゃん」と言われたら終わりです。
判断を間違えて、自律ループを一生懸命作ろうとしたり、AIを使うべきでない場面で一生懸命回した瞬間に、AIを使わない自分に負ける可能性すら帯びてきます。ここは自分への自戒としてもっておきたい。
AIが賢くなるほど価値が上がるのは誰か
最後に、一段深いところを書きます。
改善ループが回らない、という話は一見すると悲観的です。でも私は逆だと思っています。
改善ループというのは、決められた物差しに向かって最適化する仕組みです。つまりループの内側にいる限り、物差しは与えられるものです。ループの中にいる者は、物差しそのものを疑えません。
物差しを決められるのは、ループの外側に立てる者だけです。
そして今のところ、そこに立てるのは人間しかいません。何を成果とするか。どのコンバージョンを本物とみなすか。どの問い合わせを「来てほしかった案件」と呼ぶか。この判断がつく人だけが、AIをまともに走らせられます。
ここで多くの会社が取り違えています。判断ができない人がAIを使うと大変なことになります。使わせないほうがいい。むしろ、使い方を決めてしまったほうがいい。AIが賢く、速く、安くなるほど、間違った指標に向かって全力で走る速度も上がります。物差しが1ミリずれているだけで、半年後には大きくズレた場所に到達している。だからAIが賢くなるほど、判断の価値は上がります。
施策は動いている。でも成果はあまり変わっていない。
AIで作れたー。わーい。で、気づいたらWebもブランドもぐちゃぐちゃ。
AIを一生懸命つかった結果、使ってない方がマシだった。これは、結構ありえることです。
さいごに
私たちバズ部は、施策を実行する前に、「だれが顧客なのか」の詳細な規定と「何を訴求するのか」の訴求軸の言語化から入ります。遠回りに見えると思います。実際、地味です。
それでもそこから始めるのは、何を成果とするかが決まっていない状態で施策を回すと、回せば回すほど売上から遠ざかるからです。これはAIの話に限りません。SEOでもコンテンツでも同じことが起きてきました。AIは、その構造をただ高速化しただけです。
物差しを決める。そこにだけAIは入れません。だから、ここは人間がやるしかない。
この「何を成果とするか」を決めるところから、90日で実装まで伴走するプログラムを提供しています。よろしければAI対策90日プログラムもご覧ください。
