なぜ自社サイトが関係するのか

ChatGPTやGeminiのような生成AIは、インターネット上の大量の文章を読んで学習しています。文章を集めるのは「クローラ」と呼ばれる巡回ロボットです。会社のホームページも、公開している限り巡回の対象になります。

AIを使う人は急に増えました。総務省の「令和8年版情報通信白書 個人における生成AIサービスの利用経験」によると、生成AIを使ったことがある人は2025年度調査で58.8%でした。前年度は26.7%で、1年で2倍以上に増えています。

会社での利用も広がっています。同じ白書の「生成AIの業務利用状況」では、何らかの業務で生成AIを使う日本企業は86.4%でした。お客様も取引先も、自社のことをAIに聞いてから連絡してくる時代です。

法律の原則:学習は許可なしでできる

まず押さえたいのは、日本の著作権法の原則です。2018年の法改正で整えられた著作権法第30条の4により、AIの学習のような「情報解析」のための利用は、原則として著作者の許可なく行えます。

文化庁は2024年3月15日に「AIと著作権に関する考え方について」を取りまとめました。この資料は、著作権者が反対の意思を示したことだけで、学習を権利制限の対象から外すと解釈するのは「困難である」としています。

つまり、ホームページに「AIの学習を禁止します」と書くだけでは、法律上の効果は期待しにくいということです。一方で同じ資料は、学習を防ぐ技術的な措置について「権利者やウェブサイトの管理者の判断によって自由に行うことが可能である」と明記しています。文章で禁止するより、仕組みで断るのが基本になります。

ただし例外もあります。資料は、技術的な措置を取ったうえでデータベースとして販売する予定がある場合などに、学習が認められない可能性を示しています。生成物が元の文章とそっくりになる場合も別の問題です。生成物の扱いはAIが作った文章や画像は使っていいのかで解説しています。

robots.txtとは何か

robots.txtは、サイトの一番上の階層に置く小さな文字のファイルです。「どのロボットに、どのページを見てよいか」を書いておくと、ルールを守るロボットはそれに従います。

書き方は国際的な標準になっています。2022年9月に公開されたRFC 9309「Robots Exclusion Protocol」が、その仕様です。中身は数行で済むことが多く、制作会社に頼めば短時間で設定できます。

自社のrobots.txtは、ブラウザで「自社のアドレス/robots.txt」を開けば誰でも見られます。一度も開いたことがない会社は、まず今の中身を確かめるところから始めましょう。何も置いていない場合は、すべてのロボットを受け入れている状態です。

学習用と検索用は別のロボット

AIの巡回ロボットは2種類。学習用は文章を集めて学習する(例:GPTBot)もので、断っても検索に残る。検索・回答用は質問の答えを探しに来る(例:OAI-SearchBot)もので、断るとAIの回答に出なくなる。
図1|学習用と検索・回答用のロボットの違い(OpenAI・Googleの公式説明をもとに作成)

ここが一番大事な点です。AI企業のロボットは、「学習用」と「検索・回答用」で名前が分かれています。OpenAIの「Overview of OpenAI Crawlers」では、学習用がGPTBot、ChatGPTの検索用がOAI-SearchBotです。それぞれの設定は独立していると説明されています。

同じ説明によると、OAI-SearchBotを断ったサイトは、ChatGPTの検索の回答に表示されなくなります。学習を断るつもりで全部を断ると、AIで調べたお客様に見つけてもらえなくなるのです。

Googleも同じ考え方です。Googleの一般的なクローラの説明では、Geminiの学習などへの利用は「Google-Extended」で管理できます。これを断っても、Google検索の掲載や順位には影響しないとされています。

3つの選択肢を比べる

robots.txtでAIのロボットを扱う方法は、大きく3つに分かれます。違いを表にまとめました。

表1|AIのロボットへの3つの対応の比較
選択肢AIの学習AIの回答に出るか向いている会社
A 何もしない(全部許可)使われる出る知ってもらうことを優先する会社
B 学習用だけ断る断る意思を示せる出る文章や写真に独自の価値がある会社
C 全部断る断る意思を示せる出にくくなる会員向けなど外に出す必要がない会社

多くの中小企業にとって、現実的なのはAかBです。集客の入口を残したまま、学習だけを断れるのがBの強みです。Cは、そもそも公開する必要のない情報を扱うサイトに限られます。

断るかどうかの3つの判断軸

断るかどうかの3つの判断軸。1.その文章は売り物か(有料記事・教材・写真など)。2.AIの回答に出たいか(集客の入口を残すか)。3.本当に秘密の情報か(秘密なら公開をやめる)。
図2|AIのロボットを断るかどうかの3つの判断軸

1つめは、その文章そのものが売り物かどうかです。有料の教材、レシピ、撮影に費用をかけた写真などは、学習に使われると価値が下がるおそれがあります。会社案内や営業時間のような情報は、むしろ正しく広まった方が得です。

2つめは、AIの回答に出たいかどうかです。お客様がAIで店や会社を探す場面は増えています。AIに正しく紹介してもらう工夫はお客様はAIに聞いているで扱っています。

3つめは、本当に秘密の情報かどうかです。秘密なら、そもそも誰でも見られる場所に置くべきではありません。ロボットを断るかの前に、公開してよい情報かを見直すのが先です。

robots.txtでは守れないもの

robots.txtは「お願い」の仕組みです。RFC 9309は、このルールについて「These rules are not a form of access authorization.」と明記しています。鍵ではなく、立て札だと考えてください。ルールを守らないロボットは止められません。

文化庁の資料も、学習を防ぐ例としてrobots.txtのほかにID・パスワードによる認証を挙げています。社外秘の資料や顧客情報は、ログインが必要な場所に置くのが基本です。

人の操作で動くAIにも注意が必要です。OpenAIは、利用者の指示でページを見に行く「ChatGPT-User」について、robots.txtのルールが適用されない場合があると説明しています。お客様がAIに自社のURLを渡せば、そのページは読まれうるということです。

設定は「これから」に向けたもの

robots.txtは、ロボットが次に巡回するときに読まれるルールです。設定した日より前に集められた文章をさかのぼって消す仕組みではありません。早めに方針を決めておくほど意味があります。

設定までの4歩

robots.txtを決める4歩。1.ページを3つに分ける(公開・売り物・社外秘)。2.断るロボットを決める(学習用と検索用は別)。3.制作会社に設定を頼む(書き方の案はAIで作る)。4.月1回、表示を確かめる(/robots.txtを開く)。
図3|robots.txtの方針を決めて設定するまでの4歩

手順1は、サイトのページを「公開して広めたい」「売り物」「社外秘」の3つに分けることです。社外秘が見つかったら、robots.txtより先に公開をやめます。

手順2で、断るロボットを決めます。学習用と検索用を別々に書くのがポイントです。ロボットの名前は各社の公式の説明で確かめます。

手順3で、制作会社やサイト管理の担当者に設定を頼みます。依頼文の下書きはAIに作らせると早く進みます。次の文をそのまま使えます。

あなたは中小企業のホームページ管理を手伝う相談役です。当社サイトのrobots.txtについて、制作会社への依頼文の下書きを作ってください。 当社の方針: ・AIの学習用のロボットは断りたい ・ChatGPTやGoogleの検索・回答には今まで通り表示されたい ・[ページの種類]は学習に使われたくない 条件1:ロボットの名前は「各社の公式説明で確認してください」と書き添える。 条件2:設定後に確かめる方法も依頼に含める。 条件3:一文は短く、です・ます調で書く。

手順4は確認です。月に1回、ブラウザで自社のrobots.txtを開き、意図した通りの中身になっているかを見ます。サイトの引っ越しやリニューアルで消えることがあるためです。AIが出したロボットの名前は、必ず公式の説明と突き合わせてから使うようにします。

よくある質問(Q&A)

うちのホームページの文章、勝手にAIの学習に使われてるって本当?

公開しているページは、学習用のロボットに集められている可能性があります。日本の著作権法では、学習のための利用は原則として許可なく行えます。断りたい場合はrobots.txtで学習用のロボットを指定するのが一般的です。

AIの学習を断ったら、Google検索に出なくなる?

学習用だけを断れば、通常は出なくなりません。GoogleはGoogle-Extendedを断っても検索の掲載や順位に影響しないと説明しています。検索用のロボットまで断らないように注意してください。

「AI学習禁止」ってサイトに書いておけば大丈夫?

それだけでは不十分です。文化庁の資料は、反対の意思を示すことだけで学習を対象外とみなすのは困難としています。robots.txtやログインといった仕組みで断ることが必要です。

まとめ

  • 日本では、AIの学習のための利用は著作権法第30条の4で原則として許可なく行える。
  • 「禁止」と書くだけでは効果が薄い。文化庁は、robots.txtなどの技術的な措置は管理者が自由に行えると整理している。
  • ロボットは学習用と検索・回答用で別。学習用だけ断れば、AIの回答には出続けられる。
  • robots.txtは鍵ではない。秘密の情報は公開をやめるか、ログインの先に置く。

まずは今日、自社のアドレスの後ろに「/robots.txt」を付けて開いてみてください。何が書いてあるかを知ることが、方針を決める第一歩です。

無料資料:AI業務改善チェックリスト

AIの使いどころと、人が確認すべき場面を整理しましょう。

著者情報

AutoAIPlatform編集部 / 中小企業向けAI業務教育メディア

中小企業の経営者、管理職、総務、人事、営業、研修担当者が、AIを安全に仕事へ取り入れるための教育記事を作成しています。AIの操作だけでなく、業務設計・社内ルール・人による確認を重視します。