Search Consoleのrobots.txtテスターは2023年12月12日に廃止されてしまいました。 その後Search Consoleには「robots.txtレポート」という機能が追加されましたが、以前のrobots.txtテスターのように個別URLをチェックする機能がなく、「ちょっと求めてるツールじゃないんだ ...

サーチエンジンのロボット向けに用意する robots.txt が原因で、秘密のページの存在がバレてしまう可能性があることに気付いていますか？ バレる原因と、バレないようにする対策のご紹介です。 (1) HTML中に meta タグを使ってファイルごとに指示する方法(※1 ...

今さら聞けない「robots.txt」入門｜SEOとAI時代に知っておきたい基本と実践 Webサイト運営に関わる人であれば、一度は耳にしたことがあるであろう「robots.txt」。 しかし、名前は知っていても、実際にどんな役割があって、どう活用すればいいのかまでは理解 ...

生成AIを利用した検索エンジンの「Perplexity」に対して、検索エンジンやAIトレーニングなどのボット(クローラー)を制御できるテキストファイル「robots.txt」の指示を無視し、管理者がPerplexityの巡回を禁止したウェブサイトにもアクセスしていることが指摘さ ...

robots.txtでは正規表現は使えない――改めて技術を正しく理解したいと心から思うミスがX（Twitter）のサイトに見付かった。今回のピックアップでは、この件に加えて、複数サイトを管理している人向けの便利なrobots.txt管理術をお届けする。 もちろん、ほか ...

今日は、ちょっとSEO的な話題を。robots.txtの内容を変えても、実はグーグルはすぐにはそれを反映してくれません。その説明と、「いますぐこのrobots.txtに更新」させる方法を解説します。 念のためにおさらいしておくと、robots.txtとは、グーグルなどの検索 ...

WordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。 [ad#ad-2] 下記は各記事のポイントをピックアップしたものです。 How to Write WordPress robots.txt for SEO robots.txtファイルは、ウェブを探し回る検索エンジンの ...