Robots.txt とは何ですか?
Robots.txt は、Web サイトのルート ディレクトリにある単純なテキスト ファイルです (例: https://example.com/robots.txt)。このファイルは、Googlebot などの検索エンジンに、ウェブサイト上のコンテンツをクロールしてインデックスに登録する方法を指示するために使用されます。
簡単に理解すると、robots.txt はボットの指示板のようなもので、どこに行って、どこに行ってはいけないかを示します。そのおかげで、データ収集アクティビティを制御し、リソースの無駄を避け、SEO の効果を最適化できます。
例:
Google がショッピング カート ページ、内部検索結果、または重い PDF ファイルをクロールしないようにしたい場合は、robots.txt を使用してブロックできます。
逆に、ボットを使用したい場合。クロールの対象をサービス、製品、メイン記事のページに絞り込む → アクセスをオープンにする。
SEO における Robots.txt の役割
Web サイトには数千の URL が存在する可能性がありますが、すべての URL が SEO にとって重要であるわけではありません。現時点では、robots.txt はデータ フィルタリング ツールとして機能し、Google が最も価値のあるコンテンツのクロールに集中できるようにします。
1.クロール予算を節約する
Googlebot には、ボットが各ウェブサイトでクロールできる頻度とページ数に一定の制限があります。価値の低い URL (例: /search/、/cart/、/tag/) をボットに無駄にクロールさせると、より重要なページのインデックス作成が遅くなる可能性があります。
2.重複コンテンツを避ける
パラメータ、フィルタ、セッション ID を含む URL では、重複コンテンツが簡単に作成されます。 Robots.txt は、ボットがこれらの URL にアクセスするのをブロックし、Web サイトをよりクリーンで焦点を絞ったものにすることができます。
3.テクニカル SEO サポート
テクニカル SEO (Web サイトの技術的な最適化) では、robots.txt は sitemap.xml、.htaccess、正規タグと並ぶコア ファイルの 1 つです...robots.txt が見つからない、または設定が間違っている場合、Web サイトは不要なページにインデックス付けされるかミスされる可能性があります。重要なページは重要です。
👉 技術的な最適化について詳しく知りたい場合は、次の記事を参照してください: テクニカル SEO とは?テクニカル SEO Web サイトのチェックリスト。
4.セキュリティ ツールではありません
注: robots.txt はウェブサイトを保護しません。誰かが直接 URL を知っていれば、ブロックされたページにもアクセスできます。また、別の Web サイトからのリンクがある場合は、引き続き Google に表示されることがあります。インデックス作成を完全に防ぐには、HTTP ヘッダーで noindex メタ タグ または X-Robots-Tag を使用する必要があります。
Robots.txt ファイルの基本構造
robots.txt ファイルは通常、次の 4 つの主要コンポーネントで構成されます。
User-agent: [ボット名]
許可しない: [パスがブロックされています]
許可: [許可されたパス]
サイトマップ: [XML サイトマップ URL]
標準ファイルの例:
ユーザー エージェント: Googlebot
禁止: /private/
ユーザーエージェント: *
許可: /
サイトマップ: https://www.example.com/sitemap.xml
説明:
ユーザーエージェント: 該当する検索ボット (Googlebot、Bingbot など)。禁止: ボットが特定のパスにアクセスするのをブロックします。許可: ブロックされている場合でもボットのアクセスを許可します。サイトマップ: インデックス作成をサポートするサイトマップ URL を宣言します。
SEO 標準の Robots.txt 作成の原則
正しい場所に配置します: robots.txt ファイルはルート ディレクトリにある必要があります。 (
https://domain.com/robots.txt)。正しい名前を使用:
robots.txtである必要があります (s を含む)。多くの人がrobot.txtが間違っていると誤解しています。構文を正しく記述してください: スペルミスや余分なスペースがあると、ボットがファイルをスキップする可能性があります。
禁止: 間違った重要なフォルダ (
/blog/など) をブロックした場合は、悪用しないでください。/services/) → Web サイトが失われます。サイトマップの宣言: ボットが構造を理解し、重要なコンテンツのクロールに優先順位を付けるのに役立ちます。
定期テスト: Google Search Console の Robots.txt テスター ツールを使用してテストします。
Robots.txt を使用する際の重要な注意事項
Noindex を置き換えないでください: Robots.txt はクロールを制御するだけで、インデックスのブロックは保証しません。ページが別のソースからクロールされた場合、そのページは引き続き Google に表示される可能性があります。
SEO プラグインには注意してください: Yoast SEO、RankMath、または All in One SEO を使用している場合は、偽の robots.txt が作成される可能性があります。現時点では、ファイルをサーバーにアップロードする必要はありません。
インデックス作成の問題を確認する: Web サイトのステータスが新しい投稿のインデックスを作成していない場合は、robots.txt が誤ってブロックしていないかどうかを確認します。記事を参照できます: なぜ Google は記事をインデックスに登録しないのですか?最速の修正方法。
ウェブサイト用の Robots.txt の実践例
1.ニュース Web サイト/ブログ
ユーザーエージェント: *
禁止: /wp-admin/
禁止: /search/
許可: /wp-admin/admin-ajax.php
サイトマップ: https://www.example.com/sitemap.xml
2.電子商取引 Web サイト
ユーザーエージェント: *
禁止: /cart/
禁止: /checkout/
禁止: /search/
許可: /
サイトマップ: https://www.example.com/sitemap.xml
3.サービス ビジネス Web サイト
ユーザー エージェント: *
許可しない:
許可: /
サイトマップ: https://www.example.com/sitemap.xml
ベトナムの Robots.txt と SEO 戦略
ベトナムの SEO 市場にはいくつかの特徴があります。
電子商取引 Web サイトには多くの動的 URL (価格、色、サイズ フィルタリング) が含まれることがよくあります。適切にブロックされていない場合 → コンテンツが重複します。
サービス Web サイトには通常ページがほとんどありませんが、誤ってブロックされると簡単にインデックスが失われる可能性があります。
ニュース/ブログ Web サイトでは、多くの検索 URL、タグ、カテゴリが簡単に生成されるため、クロール予算を節約するために robots.txt を最適化する必要があります。
重要なこと: robots.txt は単なるものではありません。 「ボット防止」では、コンテンツ、Web サイトの構造、サイトマップ、内部リンクと組み合わせる必要があります。 SEO を実装している場合は、次の記事を参照してください: 基本的なウェブサイト SEO - 6 か月の実践的なチェックリストを同期して計画します。
Tan Phat Digital - 技術的な SEO を標準化するコンパニオン
記事この記事はTan Phat Digital (https://tanphatdigital.com/) によって作成されました。そこでは、中小企業が効果的かつ持続的に展開できるように、技術的な SEO、コンテンツ戦略、標準的な Web サイト デザインを含む包括的な SEO ソリューションに焦点を当てています。ウェブサイトの標準の robots.txt に関するアドバイスが必要な場合は、詳細なサポートについてお気軽にお問い合わせください。
Robots.txt は基本的ですが、テクニカル SEO において非常に重要なファイルです。クロール予算の管理、重複コンテンツの防止、サイトマップと技術的な SEO のサポートに役立ちます。ただし、これはセキュリティ ツールではなく、noindex や canonical タグを置き換えるものでもありません。効果的な SEO を実現するには、robots.txt を sitemap.xml、正規タグ、高品質のコンテンツ、クリーンなウェブサイト構造などの他の要素と組み合わせる必要があります。
シェア
