検索エンジンがサイトのインデックスを作成しないようにする方法

検索エンジンにインデックスを付けたくない開発サイトまたはページがある場合は、robots.txtファイルを使用することで注意できます。 robots.txtファイルは、ロボットにサイトのどのページにもアクセスしないように指示します。

サイト全体からすべてのロボットをブロックする

1.robots.txtという名前のテキストファイルを作成します
2。ファイルに次のように入力します。

User-agent: *
Disallow: / 

3.テキストファイルを保存し、httpdocsフォルダーのサイトファイルのルートに配置します。 FTPの使用方法を参照してください。このファイルは正当な検索エンジンによって尊重されますが、悪意のあるコード設計では無視される可能性があります。 robots.txtファイルの詳細については、次のURLにアクセスしてください：http：//www.robotstxt.org/robotstxt.html。