如果您想要阻止所有搜尋引擎抓取您的

muhammad166152@

只需開啟一個空白的 .txt 文件並開始輸入說明即可。 例如，/admin/ 目錄，您可以輸入以下指令： 用戶代理：*禁止：/admin/ 您可以增加和編輯此文件中的說明，直到您對結果感到滿意為止。 然後將文件打開為“robots.txt”。另存為 。 或者，您可以使用robots.txt 檔案產生器，如下所示。 關於 Robots.txt 和 SEO 4 您需要了解的一切 使用這種工具的優點是可以最大限度地減少語法錯誤。 這是一個非常重要的情況，因為即使在您準備的指示中出現一個錯誤，也可能會為您的網站帶來重大的 SEO 災難。


缺點是它們的可自訂性非常有限。 那麼 robots.txt 檔案可以放在哪裡呢？ 將 robots.txt 檔案放置在其適用的子網域的根目錄中。 例如，要控制domain.com上的抓取活動，robots.txt檔案必須可以透過domain.com/robots.txt存取。 如果您想要控 南非 電話號碼 制子網域（例如blog.domain.com ）的抓取，則應該可以透過blog.domain.com/robots.txt存取 robots.txt 檔案。 最佳 robots.txt 應用 如果您想避免常見錯誤，請記住這一點： 每個指令使用一個新行。



每條指令必須另起一行。否則，會讓搜尋引擎感到困惑。 壞的： 使用者代理：* 禁止：/directory/ 禁止：/other-directory/ 早安我的寶貝： 使用者代理：* 禁止：/directory/禁止：/other-directory/ 使用星號 (*) 字元可以簡化描述。 您不僅可以使用星號 (*) 字元將指令套用至所有使用者代理，還可以在發出指令時符合 URL 模式。 例如，如果您想阻止搜尋引擎存取您網站上的參數化產品類別 URL，您可以按以下方式對它們進行排序： 使用者代理：*不允許：/products/T 卹？ 但這並不是一個非常合適的舉動。