461
其它幫助
robots.txt文件放在哪裏?
robots.txt文件應該放置在網站根目錄下。舉例來說，當spider訪問一個網站（比如https://www.abc.com）時，首先會檢查該網站中是否存在https://www.abc.com/robots.txt這個文件，如果Spider找到這個文件，它就會根據這個文件的內容，來確定它訪問權限的範圍。網站 URL 相應的 robots.txt的 URL
https://www.w3.org/ https://www.w3.org/robots.txt
https://www.w3.org:80/ https://www.w3.org:80/robots.txt
https://www.w3.org:1234/ https://www.w3.org:1234/robots.txt
https://w3.org/ https://w3.org/robots.txt
最後更新：2011-05-25 20:58:37