在線robots文件生成工具：Robots.txt
是存放在站點根目錄下的一個純文本文件，并且該文件是可以通過互聯(lián)網(wǎng)進行訪問
什么是robots.txt文件？
1,Robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單，但是作用卻很強大。
它可以指定搜索引擎蜘蛛只抓取指定的內(nèi)容，或者是禁止搜索引擎蜘蛛抓取網(wǎng)站的部分或全部內(nèi)容。
2,robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，
它通常告訴網(wǎng)絡搜索引擎的漫游器（又稱網(wǎng)絡蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應被搜索引擎的漫游器獲取的，
哪些是可以被（漫游器）獲取的。
3,如果想單獨定義搜索引擎的漫游器訪問子目錄時的行為，那么可以將自定的設置合并到根目錄下的robots.txt，
或者使用robots元數(shù)據(jù)。
4,因為一些系統(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應統(tǒng)一為小寫。robots.txt應放置于網(wǎng)站的根目錄下。
5,robots.txt協(xié)議并不是一個規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。
注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜杠“／”表示的是不同的URL。robots.txt允許使用類似"Disallow:
*.gif"這樣的通配符。
6,Robots協(xié)議是國際互聯(lián)網(wǎng)界通行的道德規(guī)范，基于以下原則建立：1、搜索技術(shù)應服務于人類，
同時尊重信息提供者的意愿，并維護其隱私權(quán)；2、網(wǎng)站有義務保護其使用者的個人信息和隱私不被侵犯。
robots.txt文件使用方法
1,Robots.txt 文件應該放在網(wǎng)站根目錄下，并且該文件是可以通過互聯(lián)網(wǎng)進行訪問的。
例如：如果您的網(wǎng)站地址是 http://www.xxx.com/那么，該文件必須能夠通過 http://www.xxx.com/robots.txt 打開并看到里面的內(nèi)容。