Robots文件生成器（Robots.txt是放在站點(diǎn)根目錄下一個(gè)純文本文件，指定搜索引擎蜘蛛抓取指定的內(nèi)容，或是禁止搜索引擎蜘蛛抓取網(wǎng)站部分或全部?jī)?nèi)容）
在線robots文件生成工具：Robots.txt
是存放在站點(diǎn)根目錄下的一個(gè)純文本文件，并且該文件是可以通過互聯(lián)網(wǎng)進(jìn)行訪問
什么是robots.txt文件？
1,Robots.txt 是存放在站點(diǎn)根目錄下的一個(gè)純文本文件。雖然它的設(shè)置很簡(jiǎn)單，但是作用卻很強(qiáng)大。
它可以指定搜索引擎蜘蛛只抓取指定的內(nèi)容，或者是禁止搜索引擎蜘蛛抓取網(wǎng)站的部分或全部?jī)?nèi)容。
2,robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，
它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，
哪些是可以被（漫游器）獲取的。
3,如果想單獨(dú)定義搜索引擎的漫游器訪問子目錄時(shí)的行為，那么可以將自定的設(shè)置合并到根目錄下的robots.txt，
或者使用robots元數(shù)據(jù)。
4,因?yàn)橐恍┫到y(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。robots.txt應(yīng)放置于網(wǎng)站的根目錄下。
5,robots.txt協(xié)議并不是一個(gè)規(guī)范，而只是約定俗成的，所以并不能保證網(wǎng)站的隱私。
注意robots.txt是用字符串比較來確定是否獲取URL，所以目錄末尾有與沒有斜杠“／”表示的是不同的URL。robots.txt允許使用類似"Disallow:
*.gif"這樣的通配符。
6,Robots協(xié)議是國(guó)際互聯(lián)網(wǎng)界通行的道德規(guī)范，基于以下原則建立：1、搜索技術(shù)應(yīng)服務(wù)于人類，
同時(shí)尊重信息提供者的意愿，并維護(hù)其隱私權(quán)；2、網(wǎng)站有義務(wù)保護(hù)其使用者的個(gè)人信息和隱私不被侵犯。
robots.txt文件使用方法
1,Robots.txt 文件應(yīng)該放在網(wǎng)站根目錄下，并且該文件是可以通過互聯(lián)網(wǎng)進(jìn)行訪問的。
例如：如果您的網(wǎng)站地址是 http://www.xxx.com/那么，該文件必須能夠通過 http://www.xxx.com/robots.txt 打開并看到里面的內(nèi)容。