怎么使用robots協(xié)議？需要注意哪些？

怎么使用robots協(xié)議？對于不知道怎么優(yōu)化網(wǎng)站的人來說，是非常蒙的，知道了所謂的robots協(xié)議，但是不會用，下面聚名網(wǎng)小編就帶大家看看如何使用robots協(xié)議和注意一些robots協(xié)議。


robots.txt語法：

1.基本語法：

User-agent 定義協(xié)議的搜索引擎。

Disallow 不允許抓取

Allow 允許抓取

* 通配符，代表所有

$ 結(jié)束符

2.詳情講解：

User-agent: * 所有的搜索引擎都要遵守

PS：1.英文的首字母一定要大寫。下同。2.問號一定是英文狀態(tài)下的。下同。3.問號之后一定要有一個空格。下同。

User-agent: Baiduspider 針對百度的協(xié)議

Disallow: / 屏蔽全站

Disallow: /can/ 屏蔽can文件下的所有文件

Allow: /can/123 屏蔽can文件下的所有文件，但是允許收錄123

Disallow: /*.jpg$ 屏蔽所有的圖片文件。

PS：使用通配符，一定要有結(jié)束符。不然可能導(dǎo)致正常的路徑被屏蔽。

注意事項：

1.基礎(chǔ)語法中PS的點。

2.生效時間

robots是我們和搜索引擎之間的一個單方面的協(xié)議，不是我們今天寫上，明天百度就會遵守。想讓百度遵守是需要一個過程的，一般情況下是兩個月。但是也不排除當(dāng)天寫，當(dāng)天生效。所以在更改robots的時候，一定要小心小心再小心。一旦你的robots錯了，對整個網(wǎng)站的影響是巨大的。

3.不要隨便的屏蔽整站

一些新手在做網(wǎng)站的時候，沒有規(guī)劃，隨搭隨建，網(wǎng)站不能一下子做好，經(jīng)常做個半截，所以很多新手就會將我們的網(wǎng)站全部屏蔽掉。如果你真的這么做了，那么我要恭喜你，蜘蛛可能在未來的兩個月中不來訪問你的網(wǎng)站。即便是你去請蜘蛛也不會來。所以這里給新手的建議就是一定要對網(wǎng)站規(guī)劃好，一次性搭建完成。等待收錄。