專業(yè)的站長應(yīng)該了解robots文件是什么了，其實這個是專門給搜索引擎提供的一個信息，可以告訴蜘蛛哪些網(wǎng)站文件可以抓取，哪些是不可以抓取的。有了這個文件的支持，可以說對網(wǎng)站是有很大的幫助。
廊坊網(wǎng)站建設(shè)的工作人員在下面會將自己對robots文件的書寫規(guī)范知識分享給大家，以下是詳細介紹。
首先大家要做的是，將該文件中可以寫好Sitemap: http://www.***.com/sitemap.xml的網(wǎng)址，這可以告訴搜索引擎，我們的網(wǎng)站中有地圖，可以更好的指引蜘蛛前來抓取。
如果網(wǎng)站是動態(tài)的，并且您為這些網(wǎng)頁創(chuàng)建了靜態(tài)副本，以供搜索蜘蛛更容易抓取，那么你需要在robots文件里設(shè)置避免動態(tài)網(wǎng)頁被蜘蛛索引。
最后，您的網(wǎng)站中會有重要的文件不想被抓取，這時候可以屏蔽，例如Disallow:/。想要抓取莫些頁面的時候可以利用Allow:/，這樣分清楚，可以更好的指引搜索引擎抓取網(wǎng)站頁面。
sjfc2008@126.com 
