一、搜查引擎的蜘蛛，是不是爬得越多越好

當(dāng)然不是!不管什么搜查引擎的爬蟲，來抓取你網(wǎng)站的頁面的時(shí)候，判斷在消耗你的網(wǎng)站資源，例如網(wǎng)站的連接數(shù)、網(wǎng)絡(luò)帶寬資源、服務(wù)器的負(fù) 載、甚至還有盜鏈等。不是所有的搜查引擎蜘蛛都是有用的。另外，搜查引擎的爬蟲來抓取你的頁面數(shù)據(jù)后，它也不一定收用數(shù)據(jù)。只代表它“到此一游”留下痕跡 罷了，有的搜查引擎室成心過來找它想要的資源，甚至還有很多是開發(fā)人員的蜘蛛測試。

對一個(gè)原創(chuàng)內(nèi)容豐富，URL結(jié)構(gòu)公道易于爬取的網(wǎng)站來說，幾乎就是各種爬蟲的盤中大餐，很多網(wǎng)站的拜訪流量形成當(dāng)中，爬蟲帶來的流量要遠(yuǎn)遠(yuǎn)超過實(shí)在 用戶拜訪流量，甚至爬蟲流量要高出實(shí)在流量一個(gè)數(shù)量級。像進(jìn)步網(wǎng)站有效利用率誠然設(shè)置了相稱嚴(yán)格的反爬蟲策略，然而網(wǎng)站處理的動態(tài)懇求數(shù)量仍然是實(shí)在用戶 拜訪流量的2倍?？赡芘袛嗟恼f，當(dāng)今互聯(lián)網(wǎng)的網(wǎng)絡(luò)流量至少有2/3的流量爬蟲帶來的。因此反搜查引擎爬蟲是一個(gè)值得網(wǎng)站長期摸索跟解決的問題。

?

搜查引擎爬蟲對網(wǎng)站的負(fù)面影響

1.網(wǎng)站有限的帶寬資源，而爬蟲的量過多，導(dǎo)致畸形用戶拜訪緩慢。原本虛構(gòu)主機(jī)主機(jī)的連接數(shù)受限，帶寬資源也是有限。這種情況搜查引擎爬蟲受影響顯現(xiàn)更明顯。

2.搜查引擎爬蟲過頻密，抓取掃描很多無效頁面。甚至抓頁面抓到服務(wù)器報(bào)502、500 、504 等服務(wù)器內(nèi)部錯(cuò)誤了，蜘蛛爬蟲還在不停使勁抓取。

3.與網(wǎng)站主題不相干的搜查引擎爬蟲消耗資源。

典范的例子搜查引擎“一淘網(wǎng)蜘蛛為一淘網(wǎng)抓取工具。被各大電子商務(wù)購物網(wǎng)站屏蔽。拒絕一淘網(wǎng)抓取其商品信息及用戶產(chǎn)生的點(diǎn)評 內(nèi)容。被禁止的起因首先應(yīng)當(dāng)是它們之間不配合互利的關(guān)聯(lián)，還有就是EtaoSpider爬蟲是一個(gè)抓取猖狂的蜘蛛。統(tǒng)計(jì)發(fā)明EtaoSpider爬蟲 的一天爬行量比“百度蜘蛛：Baiduspider”“360蜘蛛：360Spider”“SOSO蜘蛛：Sosospider”等主流蜘蛛爬蟲多多少倍， 并且是遠(yuǎn)遠(yuǎn)的多。重點(diǎn)是EtaoSpider被抓取只會消耗你的網(wǎng)站資源，它不會給你帶來拜訪量，或者其它對你有利用的。

4.一些搜查引擎開發(fā)程序員，它們寫的爬蟲程序在測試爬行。

5.robots.txt文件不是!

判斷有很多人認(rèn)為，在robots.txt設(shè)置屏蔽搜查引擎爬蟲即可，或者容許某些特定的搜查引擎爬蟲，能達(dá)到你料想后果。不錯(cuò)正規(guī)搜查引擎會依照規(guī) 則，不過不會及時(shí)生效。然而實(shí)際中某些蜘蛛往往不是這樣的，先掃描抓取你的頁面，疏忽你的robots.txt。也可能它抓取后不一定留用;或者它只是統(tǒng) 計(jì)信息，收集互聯(lián)網(wǎng)行業(yè)趨勢剖析統(tǒng)計(jì)。

6.還有一種它們不是蜘蛛，但其有蜘蛛的特點(diǎn)。例如采集軟件，采集程序，網(wǎng)絡(luò)掃描e-mail地址的工具，各式各樣的SEO剖析統(tǒng)計(jì)工具，千奇百怪的網(wǎng)站漏洞掃描工具等等。

　　二、有效指引搜查引擎對應(yīng)的辦法，及解決方法：

1.依據(jù)空間流量實(shí)際情況，就保存多少個(gè)常用的屏蔽掉其它蜘蛛以節(jié)儉流量。以臨時(shí)空間流量還足夠利用，先保障畸形瀏覽器優(yōu)先。

2.從服務(wù)器防火墻iptable直接屏蔽蜘蛛IP段、具體的IP。這是直接、有效的屏蔽方法。

3.WWW服務(wù)器層面做限度。例如Nginx，Squid，Lighttpd，直接通過“http_user_agent”屏蔽搜查引擎爬蟲。

4.后robots.txt文件做限度。搜查引擎國際規(guī)矩還是要遵守規(guī)矩的。