網(wǎng)站日志可以記錄最近24小時(shí)，網(wǎng)站的訪問情況，包括搜索引擎的訪問。作為一個(gè)專業(yè)的SEO人員，分析網(wǎng)站日志查看不同搜索引擎是如何爬行網(wǎng)站，然后通過分析結(jié)果對(duì)網(wǎng)站進(jìn)行優(yōu)化，是非常必要的一個(gè)過程。不同搜索引擎爬行網(wǎng)站的規(guī)律不同，經(jīng)統(tǒng)計(jì)濟(jì)南網(wǎng)站建設(shè)網(wǎng)站日志得知，百度蜘蛛爬行網(wǎng)站是最頻繁的，但是爬行深度是最淺的，相對(duì)于其他搜索引擎，搜狗和360搜索引擎蜘蛛訪問頻率較低，而且比較集中。

一、百度搜索引擎蜘蛛訪問頻率高、深度低、比較喜歡爬行tag相關(guān)頁(yè)面

       百度搜索引擎蜘蛛訪問網(wǎng)站的頻率非常的高，機(jī)會(huì)一天當(dāng)中都要訪問幾十次，但是每次爬行的深度很低，從下圖網(wǎng)站日志中的截圖可以看出，百度蜘蛛訪問網(wǎng)站的時(shí)候會(huì)直接爬行“/search/search.php?key=”或者“/blog/?tag=”以及“/blog/?feed=rss2&tag=”這三個(gè)URL鏈接，從百度蜘蛛爬行的這三個(gè)URL中分析，可以看出這三種鏈接都是類似于tag的這種標(biāo)簽，也可以看作成網(wǎng)站的一個(gè)綜合搜索功能，從搜索某些關(guān)鍵字來查看網(wǎng)站是否存在更新。不過百度蜘蛛也會(huì)直接爬行網(wǎng)站的首頁(yè)或者某些特定的內(nèi)頁(yè)，所爬行的這些內(nèi)頁(yè)也沒有規(guī)律可循，只是看到蜘蛛確實(shí)爬過這個(gè)頁(yè)面。如圖2所示：

百度搜索引擎蜘蛛爬行日志圖一

百度搜索引擎蜘蛛爬行日志圖2

百度搜索引擎蜘蛛爬行日志圖3

二、谷歌搜索引擎蜘蛛訪問頻率高、深度高、爬行頁(yè)面較多

       谷歌搜索引擎蜘蛛訪問頻率應(yīng)該是最高的，這點(diǎn)應(yīng)該和我們網(wǎng)站在谷歌中的權(quán)重---PR值有關(guān)，在《詳細(xì)了解濟(jì)南網(wǎng)站建設(shè)權(quán)重的真實(shí)含義》介紹過關(guān)于網(wǎng)站權(quán)重的知識(shí)，通過分析網(wǎng)站日志，可以看到谷歌蜘蛛在一天當(dāng)中頻繁的訪問網(wǎng)站頁(yè)面，并且訪問網(wǎng)站URL很多，包括百度蜘蛛爬行的那些URL外，還有其他的一些直接性的頁(yè)面，如下圖所示。從這里可以看出谷歌在爬行網(wǎng)站方面確實(shí)比百度要好的多，但是畢竟谷歌不是主流的搜索引擎所以我們只是直到谷歌蜘蛛來過就好了，不用太在意它的爬行深度和頻率是怎樣的。

三、360搜索引擎蜘蛛爬行頻率中、深度中、爬行頁(yè)面集中

       360搜索引擎蜘蛛在一天當(dāng)中訪問網(wǎng)站是有規(guī)律可循，在網(wǎng)站日志中可以看出360搜索引擎在爬行網(wǎng)站的過程是非常集中的，而在其他的任何時(shí)段都不會(huì)來訪問網(wǎng)站，來的話也是直接爬行特定的幾個(gè)頁(yè)面，比如第一次爬行的是“/wangzhanjianshe/”這個(gè)目錄，那么接下來所有蜘蛛都會(huì)隨著這個(gè)目錄爬行下去，然而在爬行了幾次發(fā)現(xiàn)沒有新的內(nèi)容之后，就會(huì)離開網(wǎng)站，等第二天再次爬行。

四、搜狗搜索引擎蜘蛛爬行頻率中、深度中、比較喜歡類似blog之類的頁(yè)面

       通過查看網(wǎng)站日志得知，搜狗搜索引擎蜘蛛只爬行了/blog/目錄下的頁(yè)面，而且爬行頻率如同360蜘蛛一樣，都屬于集中型的，在一天中的固定時(shí)刻訪問，而且只是訪問一次。這可以看出搜狗蜘蛛很喜歡網(wǎng)站中的blog。我們網(wǎng)站在搜狗中，搜索“濟(jì)南網(wǎng)站建設(shè)”第一個(gè)就是我們的，也許是和我們網(wǎng)站中存在blog有關(guān)吧。當(dāng)然在其他搜索引擎中排名也很好，這是一種猜測(cè)，也許和網(wǎng)站內(nèi)容也有很大關(guān)系的。

寫到最后：

       不同搜索引擎，爬行頁(yè)面的頻率、深度、時(shí)間都是不同的，我們可以根據(jù)分析網(wǎng)站日志得知自己網(wǎng)站對(duì)于不同蜘蛛的喜歡程度，然后根據(jù)不同的蜘蛛制定不同的優(yōu)化方案。爭(zhēng)取將濟(jì)南網(wǎng)站建設(shè)公司的關(guān)鍵字在任何搜索引擎上都有一個(gè)好的排名。對(duì)于其他的搜索引擎來說，基本可以忽略不計(jì)，因?yàn)閾?jù)目前各大主流搜索引擎的排名來看，基本質(zhì)量比較高的網(wǎng)站排名都差不多。