百度和(hé)google是站(zhàn)長們的衣食父母，而做(zuò)好搜索引擎優化的第一步就是蜘蛛的抓取，以下5條簡單的Linux命令可(kě)以讓你(nǐ)清楚的了解蜘蛛的爬行(xíng)情況做(zuò)到有(yǒu)的放矢。

　　百度和(hé)google是站(zhàn)長們的衣食父母，而做(zuò)好搜索引擎優化的第一步就是蜘蛛的抓取，以下5條簡單的Linux命令可(kě)以讓你(nǐ)清楚的了解蜘蛛的爬行(xíng)情況做(zuò)到有(yǒu)的放矢。

　　請(qǐng)首先看看日志(zhì)文件的大(dà)小(xiǎo)，如果特别大(dà)的話(huà)(比如：超過50MB)建議不要用這些(xiē)命令分析，因為(wèi)這些(xiē)命令較消耗CPU，或者抓下來(lái)放到分析機上(shàng)執行(xíng)，以免影(yǐng)響網站(zhàn)的速度。如果是Dreamhost等共享主機的話(huà)，分析大(dà)日志(zhì)很(hěn)消耗CPU，進程很(hěn)容易被Kill掉。

　　這些(xiē)命令都是Linux下的shell命令，在Windows主機下無法執行(xíng)。

　　一 百度蜘蛛爬行(xíng)的次數(shù)

　　cat access.log.2009-04-18 | grep Baiduspider+ | wc

　　這代表百度蜘蛛一共爬行(xíng)了173次

　　二 百度蜘蛛的詳細記錄(如果記錄很(hěn)長不想看了可(kě)以Ctrl+C終止)

　　cat access.log.2009-04-18 | grep Baiduspider+

　　你(nǐ)也可(kě)以用如下命令：

　　cat access.log.2009-04-18 | grep Baiduspider+ | tail -n 100

　　cat access.log.2009-04-18 | grep Baiduspider+ | head -n 100

　　隻看最後100條或者最前100條

　　三 百度蜘蛛抓取首頁的詳細記錄

　　cat access.log.2009-04-18 | grep Baiduspider+ | grep "GET / HTTP"

　　初步研究發現，百度蜘蛛對首頁非常熱愛(ài)，24小(xiǎo)時(shí)每小(xiǎo)時(shí)都要看我的某個(gè)新站(zhàn)的首頁，而googe和(hé)yahoo蜘蛛更喜歡內(nèi)頁，一天中各自隻看了2次首頁。不知道(dào)是真的有(yǒu)這個(gè)規律還(hái)是隻是我的小(xiǎo)站(zhàn)這樣。

　　四 Baidu蜘蛛派性記錄時(shí)間(jiān)點分布

　　cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $4}'

　　五 Baidu蜘蛛爬行(xíng)頁面按次數(shù)降序列表

　　cat access.log.2009-04-18 | grep "Baiduspider+" | awk '{print $7}' | sort | uniq -c | sort -r

　　本文中的每條命令把Baiduspider+改成Googlebot都可(kě)以查看Google的對應的數(shù)據。

　　附：(Mediapartners-Google)Google adsense蜘蛛的詳細爬行(xíng)記錄

　　cat access.log.2009-04-18 | grep Mediapartners

　　Mediapartners-Google是什麽?Google adsense廣告之所以能與內(nèi)容相關，就是因為(wèi)每個(gè)包含着adsense的廣告被訪問後，幾秒(miǎo)鍾內(nèi)就有(yǒu)一個(gè)Mediapartners-Google蜘蛛來(lái)到這個(gè)頁面，所以幾分鍾後再刷新就能顯示相關性廣告了。

重慶中技互聯網信息咨詢有限公司
重慶網站(zhàn)建設事業部官方網：www.zjcoo.com
電(diàn)子商務建站(zhàn)事業部咨詢電(diàn)話(huà)：023-67742189
門(mén)戶網站(zhàn)品牌加盟推廣電(diàn)話(huà)：023-67742189
7*24小(xiǎo)時(shí)服務電(diàn)話(huà)：023-67742189
媒體(tǐ)合作(zuò)電(diàn)話(huà)：13883323406
投資合作(zuò)電(diàn)話(huà)：13896068183
QQ及郵件地址：446515345@qq.com