www.zjcoo.com

 　　很(hěn)多(duō)網站(zhàn)或者論壇有(yǒu)一些(xiē)人(rén)發帖子，但(dàn)是他發的帖子當中含有(yǒu)很(hěn)多(duō)産品或者其他東西的一些(xiē)特性，這些(xiē)URL被稱為(wèi)無效的URL，之所以稱為(wèi)無效隻是從SEO角度看的，因為(wèi)它們對SEO毫無用處不說，反倒有(yǒu)負面作(zuò)用，所以這些(xiē)URL還(hái)是不收錄的為(wèi)好，原因如下：

　　大(dà)量過濾條件頁面沒有(yǒu)對應産品，頁面無內(nèi)容(如選擇“100元以下42寸LED電(diàn)視(shì)”之類的)

　　大(dà)量過濾條件頁面內(nèi)容重複或極為(wèi)類似(大(dà)量複制(zhì)內(nèi)容将使網站(zhàn)整體(tǐ)質量下降)

　　絕大(dà)部分過濾條件頁面沒有(yǒu)排名能力(排名能力比分類頁面低(dī)得(de)多(duō))卻浪費一定權重

　　這些(xiē)過濾條件頁面也不是産品頁面收錄的必要通(tōng)道(dào)(産品頁面應該有(yǒu)其它內(nèi)鏈幫助爬行(xíng)和(hé)收錄)

　　爬行(xíng)大(dà)量過濾條件頁面極大(dà)浪費蜘蛛爬行(xíng)時(shí)間(jiān)，造成有(yǒu)用頁面收錄機會(huì)下降(過濾條件頁面組合起來(lái)是巨量的)

　　那(nà)麽怎樣盡量使這些(xiē)URL不被爬行(xíng)和(hé)索引、收錄呢?中技(jì)認為(wèi)下面兩個(gè)方法都有(yǒu)效的最大(dà)限度減少(shǎo)了它對我們SEO的影(yǐng)響：

　　一是将不想收錄的URL保持為(wèi)動态URL，甚至故意越動态越好，以阻止被爬行(xíng)和(hé)收錄。但(dàn)是，搜索引擎現在都能爬行(xíng)、收錄動态URL，而且技(jì)術(shù)上(shàng)越來(lái)越不是問題。雖然參數(shù)多(duō)到一定程度确實不利于收錄，但(dàn)4、5個(gè)參數(shù)通(tōng)常還(hái)可(kě)以收錄。我們無法确認需要多(duō)少(shǎo)參數(shù)才能阻止收錄，所以不能當作(zuò)一個(gè)可(kě)靠的方法。而且這些(xiē)URL接收內(nèi)鏈，又沒有(yǒu)什麽排名能力，還(hái)是會(huì)浪費一定權重。

　　第二個(gè)方法，robots禁止收錄。同樣，URL接收了內(nèi)鏈也就接收了權重，robots文件禁止爬行(xíng)這些(xiē)URL，所以接收的權重不能傳遞出去(搜索引擎不爬行(xíng)就不知道(dào)有(yǒu)什麽導出鏈接)，頁面成為(wèi)權重隻進不出的黑(hēi)洞。

　　連向這些(xiē)URL的鏈接配合nofollow也不完美，和(hé)robots禁止類似，nofollow在Google的效果是這些(xiē)URL沒有(yǒu)接收權重，權重卻也沒有(yǒu)被分配到其它鏈接上(shàng)，所以權重同樣浪費了。百度據稱支持nofollow，但(dàn)權重怎麽處理(lǐ)還(hái)沒有(yǒu)人(rén)知曉。

　　将這些(xiē)URL鏈接放在Flash、JS裏也沒有(yǒu)用，搜索引擎已經可(kě)以爬行(xíng)Flash、JS裏的鏈接，而且估計(jì)以後越來(lái)越擅長爬。很(hěn)多(duō)SEO忽略了的一點是，JS中的鏈接不僅能被爬，也能傳遞權重，和(hé)正常連接一樣。

　　也可(kě)以将過濾條件鏈接做(zuò)成AJAX形式，用戶點擊後不會(huì)訪問一個(gè)新的URL，還(hái)是在原來(lái)URL上(shàng)，URL後面加了#，不會(huì)被當成不同URL。和(hé)JS問題一樣，搜索引擎正在積極嘗試爬行(xíng)、抓取AJAX裏的內(nèi)容，這個(gè)方法也不保險。

　　一個(gè)方法是使用canonical标簽，最大(dà)問題是百度是否支持未知，而且canonical标簽是對搜索引擎的建議，不是指令，也就是說這個(gè)标簽搜索引擎可(kě)能不遵守，等于沒用。另外，canonical标簽的本意是指定規範化網址，過濾條件頁面是否适用有(yǒu)些(xiē)存疑，畢竟，這些(xiē)頁面上(shàng)的內(nèi)容經常是不同的。

　　再一個(gè)可(kě)以考慮的方法是隐藏頁面(cloaking)，也就是用程序檢測訪問者，是搜索引擎蜘蛛的話(huà)返回的頁面拿(ná)掉這些(xiē)過濾條件鏈接，是用戶的話(huà)才返回正常的有(yǒu)過濾條件的頁面。這是一個(gè)比較理(lǐ)想的解決方法，唯一的問題是，可(kě)能被當作(zuò)作(zuò)弊。搜索引擎常跟SEO講的判斷是否作(zuò)弊的最高(gāo)原則是：如果沒有(yǒu)搜索引擎，你(nǐ)會(huì)不會(huì)這麽做(zuò)?或者說，某種方法是否隻是為(wèi)了搜索引擎而采用?顯然，用cloaking隐藏不想被爬行(xíng)的URL是為(wèi)搜索引擎做(zuò)的，不是為(wèi)用戶做(zuò)的。雖然這種情況下的cloaking目的是美好的，沒有(yǒu)惡意的，但(dàn)風險是存在的，膽大(dà)的可(kě)試用。

　　還(hái)一個(gè)方法是在頁面head部分加noindex+follow标簽，意即本頁面不要索引，但(dàn)跟蹤頁面上(shàng)的鏈接。這樣可(kě)以解決複制(zhì)內(nèi)容問題，也解決了權重黑(hēi)洞問題(權重是可(kě)以随着導出鏈接傳到其它頁面的)，不能解決的是浪費蜘蛛爬行(xíng)時(shí)間(jiān)問題，這些(xiē)頁面還(hái)是要被蜘蛛爬行(xíng)抓取的(然後才能看到頁面html裏的noindex+follow标簽)，對某些(xiē)網站(zhàn)來(lái)說，過濾頁面數(shù)量巨大(dà)，爬行(xíng)了這些(xiē)頁面，蜘蛛就沒足夠時(shí)間(jiān)爬有(yǒu)用頁面了。

　　目前比較好的方法之一是iframe+robots禁止。将過濾部分代碼放進iframe，等于調用其它文件內(nèi)容，對搜索引擎來(lái)說，這部分內(nèi)容不屬于當前頁面，也即隐藏了內(nèi)容。但(dàn)不屬于當前頁面不等于不存在，搜索引擎是可(kě)以發現iframe中的內(nèi)容和(hé)鏈接的，還(hái)是可(kě)能爬行(xíng)這些(xiē)URL，所以加robots禁止爬行(xíng)。iframe中的內(nèi)容還(hái)是會(huì)有(yǒu)一些(xiē)權重流失，但(dàn)因為(wèi)iframe裏的鏈接不是從當前頁面分流權重，而隻是從調用的那(nà)個(gè)文件分流，所以權重流失是比較少(shǎo)的。除了排版、浏覽器(qì)兼容性之類的頭疼問題，iframe方法的一個(gè)潛在問題是被認為(wèi)作(zuò)弊的風險。現在搜索引擎一般不認為(wèi)iframe是作(zuò)弊，很(hěn)多(duō)廣告就是放在iframe中，但(dàn)隐藏一堆鏈接和(hé)隐藏廣告有(yǒu)些(xiē)微妙的區(qū)别。回到搜索引擎判斷作(zuò)弊的總原則上(shàng)，很(hěn)難說這不是專門(mén)為(wèi)搜索引擎做(zuò)的。記得(de)Matt Cutts說過，Google以後可(kě)能改變處理(lǐ)iframe的方式，他們還(hái)是希望在同一個(gè)頁面上(shàng)看到普通(tōng)用戶能看到的所有(yǒu)內(nèi)容。

　　這個(gè)問題目前還(hái)沒有(yǒu)完美的解決方法，這個(gè)就要因站(zhàn)而異了，希望大(dà)家(jiā)和(hé)我一起能夠早日找到解決這個(gè)既嚴重但(dàn)又現實的問題!

重慶中技互聯網信息咨詢有限公司 www.zjcoo.com