一個(gè)合格的SEO工程師(shī)必須了解搜索引擎的工作(zuò)原理(lǐ)如何，百度和(hé)谷歌(gē)的原則幾乎相同，其中隻有(yǒu)一些(xiē)細節不同，如Word，因為(wèi)國內(nèi)的搜索一般是百度，所以我們的未來(lái)将是百度，當然，基類是同樣适用于谷歌(gē)！

搜索引擎的工作(zuò)原理(lǐ)其實很(hěn)簡單，首先，所有(yǒu)的搜索引擎，大(dà)緻分為(wèi)四個(gè)部分，第一部分是蜘蛛，第二部分是數(shù)據分析系統和(hé)索引系統的第三部分，第四是要查詢當然，這四個(gè)基本部分組成的系統！

下面我們，搜索引擎的工作(zuò)流程：

什麽是搜索引擎蜘蛛和(hé)爬蟲？

        搜索引擎蜘蛛，其實是搜索引擎自動應用，其作(zuò)用是什麽？其實很(hěn)簡單，就是在互聯網上(shàng)浏覽信息，然後抓住這個(gè)信息的搜索引擎服務器(qì)，然後索引庫，等等，我們可(kě)以為(wèi)用戶搜索引擎的蜘蛛，然後用戶訪問我們的網站(zhàn)，然後在我們的網站(zhàn)的內(nèi)容保存到您的計(jì)算(suàn)機！更容易理(lǐ)解。

        如何在搜索引擎的蜘蛛抓取網頁？

        找到了一個(gè)鏈接→下載頁面→→循環添加到臨時(shí)圖書(shū)館網頁→提取→鏈接到下載頁面

        第一個(gè)搜索引擎蜘蛛找到發現如何通(tōng)過鏈接的鏈接是鏈接。發現此鏈接，搜索引擎蜘蛛會(huì)從網站(zhàn)上(shàng)下載下來(lái)，并存入一個(gè)臨時(shí)庫，當然，在同一時(shí)間(jiān)，它會(huì)在頁面中​​提取所有(yǒu)的鏈接，然後循環。

        搜索引擎蜘蛛幾乎是24小(xiǎo)時(shí)不休息（在這種情況下，這是悲劇(jù)，沒有(yǒu)節假日。）蜘蛛下載頁如何做(zuò)到這一點？這需要第二個(gè)系統，也就是搜索引擎的分析系統。

        一個(gè)普通(tōng)的搜索引擎蜘蛛抓取網頁？

        這是一個(gè)很(hěn)好的問題，那(nà)麽搜索引擎蜘蛛抓取網頁，定期在年底？答(dá)案是肯定的！

        如果這麽多(duō)的蜘蛛随機抓取頁面，然後在互聯網上(shàng)的費用死勁頁每一天，所以如此，蜘蛛爬過它？所以蜘蛛定期抓取網頁！

        蜘蛛抓取的網頁策略：深度優先

        什麽是深度優先？簡而言之，在一個(gè)頁面中找到搜索引擎蜘蛛爬下來(lái)，然後沿着這條連接，一個(gè)連接，然後在下一個(gè)頁面，并找到一個(gè)連接，然後再爬下來(lái)，抓取所有(yǒu)，這是深度優先抓取政策。我們看到下圖



        在上(shàng)面的圖片是深度優先的原理(lǐ)，如果我們的頁面搜索引擎的權威是最高(gāo)的，如果第D的權威是最低(dī)的，如果搜索引擎的蜘蛛抓取網頁，根據深度第一個(gè)策略，然後将反過來(lái)，成為(wèi)d頁的程度，這是深度優先的最高(gāo)權力機構

        蜘蛛抓取網頁策略：廣度優先

        廣度優先更好地了解它，是搜索引擎蜘蛛所有(yǒu)抓取的鏈接，再次整頁，然後獲取下一個(gè)頁面的鏈接。

        在地圖上(shàng)，也就是說，其實廣度優先的原理(lǐ)，這是通(tōng)常所說的平面結構，也許在一個(gè)神秘的角落文章，警告頁面不能太多(duō)，太多(duō)會(huì)導緻難以收集，這是對付搜索引擎的蜘蛛，因為(wèi)這個(gè)原因，其實廣度優先戰略。

        蜘蛛抓取網絡戰略：優先權利

        如果寬度比深度優先次序，實際上(shàng)，是不是絕對的，隻能說，每個(gè)人(rén)都有(yǒu)自己的利益，一般搜索引擎蜘蛛抓取策略，即深度優先+廣度優先和(hé)翻錄使用這兩個(gè)戰略要參考這個(gè)連接的權重，如果這方面的權重，然後深度優先，如果這方面的權重低(dī)，那(nà)麽廣度第一！

        搜索引擎蜘蛛如何知道(dào)連接權嗎？

        有(yǒu)兩個(gè)因素：多(duō)與少(shǎo)的水(shuǐ)平; 2外鏈的連接和(hé)質量;

        不會(huì)被抓取的鏈接太多(duō)的水(shuǐ)平？這是不是絕對的，方的，要考慮很(hěn)多(duō)因素，我們将先進的邏輯戰略背後下降，當我詳細的說！

        蜘蛛抓取網頁策略4：重新抓取

        我想，如昨天，以便更好地了解，搜索引擎蜘蛛抓取的網頁，我們在此頁中添加新的內(nèi)容，然後再次搜索引擎蜘蛛抓取新的內(nèi)容，這是重新抓取！重新爬也分為(wèi)兩種，如下：

        1，所有(yǒu)再訪

        所謂的重新指蜘蛛上(shàng)次抓取的鏈接，然後從頭再來(lái)月的一天，訪問抓取時(shí)間(jiān)！

        2，單重溫

        單重溫頁面更新頻率更快，更穩定的網頁一般，如果我們有(yǒu)一個(gè)網頁不更新每月一次。

        搜索引擎蜘蛛對你(nǐ)這樣，第二天，還(hái)是這樣的第一天，第三天，搜索引擎蜘蛛會(huì)不會(huì)來(lái)，會(huì)不時(shí)時(shí)間(jiān)，如每一個(gè)在未來(lái)的時(shí)間(jiān)。或等待重新更新所有(yǒu)的時(shí)間(jiān)。

        以上(shàng)，也就是說，搜索引擎蜘蛛抓取網頁的戰略。我們上(shàng)面所說的，在搜索引擎的蜘蛛抓取網頁，開(kāi)始第二部分，這是這部分的數(shù)據分析。

        數(shù)據分析系統

        數(shù)據分析系統，數(shù)據分析處理(lǐ)與搜索引擎蜘蛛抓取頁面，這個(gè)人(rén)是分為(wèi)幾個(gè)：

        1，網頁結構

        簡而言之，那(nà)些(xiē)HTML代碼是删除所有(yǒu)提取的內(nèi)容。

        2，去噪

        降噪是什麽意思？在頁面的HTML代碼結構，其餘的文字已删除，然後去噪指主體(tǐ)離開(kāi)網頁，删除無用的，如版權的內(nèi)容。

        3，檢查重

        重新進行(xíng)調查，以便更好地理(lǐ)解，是搜索引擎來(lái)查找重複的網頁內(nèi)容，如果你(nǐ)找到一個(gè)重複的頁面删除。

        4，分詞

        分割是，“神馬東西？搜索引擎蜘蛛在前面的步驟，然後提取文本的內(nèi)容，然後我們的內(nèi)容被劃分成N個(gè)字，然後安排存款索引庫！也算(suàn)一個(gè)字此頁面上(shàng)出現了多(duō)少(shǎo)次。

        5，鏈接分析

        這一步，​​我們通(tōng)常不煩躁所做(zuò)的工作(zuò)，搜索引擎查詢，此頁面的反向鏈接的數(shù)量，導出鏈接多(duō)少(shǎo)內(nèi)鏈，然後到本頁面右側的多(duō)少(shǎo)重量。

 

        數(shù)據索引系統

        按照上(shàng)述步驟，這些(xiē)交易的良好的信息搜索引擎的索引數(shù)據庫的搜索引擎。然後大(dà)緻分為(wèi)以下兩種系統索引數(shù)據庫：

        正指标體(tǐ)系

        什麽是一個(gè)普通(tōng)的指數(shù)？簡而言之，搜索引擎與數(shù)字的所有(yǒu)URL，那(nà)麽這個(gè)數(shù)字相當于這個(gè)網址的內(nèi)容，包括這個(gè)網址外鏈，關鍵詞密度等數(shù)據。

        簡單的搜索引擎工作(zuò)原理(lǐ)概述

        搜索引擎蜘蛛找到連接→→→和(hé)分析系統的手交給爬行(xíng)的蜘蛛爬行(xíng)策略→分析索引庫頁