今天江西SEO曾慶平寫(xiě)篇科普文，講講搜索引擎的技術(shù)機(jī)理和市場(chǎng)競(jìng)爭(zhēng)的一些特點(diǎn)。當(dāng)然，作為從事或有興趣從事流量運(yùn)營(yíng)的朋友，是可以用另一個(gè)角度去理解本文。

搜索引擎的核心技術(shù)架構(gòu)，大體包括以下三塊，第一，是蜘蛛/爬蟲(chóng)技術(shù)；第二，是索引技術(shù)；第三是查詢展現(xiàn)的技術(shù)； 當(dāng)然，我不是搜索引擎的架構(gòu)師，我只能用比較粗淺的方式來(lái)做一個(gè)結(jié)構(gòu)的切分。

1、蜘蛛/爬蟲(chóng)技術(shù)

 蜘蛛，也叫爬蟲(chóng)，是將互聯(lián)網(wǎng)的信息，抓取并存儲(chǔ)的一種技術(shù)實(shí)現(xiàn)。

搜索引擎的信息收錄，很多不明所以的人會(huì)有很多誤解，以為是付費(fèi)收錄，或者有什么其他特殊的提交技巧，其實(shí)并不是，搜索引擎通過(guò)互聯(lián)網(wǎng)一些公開(kāi)知名的網(wǎng)站，抓取內(nèi)容，并分析其中的鏈接，然后有選擇的抓取鏈接里的內(nèi)容，然后再分析其中的鏈接，以此類推，通過(guò)有限的入口，基于彼此鏈接，形成強(qiáng)大的信息抓取能力。

有些搜索引擎本身也有鏈接提交入口，但基本上，不是主要的收錄入口，不過(guò)作為創(chuàng)業(yè)者，建議了解一下相關(guān)信息，百度，google都有站長(zhǎng)平臺(tái)和管理后臺(tái)，這里很多內(nèi)容是需要非常非常認(rèn)真的對(duì)待的。

反過(guò)來(lái)說(shuō)，在這樣的原理下，一個(gè)網(wǎng)站，只有被其他網(wǎng)站所鏈接，才有機(jī)會(huì)被搜索引擎抓取。如果這個(gè)網(wǎng)站沒(méi)有外部鏈接，或者外部鏈接在搜索引擎中被認(rèn)為是垃圾或無(wú)效鏈接，那么搜索引擎可能就不抓取他的頁(yè)面。

分析和判斷搜索引擎是否抓取了你的頁(yè)面，或者什么時(shí)候抓取你的頁(yè)面，只能通過(guò)服務(wù)器上的訪問(wèn)日志來(lái)查詢，如果是cdn就比較麻煩。 而基于網(wǎng)站嵌入代碼的方式，不論是cnzz，百度統(tǒng)計(jì)，還是google analytics，都無(wú)法獲得蜘蛛抓取的信息，因?yàn)檫@些信息不會(huì)觸發(fā)這些代碼的執(zhí)行。

一個(gè)比較推薦的日志分析軟件是awstats。

在十多年前，分析百度蜘蛛抓取軌跡和更新策略，是很多草根站長(zhǎng)每日必做的功課，比如現(xiàn)在身價(jià)幾十億的知名80后上市公司董事長(zhǎng)，當(dāng)年在某站長(zhǎng)論壇就是以此準(zhǔn)確的分析判斷而封神，很年輕的時(shí)候就已經(jīng)是站長(zhǎng)圈的一代偶像。

但關(guān)于蜘蛛的話題，并不只基于鏈接抓取這么簡(jiǎn)單，延伸來(lái)說(shuō)

第一，網(wǎng)站擁有者可以選擇是否允許蜘蛛抓取，有一個(gè)robots.txt的文件是來(lái)控制這個(gè)的。

一個(gè)經(jīng)典案例是 https://www.taobao.com/robots.txt

你會(huì)看到，淘寶至今仍有關(guān)鍵目錄不對(duì)百度蜘蛛開(kāi)放，但對(duì)google開(kāi)放。

另一個(gè)經(jīng)典案例是 http://www.baidu.com/robots.txt

你看出什么了？你可能什么都沒(méi)看出來(lái)，我提醒一句，百度實(shí)質(zhì)上全面禁止了360的蜘蛛抓取。

但這個(gè)協(xié)議只是約定俗成，實(shí)際上并沒(méi)有強(qiáng)制約束力，所以，你們猜猜，360遵守了百度的蜘蛛抓取禁止么？

第二，最早抓取是基于網(wǎng)站彼此的鏈接為入口，但實(shí)際上，并不能肯定的說(shuō)，有可能存在其他抓取入口，比如說(shuō)，

客戶端插件或?yàn)g覽器， 免費(fèi)網(wǎng)站統(tǒng)計(jì)系統(tǒng)的嵌入式代碼。

會(huì)不會(huì)成為蜘蛛抓取的入口，我只能說(shuō)，有這個(gè)可能。

所以我跟很多創(chuàng)業(yè)者說(shuō)，中國(guó)做網(wǎng)站，放百度統(tǒng)計(jì)，海外做網(wǎng)站，放google analytics，是否會(huì)增加搜索引擎對(duì)你網(wǎng)站的收錄？我只能說(shuō)猜測(cè)，有這個(gè)可能。

第三，無(wú)法被抓取的信息

有些網(wǎng)站的內(nèi)容鏈接，用一些 特殊效果完成，比如浮動(dòng)的菜單等等，這種連接，有可能搜索引擎的蜘蛛程序不識(shí)別，當(dāng)然，我只是說(shuō)有可能，現(xiàn)在搜索引擎比以前聰明，十多年前很多特效鏈接是不識(shí)別的，現(xiàn)在會(huì)好一些。

需要登錄，需要注冊(cè)才能訪問(wèn)的頁(yè)面，蜘蛛是無(wú)法進(jìn)入的，也就是無(wú)法收錄。

有些網(wǎng)站會(huì)給搜索特殊頁(yè)面，就是蜘蛛來(lái)能看到內(nèi)容（蜘蛛訪問(wèn)會(huì)有特殊的客戶端標(biāo)記，服務(wù)端識(shí)別和處理并不復(fù)雜），人來(lái)了要登錄才能看，但這樣做其實(shí)是違反了收錄協(xié)議（需要人和蜘蛛看到的同樣的內(nèi)容，這是絕大部分搜索引擎的收錄協(xié)議），有可能遭到搜索引擎處罰。

所以一個(gè)社區(qū)要想通過(guò)搜索引擎帶來(lái)免費(fèi)用戶，必須讓訪客能看到內(nèi)容，哪怕是部分內(nèi)容。

帶很多復(fù)雜參數(shù)的內(nèi)容鏈接url，有可能被蜘蛛當(dāng)作重復(fù)頁(yè)面，拒絕收錄。

很多動(dòng)態(tài)頁(yè)面是一個(gè)腳本程序帶參數(shù)體現(xiàn)的，但蜘蛛發(fā)現(xiàn)同一個(gè)腳本有大量參數(shù)的網(wǎng)頁(yè)，有時(shí)候會(huì)給該網(wǎng)頁(yè)的價(jià)值評(píng)估帶來(lái)困擾，蜘蛛可能會(huì)認(rèn)為這個(gè)網(wǎng)頁(yè)是重復(fù)頁(yè)面，而拒絕收錄。還是那句話，隨著技術(shù)的發(fā)展，蜘蛛對(duì)動(dòng)態(tài)腳本的參數(shù)識(shí)別度有了很大進(jìn)步，現(xiàn)在基本上可以不用考慮這個(gè)問(wèn)題。

但這個(gè)催生了一個(gè)技術(shù)，叫做偽靜態(tài)化，通過(guò)對(duì)web服務(wù)端做配置，讓用戶訪問(wèn)的頁(yè)面，url格式看上去是一個(gè)靜態(tài)頁(yè)，其實(shí)后面是一個(gè)正則匹配，實(shí)際執(zhí)行的是一個(gè)動(dòng)態(tài)腳本。

很多社區(qū)論壇為了追求免費(fèi)搜索來(lái)路，做了偽靜態(tài)化處理，在十多年前，幾乎是草根站長(zhǎng)必備技能之一。

爬蟲(chóng)技術(shù)暫時(shí)說(shuō)到這里，但是這里強(qiáng)調(diào)一下，有外鏈，不代表搜索蜘蛛會(huì)來(lái)爬取，搜索蜘蛛爬取了，不代表搜索引擎會(huì)收錄；搜索引擎收錄了，不代表用戶可以搜索的到；

site語(yǔ)法是檢查一個(gè)網(wǎng)站收錄數(shù)的最基本搜索語(yǔ)法，我開(kāi)始以為是abc的常識(shí)，直到在新加坡做一些創(chuàng)業(yè)培訓(xùn)后交流才發(fā)現(xiàn)，大部分剛進(jìn)入這個(gè)行業(yè)的人，或者有興趣進(jìn)入這個(gè)行業(yè)的人，對(duì)此并不了解。

一個(gè)范例，百度搜索一下 site:qingpingseo.com

2、索引系統(tǒng)

蜘蛛抓取的是網(wǎng)頁(yè)的內(nèi)容，那么要想讓用戶快速的通過(guò)關(guān)鍵詞搜索到這個(gè)網(wǎng)頁(yè)，就必須對(duì)網(wǎng)頁(yè)做關(guān)鍵詞的索引，從而提升查詢效率，簡(jiǎn)單說(shuō)就是，把網(wǎng)頁(yè)的每個(gè)關(guān)鍵詞提取出來(lái)，并針對(duì)這些關(guān)鍵詞在網(wǎng)頁(yè)中的出現(xiàn)頻率，位置，特殊標(biāo)記等諸多因素，給予不同的權(quán)值標(biāo)定，然后，存儲(chǔ)到索引庫(kù)中。