大家好，國(guó)慶節(jié)過(guò)了，祝大家節(jié)日快樂(lè)，特別要祝是守候在群的一線的光棍們有情人可度，有夢(mèng)想可求。今天講一下網(wǎng)站數(shù)據(jù)的采集及實(shí)踐。 誰(shuí)都知道，以前建個(gè)站都是辛辛苦苦地一個(gè)代碼一個(gè)代碼敲出來(lái)的， 那時(shí)的站長(zhǎng)真是苦工中的苦工，后來(lái)就出來(lái)的許多的網(wǎng)站模板， 再后來(lái)出現(xiàn)了CMS即content manager system（內(nèi)容管理系統(tǒng)），如動(dòng)易、DEDE、phmcms等等，這種大大方便了網(wǎng)站的制作和內(nèi)容的錄入。 無(wú)疑一個(gè)網(wǎng)站的內(nèi)容豐富性和趣味性是吸引用戶的地方，所以圖片站總是很火，特別是美女圖片（meinv38.com），如果想做一個(gè)站，復(fù)制粘貼肯定是不行的 一夜之間擁有幾萬(wàn)張圖片幾萬(wàn)篇文章才是我們的夢(mèng)想。那么實(shí)現(xiàn)的方式就是數(shù)據(jù)采集。 今天僅說(shuō)下數(shù)據(jù)采集的一些基礎(chǔ)東西，高手飄過(guò)，菜鳥認(rèn)真的學(xué)，權(quán)當(dāng)入門。
首先是內(nèi)容的選擇
網(wǎng)上世界千奇百怪，各個(gè)站長(zhǎng)都千方百計(jì)地研究如何吸引眼珠。這做站如同做文章，不可能把所有的東西都收羅進(jìn)來(lái)，要懂得取舍 再好的內(nèi)容與你的網(wǎng)站主題也要符合，即使垃圾站（即無(wú)原創(chuàng)內(nèi)容大部分是采集他人內(nèi)容的站）初期階段可能不予計(jì)較，但時(shí)間長(zhǎng)了，垃圾站的目標(biāo)仍是把垃圾做成精品，否則就死定了。
如何選擇好的內(nèi)容，我認(rèn)為要做好以下幾個(gè)方面：
①選擇內(nèi)容要你的站的主題符合的比較好。
比如做軸承站的可以采集軸承新聞、軸承技術(shù)什么的，也可以大一點(diǎn)采集機(jī)械制造方面的，但不要太偏離了，就不要選擇美女圖片這樣的內(nèi)容，雖然這類內(nèi)容吸引人，但一方面給人造成的感覺不專業(yè)，另一方面也容易被百度K。 如果你覺得非采這個(gè)不可?？梢愿銈€(gè)二級(jí)域名的方式專門建個(gè)相對(duì)獨(dú)立的站，如pic.xxx.com，和主站相對(duì)脫節(jié)。 字串7
②采集的內(nèi)容的格式盡量統(tǒng)一。
盡量選擇些精品網(wǎng)站進(jìn)行采集，采集內(nèi)容的風(fēng)格和格式要盡量統(tǒng)一，否則會(huì)顯得不專業(yè)，顯得太散亂，影響客戶的訪問(wèn)情緒。
③不要一次性采集太多。在建站初期各個(gè)欄目適當(dāng)采集幾百條墊底就行了然后每天都采集一些，否則初期太多的流量對(duì)一個(gè)新站來(lái)說(shuō)也無(wú)太大裨益，而且很危險(xiǎn)，容易被百度K站。
④采集內(nèi)容要選好關(guān)鍵字，做好網(wǎng)站的tag，不要見內(nèi)容就收，否則真成垃圾了 查關(guān)鍵字在百度中的排位情況，是不是有可能沖擊前幾位，有一二個(gè)關(guān)鍵字就夠了，這個(gè)是流量的保證，就是網(wǎng)站的SEO的一部分，最近才學(xué)的，不太懂哈。
⑤為避免百度K站，選擇不同編碼的站是個(gè)不錯(cuò)的建議，比如可以采集big5的繁體站轉(zhuǎn)化成自己的gbk的，有能力的甚至可以通過(guò)機(jī)器翻譯把英文的變成中文站，這樣都是原創(chuàng)性的了，被百度K的可能性就是0。 我有一個(gè)客戶把百度知識(shí)的東西通過(guò)翻譯引擎直接做了個(gè)英文知識(shí)站。 招數(shù)千變，唯一的目標(biāo)是有安全的流量。
⑥要采集的源站要有持續(xù)更新的能力，盡量不要采死站，呵呵， 一方面能經(jīng)常采集，另一方面這樣的站的信息有時(shí)效性，可保證你采集的內(nèi)容新鮮。
其次講下采集工具的選擇
采集工具不下幾十種，如何選擇適當(dāng)?shù)墓ぞ咭锤魑坏膼酆?，其?shí)學(xué)好一二種采集工具就可以了。 有cms系統(tǒng)自帶的如帝國(guó)cms自帶的采集， 有專門的采集的軟件如火車頭、小蜜蜂、貼探小黑、守望、三人行、ET等等，下面簡(jiǎn)單介紹一下：
①火車頭采集軟件，這個(gè)是最早的采集的軟件，也是大名鼎鼎的采集軟件， 軟件安裝有點(diǎn)麻煩，軟件采用.net 架構(gòu)，不過(guò)也容易搞定。 字串8 軟件的優(yōu)點(diǎn)很多，規(guī)則制訂也相對(duì)簡(jiǎn)單，可以制訂整個(gè)站的規(guī)則，也可以本地入庫(kù)同步發(fā)布到網(wǎng)站。 缺點(diǎn)是發(fā)布模塊不容易找，而且難于開發(fā)，對(duì)新手來(lái)說(shuō)很難發(fā)布成功。 因?yàn)樽髡呓肽甓紱](méi)更新，bug比較多，最新的V3.2快出來(lái)了，還是值得期待的。
②小蜜蜂采集，這個(gè)可以和他的BBWPS--小蜜蜂商務(wù)網(wǎng)站門戶系統(tǒng)整合使用，也可以單獨(dú)用，需要本地裝php環(huán)境，也半年沒(méi)更新了 不過(guò)對(duì)國(guó)外的一些cms如joomla支持，還是不錯(cuò)的。剛才有問(wèn)做英文站采集，用這個(gè)也是可以的
③貼探小黑 這個(gè)是收費(fèi)的采集器，對(duì)新手來(lái)說(shuō)還比較好用， 但規(guī)則制訂感覺好別扭，比較好的解決了發(fā)布的問(wèn)題，速度也很快，最新的4.0出來(lái)后作者可能會(huì)停止開發(fā)了 這個(gè)對(duì)論壇采集比較好，對(duì)網(wǎng)站的cms還不支持，還有不能多頁(yè)采集，缺陷比較多。
④三人行 這個(gè)軟件還是下了很多功夫的，界面有些粗糙，感覺不到位，有些作弊功能很不錯(cuò)，比如論壇同時(shí)在線、批量發(fā)貼等等 呵呵，平時(shí)很少用。由于作者的功利因素有很多不同名字的軟件版本，功能基本一樣，有些混亂。
⑤守望。這也是php的平臺(tái)開發(fā)的，可直接安裝在網(wǎng)站服務(wù)器上，直接采集到服務(wù)器上，這個(gè)比較好，免除了數(shù)據(jù)上傳時(shí)間。
⑥ET。這個(gè)可謂后起之秀，比較好用，制訂規(guī)則也簡(jiǎn)單靈活，但有的地方還不成熟。支持的系統(tǒng)還不多，不過(guò)潛力很大，新出的模擬提交，基本上絕大部分類型的采集都可做了。
以上是采集工具的介紹，哪種好用要看各位的偏好了。
采集用到的工具還包括抓包分析工具，如sniffer，wsockexpert等。
ASP的采集器
源代碼分析工具，對(duì)于地址隱藏的網(wǎng)頁(yè)用遨游自帶的viewpage也挺好， 好象火車頭3.2附帶的新的源代碼分析工具放出來(lái)了，對(duì)一些難采集的網(wǎng)站可以試試。
一般大家喜歡用2000/xp自帶的記事本查看源代碼，建議升級(jí)到vistia的記事本，支持繁體和框架，絕對(duì)好用更深一步的還要學(xué)習(xí)破解ajax，就里就不介紹了。 第三個(gè)方面我講采集數(shù)據(jù)的加工。數(shù)據(jù)采集來(lái)固然可以直接發(fā)布到網(wǎng)上去，但經(jīng)過(guò)加工效果會(huì)更好。 數(shù)據(jù)的加工包括去掉別人的廣告，換上自己的廣告，過(guò)濾掉一些外站的鏈接
數(shù)據(jù)格式的簡(jiǎn)繁轉(zhuǎn)換及編碼轉(zhuǎn)換
網(wǎng)站優(yōu)化SEO處理等等 這里要注意的問(wèn)題是別人廣告一定要過(guò)濾干凈，否則自己得不到廣告費(fèi)，別人的GG帳戶也不安全，反而也害了別人。 還有SEO處理不要過(guò)份，適可而止，否則只會(huì)起反作用。 更高層次的采集是把采集內(nèi)容變成自己的原創(chuàng)，這個(gè)需要高手自編程序?qū)?shù)據(jù)進(jìn)行處理（qq2030.com）
目前為止還沒(méi)見過(guò)這樣的工具，不過(guò)有《瘋狂作文》這樣的軟件出來(lái)，相信也不是做不到。
第四個(gè)方面是后續(xù)維護(hù)
這個(gè)后續(xù)維護(hù)也可以翻陳出新，把已采集的數(shù)據(jù)進(jìn)行再加工，添加新的關(guān)鍵字，新瓶也可以裝舊酒。
通過(guò)我對(duì)幾十個(gè)客戶的采集教程，談下我的體會(huì)。 采集內(nèi)容要關(guān)注一定熱度的內(nèi)容，比如QQ空間、QQ表情這些流量是很猛的，還有私服發(fā)布站、游戲類型的網(wǎng)站， 有針對(duì)性群體的網(wǎng)站也比較好做。我一個(gè)客戶一個(gè)月前采集的女性論壇站，數(shù)據(jù)有4萬(wàn)，現(xiàn)在基本在線在150人左右，日發(fā)新貼140篇。還有一個(gè)臺(tái)灣客戶2個(gè)月前采集的verycd電影站，現(xiàn)在日增新注冊(cè)用戶50左右，可見垃圾站還是有做頭的。大體內(nèi)容就講這些了，有什么需要了解的請(qǐng)朋友們提出來(lái)！
