早之前記的一個(gè)筆記了，之前只是記錄了兩句代碼，放出來(lái)的話也是一個(gè)低質(zhì)量的頁(yè)面，于是設(shè)置為了僅自己可見(jiàn)，今晚抽空補(bǔ)充一下。
記得當(dāng)?shù)那榫皯?yīng)該是提交sitemap時(shí)百度老提示有錯(cuò)誤的URL，導(dǎo)致sitemap不能正常被抓取，于是在想辦法解決這個(gè)問(wèn)題，所以才有下面這些筆記：用shell批量找出網(wǎng)站空頁(yè)面和404錯(cuò)誤頁(yè)面。
廢話不多說(shuō)，直接上shell代碼：
復(fù)制代碼 代碼如下:
time cat sitemap.txt|while read line;do curl -l $line -m 5 --connect-timeout 5 -o /dev/null -s -w "$line "%{http_code}" "%{size_download}"\n";done
前面加了一個(gè)time是為了看看代碼執(zhí)行所花的時(shí)間
%{http_code}意思是返回HTTP狀態(tài)碼，通過(guò)這個(gè)狀態(tài)碼我們就能知道該鏈接是正常的200鏈接，還是404錯(cuò)誤鏈接；
%{size_download}意思是返回當(dāng)前頁(yè)面的大小，如果值太小的話，說(shuō)明這些頁(yè)面很有可能是低質(zhì)量的空頁(yè)面，得想辦法剔除掉。
