目錄
- 一、引言
- 二、關(guān)于相關(guān)訪問請求及應(yīng)答報文
- 2.1、百度搜索請求
- 2.2、百度返回搜索結(jié)果
- 2.3、小說網(wǎng)站關(guān)于最新更新的展現(xiàn)及html報文格式
- 三、實現(xiàn)思路及代碼
- 3.1、根據(jù)url獲取網(wǎng)站名
- 3.2、根據(jù)百度返回搜索結(jié)果地址打開網(wǎng)站獲取小說信息
- 3.3、獲取小說網(wǎng)頁絕對url地址
- 3.4、計算排序權(quán)重
- 3.5、進(jìn)行百度搜索并解析搜索結(jié)果訪問小說網(wǎng)站最新更新
- 四、搜索案例
- 五、小結(jié)
一、引言
這個五一假期自駕回老家鄉(xiāng)下，家里沒裝寬帶，用手機熱點方式訪問網(wǎng)絡(luò)。這次回去感覺4G信號沒有以前好，通過百度查找小說最新更新并打開小說網(wǎng)站很慢，有時要打開好多個網(wǎng)頁才能找到可以正常打開的最新更新。為了躲懶，老猿決定利用Python爬蟲知識，寫個簡單應(yīng)用自己查找小說最新更新并訪問最快的網(wǎng)站，花了點時間研究了一下相關(guān)報文，經(jīng)過近一天時間研究和編寫，終于搞定，下面就來介紹一下整個過程。
二、關(guān)于相關(guān)訪問請求及應(yīng)答報文
2.1、百度搜索請求
我們通過百度網(wǎng)頁的搜索框進(jìn)行搜索時，提交的url請求是這樣的：
https://www.baidu.com/s?wd=搜索詞pn=10rn=50
請求的url為https://www.baidu.com/s，帶三個參數(shù)：
- wd：搜索的關(guān)鍵詞
- pn：當(dāng)前需要顯示搜索結(jié)果記錄在總搜索結(jié)果的序號，如總搜索有300條記錄滿足要求，現(xiàn)在要求顯示第130條記錄，則pn參數(shù)值設(shè)為130即可
- rn：每頁顯示記錄數(shù)，缺省為10條，可以自行設(shè)定，但如果設(shè)定超過50，則會強制顯示為每頁10條。
2.2、百度返回搜索結(jié)果
百度返回的搜索結(jié)果有多種方式確定，老猿認(rèn)為如下方式最簡單：
以搜索小說《青萍》為例來看其中的一個返回記錄：
h3 class="t">a data-click="{
'F':'778317EA',
'F1':'9D73F1E4',
'F2':'4CA6DE6B',
'F3':'54E5243F',
'T':'1620130755',
'y':'FE7FF57A'}"
rel="external nofollow" target="_blank">
em>青萍/em>最新章節(jié),em>青萍/em>免費閱讀 - 大神小說網(wǎng)/a>
/h3>
整個搜索返回的結(jié)果在一個h3的標(biāo)簽內(nèi)，返回的搜索結(jié)果對應(yīng)url在a標(biāo)簽內(nèi)，具體url由href來指定。這里返回的url實際上是一個百度重定向的地址，可以通過打開該url訪問對應(yīng)網(wǎng)站，并通過返回響應(yīng)消息獲取真正網(wǎng)站的URL。
2.3、小說網(wǎng)站關(guān)于最新更新的展現(xiàn)及html報文格式
根據(jù)老猿分析，約占30%的小說網(wǎng)站關(guān)于最新更新章節(jié)的展現(xiàn)類似如下：
首先有類似“最新章節(jié)”或“最新更新”或“最近更新”等類似提示詞，在該提示詞后是顯示最新章節(jié)的章節(jié)序號及章節(jié)名的一個鏈接，對應(yīng)的報文類似如下：
p>最新章節(jié)：a href="/book/12/12938/358787.html" rel="external nofollow" target="_blank">第729章 就是給你們看看的/a>/p>
這個報文的特點是：
“最新章節(jié)”的文本信息與小說最新章節(jié)的鏈接在同一個父標(biāo)簽內(nèi)。另外需要說明的是返回的章節(jié)url并不是絕對地址，而是小說網(wǎng)站的相對地址。
老猿對搜索小說查找最新章節(jié)都是基于以上格式的，因此實際上程序最終獲取的小說網(wǎng)站只占了整個搜索結(jié)果的30%左右，不過對于看小說來說已經(jīng)足夠了。
三、實現(xiàn)思路及代碼
3.1、根據(jù)url獲取網(wǎng)站名
def getHostName(url):
httpPost = url[10:]
hostName = url[:10]+httpPost.split('/')[0]
return hostName
3.2、根據(jù)百度返回搜索結(jié)果地址打開網(wǎng)站獲取小說信息
基于2.3部分介紹的小說網(wǎng)站返回內(nèi)容，我們來根據(jù)百度返回搜索結(jié)果的URL來打開對應(yīng)小說網(wǎng)站，并計算從請求發(fā)起到響應(yīng)返回的時間：
def getNoteInfo(url):
"""
打開指定小說網(wǎng)頁URL獲取最新章節(jié)信息
url:百度搜索結(jié)果指定的搜索匹配記錄的url
返回該URL對應(yīng)的章節(jié)ID、打開耗時、網(wǎng)站真正URL、網(wǎng)站主機名、章節(jié)相對url、章節(jié)名
"""
head = mkhead()
start = time.time_ns()
req = urllib.request.Request(url=url, headers=head)
try:
resp = urllib.request.urlopen(req,timeout=2)
#根據(jù)響應(yīng)頭獲取真正的網(wǎng)頁URL對應(yīng)的網(wǎng)站名
hostName = getHostName(resp.url)
text = resp.read()
#網(wǎng)頁編碼有2種：utf-8和GBK
pageText = text.decode('utf-8')
except UnicodeDecodeError:
pageText = text.decode('GBK')
except Exception as e:
errInf = f"打開網(wǎng)站 {url} 失敗，異常原因：\n{e}\n" + '\n' + traceback.format_exc() + '\n'
logPag(errInf, False)
return None
#最新章節(jié)的HTML報文類似： 'p>最新章節(jié)：a href="/html/107018/122306672.html" rel="external nofollow" >第672章 天之關(guān)梁/a>/p>'
end = time.time_ns()
soup = BeautifulSoup(pageText, 'lxml')
# 根據(jù)最新章節(jié)的提示信息搜索最新章節(jié)
result = soup.find_all(string=re.compile(r'最新更新[：:]|最新章節(jié)[：:]|最近更新[：:]|最新[：:]'))
found = False
for rec in result:
recP = rec.parent
pa = recP.a
matchs = re.match(r'(?:最新更新|最新章節(jié)|最近更新|最新)[：:]第(.+)章(.+)', recP.text)
if not matchs:return None
groups = matchs.groups()
if matchs and pa is not None:
found = True
chapter = toInt(groups[0]) #章節(jié)序號
chapterName = groups[1] #章節(jié)名
chaperUrl = pa.attrs['href'] #章節(jié)相對URL
break
if not found:
return None
cost = (end - start) / 1000000 #網(wǎng)頁打開耗時計算
return (chapter,cost,resp.url,hostName,chaperUrl,chapterName)
注意：由于不同網(wǎng)站訪問響應(yīng)情況不一樣，因此在打開網(wǎng)頁時設(shè)定超時是很有必要的，這樣可以避免訪問緩慢的網(wǎng)站耽誤整體訪問時間。
3.3、獲取小說網(wǎng)頁絕對url地址
將返回信息中相對url和網(wǎng)站名結(jié)合拼湊網(wǎng)頁的絕對url地址：
def getChapterUrl(noteInf):
chapter, cost, url, hostName, chaperUrl, chapterName = noteInf
if chaperUrl.strip().startswith('http'):return chaperUrl
elif chaperUrl.strip().startswith('/'):return hostName.strip()+chaperUrl.strip()
else:return hostName.strip()+'/'+chaperUrl.strip()
3.4、計算排序權(quán)重
根據(jù)搜索小說網(wǎng)頁訪問的信息計算排序權(quán)重，確保最新章節(jié)排在最前，相同章節(jié)訪問速度最快網(wǎng)站排在最前。
def noteWeight(n):
#入?yún)為小說信息元組: chapter, cost, url, hostName, chaperUrl, chapterName
ch,co = n[:2]
w = ch * 100000 + min(99999, 100000 / co)
return w
3.5、進(jìn)行百度搜索并解析搜索結(jié)果訪問小說網(wǎng)站最新更新
根據(jù)搜索詞在百度執(zhí)行搜索，并取最新章節(jié)且訪問速度最快的前5個網(wǎng)站url進(jìn)行輸出：
def BDSearchUsingChrome(inputword,maxCount=150):
"""
輸出相關(guān)搜索結(jié)果中具有最新章節(jié)且訪問速度最快的前5個網(wǎng)站url
:param word: 搜索關(guān)鍵詞，如小說名、小說名+作者名等
:param maxCount: 最多處理的搜索記錄數(shù)
:return: None
"""
#百度請求url類似：https://www.baidu.com/s?wd=青萍pn=10rn=50
rn = 50 #每頁50條記錄
#構(gòu)建請求頭模擬本機谷歌瀏覽器訪問百度網(wǎng)頁
head = mkheadByHostForChrome('baidu.com')
word = urllib.parse.quote(inputword)
urlPagePre = 'https://www.baidu.com/s?wd='+word+'rn=50'
pageCount = int(0.999+maxCount/rn)
validNoteInf = []
seq = 0
logPag("開始執(zhí)行搜索...")
for page in range(pageCount):
pn = rn*page
urlPage = urlPagePre+str(pn)
pageReq = urllib.request.Request(url=urlPage, headers=head)
pageResp = urllib.request.urlopen(pageReq,timeout=2)
pageText = pageResp.read().decode()
if pageResp.status == 200:
soup = BeautifulSoup(pageText,'lxml')
links = soup.select('h3.t a[href^="http://www.baidu.com/link?url="]')
for l in links:
noteInf = getNoteInfo(l.attrs['href'])
seq += 1
if noteInf is None:
#print(seq,'、',l.attrs['href'],None)
logPag(f"{seq}、{l.attrs['href']}:查找最新章節(jié)失敗，忽略",True)
else:
logPag(f"{seq}、返回小說信息： {noteInf}",True)
#chapter,cost,url,hostName,chaperUrl,chapterName = noteInf
validNoteInf.append(noteInf)
validNoteInf.sort(key=noteWeight,reverse=True)
print(f"小說： {inputword} 最新更新訪問最快的5個網(wǎng)站是：")
for l in validNoteInf[:5]:#輸出相關(guān)搜索結(jié)果中具有最新章節(jié)且訪問速度最快的前5個網(wǎng)站url
print(f"{validNoteInf.index(l)+1}、第{l[0]}章 {l[-1]} {getChapterUrl(l)} ，網(wǎng)頁打開耗時 {l[1]} 毫秒")
input("按回車鍵退出！")
四、搜索案例
以搜索月關(guān)大大的青萍作為案例，執(zhí)行搜索的語句為：
BDSearchUsingChrome('青萍月關(guān)',150)
執(zhí)行結(jié)果：
小說： 青萍月關(guān) 最新更新訪問最快的5個網(wǎng)站是：
1、第688章 東邊日出西邊雨 http://www.huaxiaci.com/41620/37631250.html ，網(wǎng)頁打開耗時 262.0 毫秒
2、第688章 東邊日出西邊雨 http://www.huaxiaci.com/41620/37631250.html ，網(wǎng)頁打開耗時 278.0 毫秒
3、第688章 東邊日出西邊雨 http://www.huaxiaci.com/41620/37631250.html ，網(wǎng)頁打開耗時 345.5 毫秒
4、第688章 東邊日出西邊雨 https://www.24kwx.com/book/9/9202/8889236.html ，網(wǎng)頁打開耗時 774.0 毫秒
5、第688章 東邊日出西邊雨 https://www.27kk.net/9526/2658932.html ，網(wǎng)頁打開耗時 800.5 毫秒
按回車鍵退出！
五、小結(jié)
本文介紹了使用Python搜索指定小說最新更新章節(jié)以及訪問最快網(wǎng)站的實現(xiàn)思想和關(guān)鍵應(yīng)用代碼，實現(xiàn)自動搜索小說最新更新章節(jié)以及獲取訪問最快的網(wǎng)站。以上的實現(xiàn)由于已經(jīng)獲取最新章節(jié)的鏈接，再稍微改進(jìn)，就可以直接將最新章節(jié)下載到本地觀看。
到此這篇關(guān)于Python爬蟲之爬取最新更新的小說網(wǎng)站的文章就介紹到這了,更多相關(guān)Python爬取最新更新的小說網(wǎng)站內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- python使用XPath解析數(shù)據(jù)爬取起點小說網(wǎng)數(shù)據(jù)
- python爬蟲之爬取筆趣閣小說
- python爬取晉江文學(xué)城小說評論(情緒分析)
- Python爬蟲入門教程02之筆趣閣小說爬取
- python 爬取小說并下載的示例
- python爬取”頂點小說網(wǎng)“《純陽劍尊》的示例代碼
- Python scrapy爬取小說代碼案例詳解
- Python爬取365好書中小說代碼實例
- python爬蟲爬取筆趣網(wǎng)小說網(wǎng)站過程圖解
- Python實現(xiàn)的爬取小說爬蟲功能示例
- Python制作爬蟲采集小說
- python 爬取國內(nèi)小說網(wǎng)站
