為什么要對URL進(jìn)行encode

在寫網(wǎng)絡(luò)爬蟲時，發(fā)現(xiàn)提交表單中的中文字符都變成了TextBox1=%B8%C5%C2%CA%C2%DB這種樣子，觀察這是中文對應(yīng)的GB2312編碼，實際上是進(jìn)行了GB2312編碼和urlencode。

那么為什么要對URL進(jìn)行encode？

因為在標(biāo)準(zhǔn)的url規(guī)范中中文和很多的字符是不允許出現(xiàn)在url中的。為了字符編碼（gbk、utf-8）和特殊字符不出現(xiàn)在url中，url轉(zhuǎn)義是為了符合url的規(guī)范。

具體代碼

urlencode編碼：urllib中的quote方法

import urllib.parse
chinese_str = '中文'
# 先進(jìn)行g(shù)b2312編碼
chinese_str = chinese_str.encode('gb2312')
# 輸出 b'\xd6\xd0\xce\xc4'
# 再進(jìn)行urlencode編碼
chinese_str_url = urllib.parse.quote(chinese_str)
# 輸出 %D6%D0%CE%C4

urldecode解碼：urllib中的unquote方法

# 由于編碼問題會報錯，還未解決
urllib.parse.unquote('%D6%D0%CE%C4')
# ：的url編碼為%3A，可輸出 http://www.baidu.com
urllib.parse.unquote('http%3A//www.baidu.com')

其它應(yīng)用

URL中%u開頭的字符

在網(wǎng)頁的表單參數(shù)中，還遇到過%u開頭的字符，得知是中文對應(yīng)的Unicode編碼值

以下代碼可以實現(xiàn)字符與unicode編碼值的轉(zhuǎn)換

str = '姓名'
# 獲得urlencode編碼
str = str.encode('unicode_escape')
print(str)
# 輸出 b'\\u59d3\\u540d'
str=str.decode('utf-8')
print(str)
# 輸出 \u59d3\u540d
str=str.encode('utf-8')
print(str)
# 輸出 b'\\u59d3\\u540d'
str=str.decode('unicode_escape')
print(str)
# 輸出 姓名

hidden隱藏域?qū)ο笞鳛楸韱螀?shù)

在爬取ASP.NET平臺的網(wǎng)站信息時，有VIEWSTATE、EVENTVALIDATION這樣的hidden隱藏域?qū)ο螅鳛楸韱螀?shù)發(fā)送post請求，所以需要從網(wǎng)頁源代碼中獲取。

但post請求中的參數(shù)值是URL編碼值，而網(wǎng)頁源碼中獲取到的是URL解碼值，所以需要進(jìn)行urlencode編碼。

相關(guān)代碼

# 網(wǎng)頁源碼上得到之后，需要urlencode編碼
hid['VIEWSTATE'] = urllib.parse.quote(soup.find(id="__VIEWSTATE")['value'])

相關(guān)工具

谷歌瀏覽器的開發(fā)者工具中可以查看參數(shù)的urlencode和decode值

在線URL編碼/解碼工具

可選擇編碼格式為UTF-8或GB2312

漢字字符集編碼查詢

可查漢字的GB2312等中文編碼和Unicode編碼

參考鏈接

python中的urlencode和urldecode(代碼)

到此這篇關(guān)于Python之進(jìn)行URL編碼案例講解的文章就介紹到這了,更多相關(guān)Python之進(jìn)行URL編碼內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！