1. 基礎(chǔ)概念篇

1.1 介紹

  HTTP是Hyper Text Transfer Protocol（超文本傳輸協(xié)議）的縮寫(xiě)。它的發(fā)展是萬(wàn)維網(wǎng)協(xié)會(huì)（World Wide Web Consortium）和Internet工作小組IETF（Internet Engineering Task Force）合作的結(jié)果，（他們）最終發(fā)布了一系列的RFC，RFC 1945定義了HTTP/1.0版本。其中最著名的就是RFC 2616。RFC 2616定義了今天普遍使用的一個(gè)版本——HTTP 1.1。

HTTP協(xié)議（HyperText Transfer Protocol，超文本傳輸協(xié)議）是用于從WWW服務(wù)器傳輸超文本到本地瀏覽器的傳送協(xié)議。它可以使瀏覽器更加高效，使網(wǎng)絡(luò)傳輸減少。它不僅保證計(jì)算機(jī)正確快速地傳輸超文本文檔，還確定傳輸文檔中的哪一部分，以及哪部分內(nèi)容首先顯示(如文本先于圖形)等。

HTTP是一個(gè)應(yīng)用層協(xié)議，由請(qǐng)求和響應(yīng)構(gòu)成，是一個(gè)標(biāo)準(zhǔn)的客戶端服務(wù)器模型。HTTP是一個(gè)無(wú)狀態(tài)的協(xié)議。

1.2 在TCP/IP協(xié)議棧中的位置

HTTP協(xié)議通常承載于TCP協(xié)議之上，有時(shí)也承載于TLS或SSL協(xié)議層之上，這個(gè)時(shí)候，就成了我們常說(shuō)的HTTPS。如下圖所示：
   

默認(rèn)HTTP的端口號(hào)為80，HTTPS的端口號(hào)為443。

1.3 HTTP的請(qǐng)求響應(yīng)模型

HTTP協(xié)議永遠(yuǎn)都是客戶端發(fā)起請(qǐng)求，服務(wù)器回送響應(yīng)。見(jiàn)下圖：
   

這樣就限制了使用HTTP協(xié)議，無(wú)法實(shí)現(xiàn)在客戶端沒(méi)有發(fā)起請(qǐng)求的時(shí)候，服務(wù)器將消息推送給客戶端。

HTTP協(xié)議是一個(gè)無(wú)狀態(tài)的協(xié)議，同一個(gè)客戶端的這次請(qǐng)求和上次請(qǐng)求是沒(méi)有對(duì)應(yīng)關(guān)系。

1.4 工作流程

一次HTTP操作稱(chēng)為一個(gè)事務(wù)，其工作過(guò)程可分為四步：

1）首先客戶機(jī)與服務(wù)器需要建立連接。只要單擊某個(gè)超級(jí)鏈接，HTTP的工作開(kāi)始。

2）建立連接后，客戶機(jī)發(fā)送一個(gè)請(qǐng)求給服務(wù)器，請(qǐng)求方式的格式為：統(tǒng)一資源標(biāo)識(shí)符（URL）、協(xié)議版本號(hào)，后邊是MIME信息包括請(qǐng)求修飾符、客戶機(jī)信息和可能的內(nèi)容。

3）服務(wù)器接到請(qǐng)求后，給予相應(yīng)的響應(yīng)信息，其格式為一個(gè)狀態(tài)行，包括信息的協(xié)議版本號(hào)、一個(gè)成功或錯(cuò)誤的代碼，后邊是MIME信息包括服務(wù)器信息、實(shí)體信息和可能的內(nèi)容。

4）客戶端接收服務(wù)器所返回的信息通過(guò)瀏覽器顯示在用戶的顯示屏上，然后客戶機(jī)與服務(wù)器斷開(kāi)連接。

如果在以上過(guò)程中的某一步出現(xiàn)錯(cuò)誤，那么產(chǎn)生錯(cuò)誤的信息將返回到客戶端，有顯示屏輸出。對(duì)于用戶來(lái)說(shuō)，這些過(guò)程是由HTTP自己完成的，用戶只要用鼠標(biāo)點(diǎn)擊，等待信息顯示就可以了。

1.5 使用Wireshark抓TCP、http包

打開(kāi)Wireshark，選擇工具欄上的“Capture”->“Options”，界面選擇如圖1所示：
                            

圖1 設(shè)置Capture選項(xiàng)

一般讀者只需要選擇最上邊的下拉框，選擇合適的Device，而后點(diǎn)擊“Capture Filter”，此處選擇的是“HTTP TCP port（80）”，選擇后點(diǎn)擊上圖的“Start”開(kāi)始抓包。
                                 

圖2 選擇Capture Filter

例如在瀏覽器中打開(kāi)http://image.baidu.com/，抓包如圖3所示：
   

圖3   抓包

在上圖中，可清晰的看到客戶端瀏覽器（ip為192.168.2.33）與服務(wù)器的交互過(guò)程：

1）No1：瀏覽器（192.168.2.33）向服務(wù)器（220.181.50.118）發(fā)出連接請(qǐng)求。此為T(mén)CP三次握手第一步，此時(shí)從圖中可以看出，為SYN，seq:X （x=0）

2）No2：服務(wù)器（220.181.50.118）回應(yīng)了瀏覽器（192.168.2.33）的請(qǐng)求，并要求確認(rèn)，此時(shí)為：SYN，ACK，此時(shí)seq：y（y為0），ACK：x+1（為1）。此為三次握手的第二步；

3）No3：瀏覽器（192.168.2.33）回應(yīng)了服務(wù)器（220.181.50.118）的確認(rèn)，連接成功。為：ACK，此時(shí)seq：x+1（為1），ACK：y+1（為1）。此為三次握手的第三步；

4）No4：瀏覽器（192.168.2.33）發(fā)出一個(gè)頁(yè)面HTTP請(qǐng)求；

5）No5：服務(wù)器（220.181.50.118）確認(rèn)；

6）No6：服務(wù)器（220.181.50.118）發(fā)送數(shù)據(jù)；

7）No7：客戶端瀏覽器（192.168.2.33）確認(rèn)；

8）No14：客戶端（192.168.2.33）發(fā)出一個(gè)圖片HTTP請(qǐng)求；

9）No15：服務(wù)器（220.181.50.118）發(fā)送狀態(tài)響應(yīng)碼200 OK

……

1.6 頭域

每個(gè)頭域由一個(gè)域名，冒號(hào)（:）和域值三部分組成。域名是大小寫(xiě)無(wú)關(guān)的，域值前可以添加任何數(shù)量的空格符，頭域可以被擴(kuò)展為多行，在每行開(kāi)始處，使用至少一個(gè)空格或制表符。

在抓包的圖中，No14點(diǎn)開(kāi)可看到如圖4所示：

圖4 http請(qǐng)求消息

       回應(yīng)的消息如圖5所示：
              

圖5 http狀態(tài)響應(yīng)信息

1.6.1 host頭域

Host頭域指定請(qǐng)求資源的Intenet主機(jī)和端口號(hào)，必須表示請(qǐng)求url的原始服務(wù)器或網(wǎng)關(guān)的位置。HTTP/1.1請(qǐng)求必須包含主機(jī)頭域，否則系統(tǒng)會(huì)以400狀態(tài)碼返回。

圖5中host那行為：

1.6.2 Referer頭域

Referer頭域允許客戶端指定請(qǐng)求uri的源資源地址，這可以允許服務(wù)器生成回退鏈表，可用來(lái)登陸、優(yōu)化cache等。他也允許廢除的或錯(cuò)誤的連接由于維護(hù)的目的被追蹤。如果請(qǐng)求的uri沒(méi)有自己的uri地址，Referer不能被發(fā)送。如果指定的是部分uri地址，則此地址應(yīng)該是一個(gè)相對(duì)地址。

在圖4中，Referer行的內(nèi)容為：

1.6.3 User-Agent頭域

User-Agent頭域的內(nèi)容包含發(fā)出請(qǐng)求的用戶信息。

在圖4中，User-Agent行的內(nèi)容為：
  

1.6.4 Cache-Control頭域

Cache-Control指定請(qǐng)求和響應(yīng)遵循的緩存機(jī)制。在請(qǐng)求消息或響應(yīng)消息中設(shè)置Cache-Control并不會(huì)修改另一個(gè)消息處理過(guò)程中的緩存處理過(guò)程。請(qǐng)求時(shí)的緩存指令包括no-cache、no-store、max-age、max-stale、min-fresh、only-if-cached，響應(yīng)消息中的指令包括public、private、no-cache、no-store、no-transform、must-revalidate、proxy-revalidate、max-age。

在圖5中的該頭域?yàn)椋?br>

1.6.5 Date頭域

Date頭域表示消息發(fā)送的時(shí)間，時(shí)間的描述格式由rfc822定義。例如，Date:Mon,31Dec200104:25:57GMT。Date描述的時(shí)間表示世界標(biāo)準(zhǔn)時(shí)，換算成本地時(shí)間，需要知道用戶所在的時(shí)區(qū)。

圖5中，該頭域如下圖所示：

 

1.7 HTTP的幾個(gè)重要概念

1.7.1連接：Connection

一個(gè)傳輸層的實(shí)際環(huán)流，它是建立在兩個(gè)相互通訊的應(yīng)用程序之間。

在http1.1，request和reponse頭中都有可能出現(xiàn)一個(gè)connection的頭，此header的含義是當(dāng)client和server通信時(shí)對(duì)于長(zhǎng)鏈接如何進(jìn)行處理。

在http1.1中，client和server都是默認(rèn)對(duì)方支持長(zhǎng)鏈接的， 如果client使用http1.1協(xié)議，但又不希望使用長(zhǎng)鏈接，則需要在header中指明connection的值為close；如果server方也不想支持長(zhǎng)鏈接，則在response中也需要明確說(shuō)明connection的值為close。不論request還是response的header中包含了值為close的connection，都表明當(dāng)前正在使用的tcp鏈接在當(dāng)天請(qǐng)求處理完畢后會(huì)被斷掉。以后client再進(jìn)行新的請(qǐng)求時(shí)就必須創(chuàng)建新的tcp鏈接了。

1.7.2消息：Message

HTTP通訊的基本單位，包括一個(gè)結(jié)構(gòu)化的八元組序列并通過(guò)連接傳輸。

1.7.3請(qǐng)求：Request

一個(gè)從客戶端到服務(wù)器的請(qǐng)求信息包括應(yīng)用于資源的方法、資源的標(biāo)識(shí)符和協(xié)議的版本號(hào)。

1.7.4響應(yīng)：Response

一個(gè)從服務(wù)器返回的信息包括HTTP協(xié)議的版本號(hào)、請(qǐng)求的狀態(tài)(例如“成功”或“沒(méi)找到”)和文檔的MIME類(lèi)型。

1.7.5資源：Resource

由URI標(biāo)識(shí)的網(wǎng)絡(luò)數(shù)據(jù)對(duì)象或服務(wù)。

1.7.6實(shí)體：Entity

數(shù)據(jù)資源或來(lái)自服務(wù)資源的回映的一種特殊表示方法，它可能被包圍在一個(gè)請(qǐng)求或響應(yīng)信息中。一個(gè)實(shí)體包括實(shí)體頭信息和實(shí)體的本身內(nèi)容。

1.7.7客戶機(jī)：Client

一個(gè)為發(fā)送請(qǐng)求目的而建立連接的應(yīng)用程序。

1.7.8用戶代理：UserAgent

初始化一個(gè)請(qǐng)求的客戶機(jī)。它們是瀏覽器、編輯器或其它用戶工具。

1.7.9服務(wù)器：Server

一個(gè)接受連接并對(duì)請(qǐng)求返回信息的應(yīng)用程序。

1.7.10源服務(wù)器：Originserver

是一個(gè)給定資源可以在其上駐留或被創(chuàng)建的服務(wù)器。

1.7.11代理：Proxy

一個(gè)中間程序，它可以充當(dāng)一個(gè)服務(wù)器，也可以充當(dāng)一個(gè)客戶機(jī)，為其它客戶機(jī)建立請(qǐng)求。請(qǐng)求是通過(guò)可能的翻譯在內(nèi)部或經(jīng)過(guò)傳遞到其它的服務(wù)器中。一個(gè)代理在發(fā)送請(qǐng)求信息之前，必須解釋并且如果可能重寫(xiě)它。

代理經(jīng)常作為通過(guò)防火墻的客戶機(jī)端的門(mén)戶，代理還可以作為一個(gè)幫助應(yīng)用來(lái)通過(guò)協(xié)議處理沒(méi)有被用戶代理完成的請(qǐng)求。

1.7.12網(wǎng)關(guān)：Gateway

一個(gè)作為其它服務(wù)器中間媒介的服務(wù)器。與代理不同的是，網(wǎng)關(guān)接受請(qǐng)求就好象對(duì)被請(qǐng)求的資源來(lái)說(shuō)它就是源服務(wù)器；發(fā)出請(qǐng)求的客戶機(jī)并沒(méi)有意識(shí)到它在同網(wǎng)關(guān)打交道。

網(wǎng)關(guān)經(jīng)常作為通過(guò)防火墻的服務(wù)器端的門(mén)戶，網(wǎng)關(guān)還可以作為一個(gè)協(xié)議翻譯器以便存取那些存儲(chǔ)在非HTTP系統(tǒng)中的資源。

1.7.13通道：Tunnel

是作為兩個(gè)連接中繼的中介程序。一旦激活，通道便被認(rèn)為不屬于HTTP通訊，盡管通道可能是被一個(gè)HTTP請(qǐng)求初始化的。當(dāng)被中繼的連接兩端關(guān)閉時(shí)，通道便消失。當(dāng)一個(gè)門(mén)戶(Portal)必須存在或中介(Intermediary)不能解釋中繼的通訊時(shí)通道被經(jīng)常使用。

1.7.14緩存：Cache

反應(yīng)信息的局域存儲(chǔ)。