使用Python來編寫HTTP服務器的超級指南
首先,到底什么是網絡服務器?

簡而言之,它是在物理服務器上搭建的一個網絡連接服務器(networking server),永久地等待客戶端發(fā)送請求。當服務器收到請求之后,它會生成響應并將 其返回至客戶端??蛻舳伺c服務器之間的通信,是以HTTP協(xié)議進行的??蛻舳丝梢允菫g覽器,也可以是任何支持HTTP協(xié)議的軟件。
那么,網絡服務器的簡單實現(xiàn)形式會是怎樣的呢?下面是我對此的理解。示例代碼使用Python語言實現(xiàn),不過即使你不懂Python語言,你應該也可以從代碼和下面的 解釋中理解相關的概念:
import socket HOST, PORT = '', 8888 listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) listen_socket.bind((HOST, PORT)) listen_socket.listen(1) print 'Serving HTTP on port %s ...' % PORT while True: client_connection, client_address = listen_socket.accept() request = client_connection.recv(1024) print request http_response = """\ HTTP/1.1 200 OK Hello, World! """ client_connection.sendall(http_response) client_connection.close()
將上面的代碼保存為webserver1.py,或者直接從我的[Github倉庫](https://github.com/rspivak/lsbaws/b lob/master/part1/webserver1.py)下載,然后通過命令行運行該文件:
$ python webserver1.py Serving HTTP on port 8888 …
接下來,在瀏覽器的地址欄輸入這個鏈接http://localhost:8888/hello, 然后按下回車鍵,你就會看見神奇的一幕。在瀏覽器中,應該會出現(xiàn)“ Hello, World!”這句話:

是不是很神奇?接下來,我們來分析背后的實現(xiàn)原理。
首先,我們來看你所輸入的網絡地址。它的名字叫URL(Uniform Resource Locator,統(tǒng)一資源定位符),其基本結構如下:

通過URL,你告訴了瀏覽器它所需要發(fā)現(xiàn)并連接的網絡服務器地址,以及獲取服務器上的頁面路徑。不過在瀏覽器發(fā)送HTTP請求之前,它首先要與目標網絡服務器建立TC P連接。然后,瀏覽器再通過TCP連接發(fā)送HTTP請求至服務器,并等待服務器返回HTTP響應。當瀏覽器收到響應的時候,就會在頁面上顯示響應的內容,而在上面的例
子中,瀏覽器顯示的就是“Hello, World!”這句話。
那么,在客戶端發(fā)送請求、服務器返回響應之前,二者究竟是如何建立起TCP連接的呢?要建立起TCP連接,服務器和客戶端都使用了所謂的套接字(socket)。接下 來,我們不直接使用瀏覽器,而是在命令行使用telnet手動模擬瀏覽器。
在運行網絡服務器的同一臺電腦商,通過命令行開啟一次telnet會話,將需要連接的主機設置為localhost,主機的連接端口設置為8888,然后 按回車鍵:
$ telnet localhost 8888 Trying 127.0.0.1 … Connected to localhost.
完成這些操作之后,你其實已經與本地運行的網絡服務器建立了TCP連接,隨時可以發(fā)送和接收HTTP信息。在下面這張圖片里,展示的是服務器接受新TCP連接所需要完 成的標準流程。

在上面那個telnet會話中,我們輸入GET /hello HTTP/1.1,然后按下回車:
$ telnet localhost 8888 Trying 127.0.0.1 … Connected to localhost. GET /hello HTTP/1.1 HTTP/1.1 200 OK Hello, World!
你成功地手動模擬了瀏覽器!你手動發(fā)送了一條HTTP請求,然后收到了HTTP響應。下面這幅圖展示的是HTTP請求的基本結構:

HTTP請求行包括了HTTP方法(這里使用的是GET方法,因為我們希望從服務器獲取內容),服務器頁面路徑(/hello)以及HTTP協(xié)議的版本。
為了盡量簡化,我們目前實現(xiàn)的網絡服務器并不會解析上面的請求,你完全可以輸入一些沒有任何意義的代碼,也一樣可以收到"Hello, World!"響應。
在你輸入請求代碼并按下回車鍵之后,客戶端就將該請求發(fā)送至服務器了,服務器則會解析你發(fā)送的請求,并返回相應的HTTP響應。
下面這張圖顯示的是服務器返回至客戶端的HTTP響應詳情:

我們來分析一下。響應中包含了狀態(tài)行HTTP/1.1 200 OK,之后是必須的空行,然后是HTTP響應的正文。
響應的狀態(tài)行HTTP/1.1 200 OK中,包含了HTTP版本、HTTP狀態(tài)碼以及與狀態(tài)碼相對應的原因短語(Reason Phrase)。瀏覽器收到響應之后,會顯示響應的正文,這就是為什么你會在瀏覽器中看到“Hello, World!”這句話。
這就是網絡服務器基本的工作原理了。簡單回顧一下:網絡服務器首先創(chuàng)建一個偵聽套接字(listening socket),并開啟一個永續(xù)循環(huán)接收新連接;客戶端啟 動一個與服務器的TCP連接,成功建立連接之后,向服務器發(fā)送HTTP請求,之后服務器返回HTTP響應。要建立TCP連接,客戶端和服務器都使用了套接字。
現(xiàn)在,你已經擁有了一個基本可用的簡易網絡服務器,你可以使用瀏覽器或其他HTTP客戶端進行測試。正如上文所展示的,通過telnet命令并手動輸入HTTP請 求,你自己也可以成為一個HTTP客戶端。
下面大家思考一下:如何在不對服務器代碼作任何修改的情況下,通過該服務器運行Djando應用、Flask應用和Pyramid應用,同時滿足這些不同網絡 框架的要求?
以前,你選擇的Python網絡框架將會限制所能夠使用的網絡服務器,反之亦然。如果框架和服務器在設計時就是可以相互匹配的,那你就不會面臨這個問題:

但是如果你試圖將設計不相匹配的服務器與框架相結合,那么你肯定就會碰到下面這張圖所展示的這個問題:

這就意味著,你基本上只能使用能夠正常運行的服務器與框架組合,而不能選擇你希望使用的服務器或框架。
那么,你怎樣確??梢栽诓恍薷木W絡服務器代碼或網絡框架代碼的前提下,使用自己選擇的服務器,并且匹配多個不同的網絡框架呢?為了解決這個問題,就出現(xiàn)了Python Web服務器網關接口(Python Web Server Gateway Interface,簡稱“WSGI”)。

WSGI的出現(xiàn),讓開發(fā)者可以將網絡框架與網絡服務器的選擇分隔開來,不再相互限制?,F(xiàn)在,你可以真正地將不同的網絡服務器與網絡開發(fā)框架進行混合搭配,選擇滿足自己需求的組合。例如,你可以使用Gunicorn或Nginx/uWSGI或Waitress服務器來運行Django、Flask或Pyramid應用。正是由于服務器和框架均支持WSGI,才真正得以實現(xiàn)二者之間的自由混合搭配。
所以,WSGI就是我在上一篇文章中所留問題的答案。你的網絡服務器必須實現(xiàn)一個服務器端的WSGI接口,而目前所有現(xiàn)代Python網絡框架都已經實現(xiàn)了框架端的WSGI接口,這樣開發(fā)者不需要修改服務器的代碼,就可以支持某個網絡框架。
網絡服務器和網絡框架支持WSGI協(xié)議,不僅讓應用開發(fā)者選擇符合自己需求的組合,同時也有利于服務器和框架的開發(fā)者,因為他們可以將注意力集中在自己擅長的領域,而不是相互傾軋。其他編程語言也擁有類似的接口:例如Java的Servlet API和Ruby的Rack。
口說無憑,我猜你肯定在想:“無代碼無真相!”既然如此,我就在這里給出一個非常簡單的WSGI服務器實現(xiàn):
# Tested with Python 2.7.9, Linux & Mac OS X
import socket
import StringIO
import sys
class WSGIServer(object):
address_family = socket.AF_INET
socket_type = socket.SOCK_STREAM
request_queue_size = 1
def __init__(self, server_address):
# Create a listening socket
self.listen_socket = listen_socket = socket.socket(
self.address_family,
self.socket_type
)
# Allow to reuse the same address
listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
# Bind
listen_socket.bind(server_address)
# Activate
listen_socket.listen(self.request_queue_size)
# Get server host name and port
host, port = self.listen_socket.getsockname()[:2]
self.server_name = socket.getfqdn(host)
self.server_port = port
# Return headers set by Web framework/Web application
self.headers_set = []
def set_app(self, application):
self.application = application
def serve_forever(self):
listen_socket = self.listen_socket
while True:
# New client connection
self.client_connection, client_address = listen_socket.accept()
# Handle one request and close the client connection. Then
# loop over to wait for another client connection
self.handle_one_request()
def handle_one_request(self):
self.request_data = request_data = self.client_connection.recv(1024)
# Print formatted request data a la 'curl -v'
print(''.join(
'< {line}\n'.format(line=line)
for line in request_data.splitlines()
))
self.parse_request(request_data)
# Construct environment dictionary using request data
env = self.get_environ()
# It's time to call our application callable and get
# back a result that will become HTTP response body
result = self.application(env, self.start_response)
# Construct a response and send it back to the client
self.finish_response(result)
def parse_request(self, text):
request_line = text.splitlines()[0]
request_line = request_line.rstrip('\r\n')
# Break down the request line into components
(self.request_method, # GET
self.path, # /hello
self.request_version # HTTP/1.1
) = request_line.split()
def get_environ(self):
env = {}
# The following code snippet does not follow PEP8 conventions
# but it's formatted the way it is for demonstration purposes
# to emphasize the required variables and their values
#
# Required WSGI variables
env['wsgi.version'] = (1, 0)
env['wsgi.url_scheme'] = 'http'
env['wsgi.input'] = StringIO.StringIO(self.request_data)
env['wsgi.errors'] = sys.stderr
env['wsgi.multithread'] = False
env['wsgi.multiprocess'] = False
env['wsgi.run_once'] = False
# Required CGI variables
env['REQUEST_METHOD'] = self.request_method # GET
env['PATH_INFO'] = self.path # /hello
env['SERVER_NAME'] = self.server_name # localhost
env['SERVER_PORT'] = str(self.server_port) # 8888
return env
def start_response(self, status, response_headers, exc_info=None):
# Add necessary server headers
server_headers = [
('Date', 'Tue, 31 Mar 2015 12:54:48 GMT'),
('Server', 'WSGIServer 0.2'),
]
self.headers_set = [status, response_headers + server_headers]
# To adhere to WSGI specification the start_response must return
# a 'write' callable. We simplicity's sake we'll ignore that detail
# for now.
# return self.finish_response
def finish_response(self, result):
try:
status, response_headers = self.headers_set
response = 'HTTP/1.1 {status}\r\n'.format(status=status)
for header in response_headers:
response += '{0}: {1}\r\n'.format(*header)
response += '\r\n'
for data in result:
response += data
# Print formatted response data a la 'curl -v'
print(''.join(
'> {line}\n'.format(line=line)
for line in response.splitlines()
))
self.client_connection.sendall(response)
finally:
self.client_connection.close()
SERVER_ADDRESS = (HOST, PORT) = '', 8888
def make_server(server_address, application):
server = WSGIServer(server_address)
server.set_app(application)
return server
if __name__ == '__main__':
if len(sys.argv) < 2:
sys.exit('Provide a WSGI application object as module:callable')
app_path = sys.argv[1]
module, application = app_path.split(':')
module = __import__(module)
application = getattr(module, application)
httpd = make_server(SERVER_ADDRESS, application)
print('WSGIServer: Serving HTTP on port {port} ...\n'.format(port=PORT))
httpd.serve_forever()
上面的代碼比第一部分的服務器實現(xiàn)代碼要長的多,但是這些代碼實際也不算太長,只有不到150行,大家理解起來并不會太困難。上面這個服務器的功能也更多——它可以運行你使用自己喜歡的框架所寫出來的網絡應用,無論你選擇Pyramid、Flask、Django或是其他支持WSGI協(xié)議的框架。
你不信?你可以自己測試一下,看看結果如何。將上述代碼保存為webserver2.py,或者直接從我的Github倉庫下載。如果你運行該文件時沒有提供任何參數(shù),那么程序就會報錯并退出。
$ python webserver2.py Provide a WSGI application object as module:callable
上述程序設計的目的,就是運行你開發(fā)的網絡應用,但是你還需要滿足一些它的要求。要運行服務器,你只需要安裝Python即可。但是要運行使用Pyramid、Flask和Django等框架開發(fā)的網絡應用,你還需要先安裝這些框架。我們接下來安裝這三種框架。我傾向于使用virtualenv安裝。請按照下面的提示創(chuàng)建并激活一個虛擬環(huán)境,然后安裝這三個網絡框架。
$ [sudo] pip install virtualenv $ mkdir ~/envs $ virtualenv ~/envs/lsbaws/ $ cd ~/envs/lsbaws/ $ ls bin include lib $ source bin/activate (lsbaws) $ pip install pyramid (lsbaws) $ pip install flask (lsbaws) $ pip install django
接下來,你需要創(chuàng)建一個網絡應用。我們首先創(chuàng)建Pyramid應用。將下面的代碼保存為pyramidapp.py文件,放至webserver2.py所在的文件夾中,或者直接從我的Github倉庫下載該文件:
from pyramid.config import Configurator
from pyramid.response import Response
def hello_world(request):
return Response(
'Hello world from Pyramid!\n',
content_type='text/plain',
)
config = Configurator()
config.add_route('hello', '/hello')
config.add_view(hello_world, route_name='hello')
app = config.make_wsgi_app()
現(xiàn)在,你可以通過自己開發(fā)的網絡服務器來啟動上面的Pyramid應用。
(lsbaws) $ python webserver2.py pyramidapp:app WSGIServer: Serving HTTP on port 8888 ...
在運行webserver2.py時,你告訴自己的服務器去加載pyramidapp模塊中的app可調用對象(callable)。你的服務器現(xiàn)在可以接收HTTP請求,并將請求中轉至你的Pyramid應用。應用目前只能處理一個路由(route):/hello。在瀏覽器的地址欄輸入http://localhost:8888/hello,按下回車鍵,觀察會出現(xiàn)什么情況:

你還可以在命令行使用curl命令,來測試服務器運行情況:
$ curl -v http://localhost:8888/hello ...
接下來我們創(chuàng)建Flask應用。重復上面的步驟。
from flask import Flask
from flask import Response
flask_app = Flask('flaskapp')
@flask_app.route('/hello')
def hello_world():
return Response(
'Hello world from Flask!\n',
mimetype='text/plain'
)
app = flask_app.wsgi_app
將上面的代碼保存為flaskapp.py,或者直接從我的Github倉庫下載文件,并運行:
(lsbaws) $ python webserver2.py flaskapp:app WSGIServer: Serving HTTP on port 8888 ...
然后在瀏覽器地址欄輸入http://localhost:8888/hello,并按下回車:

同樣,在命令行使用curl命令,看看服務器是否會返回Flask應用生成的信息:
$ curl -v http://localhost:8888/hello ...
這個服務器是不是也能支持Django應用?試一試就知道了!不過接下來的操作更為復雜一些,我建議大家克隆整個倉庫,并使用其中的djangoapp.py文件。下面的代碼將一個名叫helloworld的Django應用添加至當前的Python路徑中,然后導入了該項目的WSGI應用。
import sys sys.path.insert(0, './helloworld') from helloworld import wsgi app = wsgi.application
將上面的代碼保存為djangoapp.py,并使用你開發(fā)的服務器運行這個Django應用。
(lsbaws) $ python webserver2.py djangoapp:app WSGIServer: Serving HTTP on port 8888 ...
同樣,在瀏覽器中輸入http://localhost:8888/hello,并按下回車鍵:

接下來,和前面幾次一樣,你通過命令行使用curl命令進行測試,確認了這個Djando應用成功處理了你發(fā)出的請求:
$ curl -v http://localhost:8888/hello ...
你有沒有按照上面的步驟測試?你做到了讓服務器支持全部三種框架嗎?如果沒有,請盡量自己動手操作。閱讀代碼很重要,但這系列文章的目的在于重新開發(fā),而這意味著你需要自己親自動手。最好是你自己重新輸入所有的代碼,并確保代碼運行結果符合預期。
經過上面的介紹,你應該已經認識到了WSGI的強大之處:它可以讓你自由混合搭配網絡服務器和框架。WSGI為Python網絡服務器與Python網絡框架之間的交互提供了一個極簡的接口,而且非常容易在服務器端和框架端實現(xiàn)。下面的代碼段分別展示了服務器端和框架端的WSGI接口:
def run_application(application):
"""Server code."""
# This is where an application/framework stores
# an HTTP status and HTTP response headers for the server
# to transmit to the client
headers_set = []
# Environment dictionary with WSGI/CGI variables
environ = {}
def start_response(status, response_headers, exc_info=None):
headers_set[:] = [status, response_headers]
# Server invokes the ‘application' callable and gets back the
# response body
result = application(environ, start_response)
# Server builds an HTTP response and transmits it to the client
…
def app(environ, start_response):
"""A barebones WSGI app."""
start_response('200 OK', [('Content-Type', 'text/plain')])
return ['Hello world!']
run_application(app)
下面給大家解釋一下上述代碼的工作原理:
網絡框架提供一個命名為application的可調用對象(WSGI協(xié)議并沒有指定如何實現(xiàn)這個對象)。
服務器每次從HTTP客戶端接收請求之后,調用application。它會向可調用對象傳遞一個名叫environ的字典作為參數(shù),其中包含了WSGI/CGI的諸多變量,以及一個名為start_response的可調用對象。
框架/應用生成HTTP狀態(tài)碼以及HTTP響應報頭(HTTP response headers),然后將二者傳遞至start_response,等待服務器保存。此外,框架/應用還將返回響應的正文。
服務器將狀態(tài)碼、響應報頭和響應正文組合成HTTP響應,并返回給客戶端(這一步并不屬于WSGI協(xié)議)。
下面這張圖直觀地說明了WSGI接口的情況:

有一點要提醒大家,當你使用上述框架開發(fā)網絡應用的時候,你處理的是更高層級的邏輯,并不會直接處理WSGI協(xié)議相關的要求,但是我很清楚,既然你正在看這篇文章,你一定對框架端的WSGI接口很感興趣。所以,我們接下來在不使用Pyramid、Flask或Djando框架的前提下,自己開發(fā)一個極簡的WSGI網絡應用/網絡框架,并使用WSGI服務器運行該應用:
def app(environ, start_response):
"""A barebones WSGI application.
This is a starting point for your own Web framework :)
"""
status = '200 OK'
response_headers = [('Content-Type', 'text/plain')]
start_response(status, response_headers)
return ['Hello world from a simple WSGI application!\n']
將上述代碼保存為wsgiapp.py文件,或者直接從我的Github倉庫下載,然后利用網絡服務器運行該應用:
(lsbaws) $ python webserver2.py wsgiapp:app WSGIServer: Serving HTTP on port 8888 ...
在瀏覽器中輸入下圖中的地址,然后按回車鍵。結果應該是這樣的:

你剛剛自己編寫了一個極簡的WSGI網絡框架!太不可思議了。
接下來,我們重新分析服務器返回給客戶端的對象。下面這張圖展示的是你通過HTTP客戶端調用Pyramid應用后,服務器生成的HTTP響應:

上圖中的響應與你在第一篇中看到的有些類似,但是也有明顯不同之處。舉個例子,其中就出現(xiàn)了你之前沒有看到過的4歌HTTP報頭:Content-Type,Content-Length,Date和Server。這些事網絡服務器返回的響應對象通常都會包含的報頭。不過,這四個都不是必須的。報頭的目的是傳遞有關HTTP請求/響應的額外信息。
既然你已經對WSGI接口有了更深的理解,下面這張圖對響應對象的內容進行了更詳細的解釋,說明了每條內容是如何產生的。

到目前為止,我還沒有介紹過environ字典的具體內容,但簡單來說,它是一個必須包含著WSGI協(xié)議所指定的某些WSGI和CGI變量。服務器從HTTP請求中獲取字典所需的值。下面這張圖展示的是字典的詳細內容:

網絡框架通過該字典提供的信息,根據(jù)指定的路由和請求方法等參數(shù)來決定使用哪個視圖(views),從哪里讀取請求正文,以及如何輸出錯誤信息。
截至目前,你已經成功創(chuàng)建了自己的支持WSGI協(xié)議的網絡服務器,還利用不同的網絡框架開發(fā)了多個網絡應用。另外,你還自己開發(fā)了一個極簡的網絡框架。本文介紹的內容不可謂不豐富。我們接下來回顧一下WSGI網絡服務器如何處理HTTP請求:
- 首先,服務器啟動并加載網絡框架/應用提供的application可調用對象
- 然后,服務器讀取一個請求信息
- 然后,服務器對請求進行解析
- 然后,服務器使用請求數(shù)據(jù)創(chuàng)建一個名叫environ的字典
- 然后,服務器以environ字典和start_response可調用對象作為參數(shù),調用application,并獲得應用生成的響應正文。
- 然后,服務器根據(jù)調用application對象后返回的數(shù)據(jù),以及start_response設置的狀態(tài)碼和響應標頭,構建一個HTTP響應。
- 最后,服務器將HTTP響應返回至客戶端。

以上就是第二部分的所有內容。你現(xiàn)在已經擁有了一個正常運行的WSGI服務器,可以支持通過遵守WSGI協(xié)議的網絡框架所寫的網絡應用。最棒的是,這個服務器可以不需要作任何代碼修改,就可以與多個網絡框架配合使用。
相關文章
Python利用函數(shù)式編程實現(xiàn)優(yōu)化代碼
函數(shù)式編程(Functional Programming)是一種編程范式,它將計算視為函數(shù)的求值,并且避免使用可變狀態(tài)和循環(huán),在Python中還可以利用它的簡潔和高效來解決實際問題,下面我們就來學習一下它的具體用法吧2023-11-11
Python利用tkinter和socket實現(xiàn)端口掃描
這篇文章主要為大家詳細介紹了Python如何利用tkinter和socket實現(xiàn)端口掃描功能,文中的示例代碼講解詳細,感興趣的小伙伴可以嘗試一下2022-12-12
Python實現(xiàn)去除列表中重復元素的方法小結【4種方法】
這篇文章主要介紹了Python實現(xiàn)去除列表中重復元素的方法,結合實例形式總結分析了Python列表去重的4種實現(xiàn)方法,涉及Python針對列表的遍歷、判斷、排序等相關操作技巧,需要的朋友可以參考下2018-04-04
用python一行代碼得到數(shù)組中某個元素的個數(shù)方法
今天小編就為大家分享一篇用python一行代碼得到數(shù)組中某個元素的個數(shù)方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2019-01-01

