python常見的框架有哪些

1.scrapy框架

scrapy框架是一套比較成熟的python爬蟲框架，是使用python開發(fā)的快速、高層次的信息爬取框架，可以高效率地爬取web頁面并提取出我們關注的結構化數(shù)據(jù)。

scrapy框架的應用領域有許多，比如網(wǎng)絡爬蟲，數(shù)據(jù)挖掘、數(shù)據(jù)監(jiān)測、自動化測試等。

scrapy框架是一套開源的框架，開源也就意味著我們能夠看到并且免費試用scrapy的所有代碼。

2.crawley框架

crawley也是使用python開發(fā)出來的一款爬蟲框架，該框架致力于改變人們從互聯(lián)網(wǎng)中提取數(shù)據(jù)的方式，讓大家可以更高效地從互聯(lián)網(wǎng)中爬取對應內容。

crawley框架的主要特點有：

• 1>高速爬取對應網(wǎng)站內容
• 2> 可以將爬取到內容輕松地存儲到數(shù)據(jù)庫中，比如：postgres，mysql，oracle，sqlite等數(shù)據(jù)庫
• 3>可以將爬取到的數(shù)據(jù)導出為json，xml等格式
• 4>支持非關系型數(shù)據(jù)庫，比如：mongodb，couchdb等
• 5>支持使用命令行工具
• 6>可以使用你喜歡的工具提取數(shù)據(jù)，比如使用xpath或者pyquery等工具
• 7>支持使用cookie登陸并訪問哪些只有登陸才能夠訪問的網(wǎng)頁
• 8>簡單易學

3.portia框架

portia框架是一款允許沒有任何編程基礎的用戶可視化地爬取網(wǎng)頁的爬蟲框架，給出你要爬取的網(wǎng)頁中感興趣的數(shù)據(jù)內容，通過portia框架，可以將你所需要的信息從相似的網(wǎng)頁中自動提取出來，如果需要，可以子啊github上的主頁進行獲取。

如果需要，上百度自己查吧，具體的我就不寫了。

4.newspaper框架

newspaper框架是一種用來提取新聞、文章以及內容分析的python爬蟲框架。

更準確地說，newspaper是一個python的庫，只不過這個庫是由第三方開發(fā)的，可以歸為一種框架。

newspaper框架在的主要特點：

• 1>比較簡單
• 2>速度比較快
• 3>支持多線程
• 4>支持十多種語言

由此我們可以知道newspaper框架是輕量級框架，并且就爬取文章信息這一功能來說，使用起來很方便

5.Python-goose框架

coose本來是一款用java寫的文章提取工具，Xavier Grangier用python重寫了goose，并將重寫后goose命名為python-goose。

所以，python-coose框架實現(xiàn)的功能同樣是進行文章提取。

總結

以上是python常用的5種框架，這是我知道，如果各位大神，還有其他的 ，也可以留言，相互溝通，學習。

另外后面3種框架可以再github上找到。希望能給大家一個參考，也希望大家多多支持腳本之家。