Python實現(xiàn)爬蟲從網(wǎng)絡上下載文檔的實例代碼
更新時間：2018年06月13日 11:05:03 作者：筱峰學長
小編最近在研究python，接觸到了爬蟲，本文給大家?guī)砹薖ython實現(xiàn)爬蟲從網(wǎng)絡上下載文檔的知識。下面小編把具體實例代碼分享到腳本之家平臺，感興趣的朋友參考下吧
最近在學習Python，自然接觸到了爬蟲，寫了一個小型爬蟲軟件，從初始Url解析網(wǎng)頁，使用正則獲取待爬取鏈接，使用beautifulsoup解析獲取文本，使用自己寫的輸出器可以將文本輸出保存，具體代碼如下：
Spider_main.py
# coding:utf8
from baike_spider import url_manager, html_downloader, html_parser, html_outputer
class SpiderMain(object):
def __init__(self):
self.urls = url_manager.UrlManager()
self.downloader = html_downloader.HtmlDownloader()
self.parser = html_parser.HtmlParser()
self.outputer = html_outputer.HtmlOutputer()
def craw(self, root_url):
count = 1
self.urls.add_new_url(root_url)
while self.urls.has_new_url():
print("self.urls.has %s" % self.urls.new_urls)
try:
new_url = self.urls.get_new_url()
print("craw %d : %s"%(count, new_url))
html_cont = self.downloader.download(new_url)
new_urls, new_data = self.parser.parse(new_url, html_cont)
self.urls.add_new_urls(new_urls)
self.outputer.collect_data(new_data)
if count == 1000:
break
count = count + 1
except:
print("craw failed")
self.outputer.output_html()
self.outputer.output_txt()
if __name__ == '__main__':
root_url = "http://www.shushu8.com/jiangnan/longzu2qianzhuan/1"
obj_spider = SpiderMain()
obj_spider.craw(root_url)
url_manager.py
class UrlManager(object):
def __init__(self):
self.new_urls = set()
self.old_urls = set()
def add_new_url(self, url):
print(url)
if url is None:
return
if url not in self.new_urls and url not in self.old_urls:
self.new_urls.add(url)
def has_new_url(self):
return len(self.new_urls) != 0
def get_new_url(self):
new_url = self.new_urls.pop()
self.old_urls.add(new_url)
# print('new url is %s' % new_url)
return new_url
def add_new_urls(self, urls):
print("add_new_urls %s" % urls)
if urls is None or len(urls) == 0:
return
for url in urls:
self.add_new_url(url)
print(url)
html_parser.py
import re
import urllib.parse
from bs4 import BeautifulSoup
class HtmlParser(object):
def parse(self, page_url, html_cont):
if page_url is None or html_cont is None:
return
soup = BeautifulSoup(html_cont, 'html.parser', from_encoding='utf-8')
new_urls = self._get_new_urls(page_url, soup)
print("parse new_urls %s" % new_urls)
new_data = self._get_new_data(page_url, soup)
return new_urls, new_data
def _get_new_data(self, page_url, soup):
res_data = {}
res_data['url'] = page_url
print(page_url)
title_node = soup.find(class_="title").find("h1")
print(title_node.get_text())
res_data['title'] = title_node.get_text()
print("_get_new_data")
summary_node = soup.find('pre')
print(summary_node.get_text())
res_data['summary'] = summary_node.get_text()
return res_data
def _get_new_urls(self, page_url, soup):
new_urls = set()
links = soup.find_all('a', href=re.compile(r"/jiangnan/"))
print(links)
for link in links:
new_url = link['href']
new_full_url = urllib.parse.urljoin(page_url, new_url)
new_urls.add(new_full_url)
# print(new_full_url)
return new_urls
html_downloader.py
import urllib.request
class HtmlDownloader(object):
def download(self, url):
if url is None:
return None
response = urllib.request.urlopen(url)
if response.getcode() != 200:
return None
return response.read()
html_outputer.py
class HtmlOutputer(object):
def __init__(self):
self.datas = []
def collect_data(self, data):
if data is None:
return
self.datas.append(data)
def output_txt(self):
fout = open('output.txt', 'w', encoding='utf-8')
for data in self.datas:
fout.write('%s \n' % data['title'])
fout.write('%s \n' % data['summary'])
def output_html(self):
fout = open('output.html', 'w', encoding='utf-8')
fout.write('<html>')
fout.write('<body>')
fout.write('<table>')
for data in self.datas:
fout.write('<tr>')
fout.write('<td>%s</td>' % data['url'])
fout.write('<td>%s</td>' % data['title'])
fout.write('<td>%s</td>' % data['summary'])
fout.write('</tr>')
fout.write('</table>')
fout.write('</body>')
fout.write('</html>')
fout.close()
總結
以上所述是小編給大家介紹的Python實現(xiàn)爬蟲從網(wǎng)絡上下載文檔的實例代碼，希望對大家有所幫助，如果大家有任何疑問請給我留言，小編會及時回復大家的。在此也非常感謝大家對腳本之家網(wǎng)站的支持！
相關文章
基于PyQt5實現(xiàn)狀態(tài)欄(statusBar)顯示和隱藏功能
這篇文章主要為大家詳細介紹了如何利用PyQt5實現(xiàn)狀態(tài)欄顯示和隱藏功能，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2022-08-08
這篇文章主要介紹了python讀取csv文件示例,這個示例簡單說明了一下python操作csv的方法,需要的朋友可以參考下2014-03-03
下面小編就為大家?guī)硪黄猵ython遞歸刪除指定目錄及其所有內(nèi)容的方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-01-01
這篇文章主要給大家分享的是?Python思維導圖匯總，對大家學習或工作或許有一定參考價值，需要的朋友可以參考一下，洗碗給對你有所幫助2022-01-01
Python字符串格式化f-string多種功能實現(xiàn)
這篇文章主要介紹了Python字符串格式化f-string格式多種功能實現(xiàn),文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-05-05
邏輯門是任何數(shù)字電路的基本構建塊。它需要一兩個輸入并根據(jù)這些輸入產(chǎn)生輸出。本文將通過示例和大家講講Python中的7個基本邏輯門，感興趣的可以了解一下2022-09-09
這篇文章主要介紹了Python3爬樓梯算法,涉及Python基于面向對象的字符串遍歷、切片、運算等相關操作技巧,需要的朋友可以參考下2019-03-03
python實現(xiàn)循環(huán)語句1到100累和
這篇文章主要介紹了python循環(huán)語句1到100累和方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教2022-05-05
Python實現(xiàn)批量將MP3音頻轉為WAV格式詳解
這篇文章主要介紹了通過Python實現(xiàn)將MP3音頻轉為WAV格式的方法，文中的示例代碼講解詳細，對我們學習Python有一定幫助，感興趣的可以了解一下2021-12-12
對django 2.x版本中models.ForeignKey()外鍵說明介紹
這篇文章主要介紹了對django 2.x版本中models.ForeignKey()外鍵說明介紹，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-03-03