python爬蟲爬取網(wǎng)頁表格數(shù)據(jù)

更新時(shí)間：2018年03月07日 10:41:32 作者：zhuxunyuoyi

這篇文章主要為大家詳細(xì)介紹了python爬蟲爬取網(wǎng)頁表格數(shù)據(jù)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下

用python爬取網(wǎng)頁表格數(shù)據(jù)，供大家參考，具體內(nèi)容如下

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
 
 
#檢查url地址 
def check_link(url): 
 try: 
   
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('無法鏈接服務(wù)器?。?！') 
 
 
#爬取資源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
  
#保存資源 
def save_contents(urlist): 
 with open("D:/2016年中國(guó)企業(yè)500強(qiáng)排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中國(guó)企業(yè)500強(qiáng)排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html" 
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
 
main()

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

TensorFlow打印tensor值的實(shí)現(xiàn)方法
今天小編就為大家分享一篇TensorFlow打印tensor值的實(shí)現(xiàn)方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-07-07
python購物車程序簡(jiǎn)單代碼
這篇文章主要為大家詳細(xì)介紹了python購物車程序的簡(jiǎn)單代碼，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-04-04
python3.4用函數(shù)操作mysql5.7數(shù)據(jù)庫
這篇文章主要為大家詳細(xì)介紹了python3.4用函數(shù)操作mysql5.7數(shù)據(jù)庫，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-06-06
Python將文本去空格并保存到txt文件中的實(shí)例
今天小編就為大家分享一篇Python將文本去空格并保存到txt文件中的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
2018-07-07
python神經(jīng)網(wǎng)絡(luò)MobileNetV3?small模型的復(fù)現(xiàn)詳解
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)MobileNetV3?small模型的復(fù)現(xiàn)詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-05-05
Python中最強(qiáng)大的重試庫Tenacity使用探索
這篇文章主要為大家介紹了Python中最強(qiáng)大的重試庫Tenacity使用探索,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-12-12
Django數(shù)據(jù)庫如何在原有表中添加新字段
這篇文章主要介紹了Django數(shù)據(jù)庫如何在原有表中添加新字段問題,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2023-09-09
用python實(shí)現(xiàn)批量重命名文件的代碼
任務(wù)很簡(jiǎn)單，某個(gè)目錄下面有幾千個(gè)文件，某些文件沒有后綴名，現(xiàn)在的任務(wù)就是將所有的沒有后綴名的文件加上后綴名，python有現(xiàn)成的函數(shù)可以實(shí)現(xiàn)，但是在實(shí)現(xiàn)過程中遇到幾個(gè)問題，分享一下解決方法
2012-05-05
Flask框架運(yùn)用Ajax實(shí)現(xiàn)數(shù)據(jù)交互的示例代碼
使用Ajax技術(shù)網(wǎng)頁應(yīng)用能夠快速地將增量更新呈現(xiàn)在用戶界面上，而不需要重載刷新整個(gè)頁面，這使得程序能夠更快地回應(yīng)用戶的操作，本文將簡(jiǎn)單介紹使用AJAX如何實(shí)現(xiàn)前后端數(shù)據(jù)通信
2022-11-11
Anaconda安裝pytorch及配置PyCharm 2021環(huán)境
小編使用的是python3.8版本，為了防止訪問量過大導(dǎo)致http連接失敗，所以采用本地安裝，具體安裝方法本文給大家詳細(xì)介紹，在文章底部給大家提到了PyCharm 2021配置環(huán)境的方法，感興趣的朋友一起看看吧
2021-06-06