使用BeautifulSoup爬蟲程序獲取百度搜索結(jié)果的標(biāo)題和url示例
熟悉Java的jsoup包的話，對(duì)于Python的BeautifulSoup庫應(yīng)該很容易上手。
#coding: utf-8
import sys
import urllib
import urllib2
from BeautifulSoup import BeautifulSoup
question_word = "吃貨 程序員"
url = "http://www.baidu.com/s?wd=" + urllib.quote(question_word.decode(sys.stdin.encoding).encode('gbk'))
htmlpage = urllib2.urlopen(url).read()
soup = BeautifulSoup(htmlpage)
print len(soup.findAll("table", {"class": "result"}))
for result_table in soup.findAll("table", {"class": "result"}):
a_click = result_table.find("a")
print "-----標(biāo)題----\n" + a_click.renderContents()#標(biāo)題
print "----鏈接----\n" + str(a_click.get("href"))#鏈接
print "----描述----\n" + result_table.find("div", {"class": "c-abstract"}).renderContents()#描述
print
相關(guān)文章
Python圖像的增強(qiáng)處理操作示例【基于ImageEnhance類】
這篇文章主要介紹了Python圖像的增強(qiáng)處理操作,結(jié)合實(shí)例形式分析了使用ImageEnhance類處理圖片的亮度、對(duì)比度、色度以及銳度等相關(guān)操作技巧,需要的朋友可以參考下2019-01-01
今天小編就為大家分享一篇python迭代dict的key和value的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07
今天小編就為大家分享一篇關(guān)于Python使用字典的嵌套功能詳解，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧2019-02-02
函數(shù)是具有某種特定功能的代碼塊，可以重復(fù)使用。這篇文章將為大家詳細(xì)介紹Python中函數(shù)的定義與使用，感興趣的小伙伴可以學(xué)習(xí)一下2022-06-06
今天抽空給大家介紹Django模板層過濾器和繼承的問題，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2021-07-07
Python不同目錄間進(jìn)行模塊調(diào)用的實(shí)現(xiàn)方法
這篇文章主要介紹了Python不同目錄間進(jìn)行模塊調(diào)用的實(shí)現(xiàn)方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-01-01
python 通過手機(jī)號(hào)識(shí)別出對(duì)應(yīng)的微信性別(實(shí)例代碼)
這篇文章主要介紹了python 通過手機(jī)號(hào)識(shí)別出對(duì)應(yīng)的微信性別，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-12-12
這篇文章主要介紹了Python二叉樹的定義及常用遍歷算法,結(jié)合實(shí)例形式分析了基于Python的二叉樹定義與先序、中序、后序、層序等遍歷方法,需要的朋友可以參考下2017-11-11
本文給大家介紹的是在Python中調(diào)用fortran代碼，主要是用到了f2py這個(gè)程序，十分的實(shí)用，有需要的小伙伴可以參考下2016-04-04
在本篇文章里小編給大家整理的是一篇關(guān)于python樹的同構(gòu)學(xué)習(xí)筆記以及相關(guān)實(shí)例代碼內(nèi)容，有需要的朋友們學(xué)習(xí)下。2019-09-09