apache使用.htaccess文件實(shí)現(xiàn)屏蔽wget下載網(wǎng)站內(nèi)容

更新時(shí)間：2014年07月31日 08:38:01 投稿：hebedich

wget是一個(gè)從網(wǎng)絡(luò)上自動(dòng)下載文件的自由工具，支持通過(guò)HTTP、HTTPS、FTP三個(gè)最常見(jiàn)的TCP/IP協(xié)議下載，并可以使用HTTP代理。wget名稱的由來(lái)是“World Wide Web”與“get”的結(jié)合。

經(jīng)發(fā)現(xiàn)，雖然wget遵循 robots.txt 規(guī)則，但是那個(gè)還是可以繞過(guò)去，現(xiàn)在把我自己使用的屏蔽方法分享給大家：

1. 屏蔽下載任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下載部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

您可能感興趣的文章:

相關(guān)文章

Linux中nohup與&的用法和區(qū)別詳解
這篇文章主要給大家介紹了關(guān)于Linux中nohup與&的用法和區(qū)別的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者使用Linux具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧
2019-10-10
一分鐘掌握l(shuí)inux系統(tǒng)目錄結(jié)構(gòu)
這篇文章主要介紹了linux系統(tǒng)目錄結(jié)構(gòu)，通過(guò)結(jié)構(gòu)圖和多張表格了解linux系統(tǒng)目錄結(jié)構(gòu)，感興趣的小伙伴們可以參考一下
2016-05-05
Ubuntu16.04源碼安裝Mininet
今天小編就為大家分享一篇關(guān)于Ubuntu16.04源碼安裝Mininet，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧
2018-10-10
Linux使用cd命令之實(shí)現(xiàn)切換目錄的完全指南
這篇文章主要介紹了Linux使用cd命令之實(shí)現(xiàn)切換目錄的完全指南,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
Linux下安裝Keepalived及原理分析
這篇文章主要介紹了在Linux環(huán)境下安裝Keepalived及原理分析，有興趣的朋友學(xué)習(xí)參考下吧。
2017-12-12
centos7 mysql數(shù)據(jù)庫(kù)安裝和配置
本篇文章主要介紹了centos7 mysql數(shù)據(jù)庫(kù)安裝和配置，非常具有實(shí)用價(jià)值，希望對(duì)大家實(shí)用mysql能夠有所幫助
2017-01-01
linux中通過(guò)文件描述符獲取文件絕對(duì)路徑的方法
下面小編就為大家?guī)?lái)一篇linux中通過(guò)文件描述符獲取文件絕對(duì)路徑的方法。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
2016-12-12
Linux基線檢查與安全加固方式
本文詳細(xì)介紹了Linux安全加固的多個(gè)方面,包括賬戶管理、口令策略、SSH安全設(shè)置等,首先,對(duì)于賬戶管理,介紹了口令鎖定策略、口令生存期、口令復(fù)雜度、密碼重用限制以及禁止存在空密碼賬戶等方面的檢查和加固操作,其次,在服務(wù)管理方面
2024-10-10
Ubuntu 14.04下安裝和配置redis數(shù)據(jù)庫(kù)
安裝Redis服務(wù)器，會(huì)自動(dòng)地一起安裝Redis命令行客戶端程序。在本機(jī)輸入redis-cli命令就可以啟動(dòng)，客戶端程序訪問(wèn)Redis服務(wù)器。
2016-04-04
Linux修改用戶密碼使用期限賬號(hào)到期時(shí)間問(wèn)題
在Linux系統(tǒng)中,通過(guò)chage命令能夠管理和查看用戶密碼的使用期限,特別是對(duì)root用戶的密碼過(guò)期時(shí)間進(jìn)行設(shè)置,chage命令可以設(shè)置密碼過(guò)期時(shí)間,提醒用戶在密碼過(guò)期前修改密碼,例如,可以設(shè)定root用戶的密碼180天后過(guò)期,并在到期前15天提醒用戶修改密碼
2024-10-10