跳到主要內容

Apache 防止 bot 的設定

1、

 Options All -Indexes

RewriteEngine on


# Block Bad Bots & Scrapers

SetEnvIfNoCase User-Agent "Aboundex" bad_bot

SetEnvIfNoCase User-Agent "80legs" bad_bot

SetEnvIfNoCase User-Agent "360Spider" bad_bot

SetEnvIfNoCase User-Agent "^Java" bad_bot

SetEnvIfNoCase User-Agent "^Cogentbot" bad_bot

SetEnvIfNoCase User-Agent "^Alexibot" bad_bot

SetEnvIfNoCase User-Agent "^asterias" bad_bot

SetEnvIfNoCase User-Agent "^attach" bad_bot

SetEnvIfNoCase User-Agent "^BackDoorBot" bad_bot

SetEnvIfNoCase User-Agent "^BackWeb" bad_bot

SetEnvIfNoCase User-Agent "Bandit" bad_bot

SetEnvIfNoCase User-Agent "^BatchFTP" bad_bot

SetEnvIfNoCase User-Agent "^Bigfoot" bad_bot

SetEnvIfNoCase User-Agent "^Black.Hole" bad_bot

SetEnvIfNoCase User-Agent "^BlackWidow" bad_bot

SetEnvIfNoCase User-Agent "^BlowFish" bad_bot

SetEnvIfNoCase User-Agent "^BotALot" bad_bot

SetEnvIfNoCase User-Agent "Buddy" bad_bot

SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot

SetEnvIfNoCase User-Agent "^Bullseye" bad_bot

SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot

SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot

SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot

SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot

SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot

SetEnvIfNoCase User-Agent "Collector" bad_bot

SetEnvIfNoCase User-Agent "Copier" bad_bot

SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot

SetEnvIfNoCase User-Agent "^cosmos" bad_bot

SetEnvIfNoCase User-Agent "^Crescent" bad_bot

SetEnvIfNoCase User-Agent "^Custo" bad_bot

SetEnvIfNoCase User-Agent "^AIBOT" bad_bot

SetEnvIfNoCase User-Agent "^DISCo" bad_bot

SetEnvIfNoCase User-Agent "^DIIbot" bad_bot

SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot

SetEnvIfNoCase User-Agent "^Download\ Demon" bad_bot

SetEnvIfNoCase User-Agent "^Download\ Devil" bad_bot

SetEnvIfNoCase User-Agent "^Download\ Wonder" bad_bot

SetEnvIfNoCase User-Agent "^dragonfly" bad_bot

SetEnvIfNoCase User-Agent "^Drip" bad_bot

SetEnvIfNoCase User-Agent "^eCatch" bad_bot

SetEnvIfNoCase User-Agent "^EasyDL" bad_bot

SetEnvIfNoCase User-Agent "^ebingbong" bad_bot

SetEnvIfNoCase User-Agent "^EirGrabber" bad_bot

SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot

SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot

SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot

SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot

SetEnvIfNoCase User-Agent "^Exabot" bad_bot

SetEnvIfNoCase User-Agent "^Express\ WebPictures" bad_bot

SetEnvIfNoCase User-Agent "Extractor" bad_bot

SetEnvIfNoCase User-Agent "^EyeNetIE" bad_bot

SetEnvIfNoCase User-Agent "^Foobot" bad_bot

SetEnvIfNoCase User-Agent "^flunky" bad_bot

SetEnvIfNoCase User-Agent "^FrontPage" bad_bot

SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bad_bot

SetEnvIfNoCase User-Agent "^gotit" bad_bot

SetEnvIfNoCase User-Agent "^GrabNet" bad_bot

SetEnvIfNoCase User-Agent "^Grafula" bad_bot

SetEnvIfNoCase User-Agent "^Harvest" bad_bot

SetEnvIfNoCase User-Agent "^hloader" bad_bot

SetEnvIfNoCase User-Agent "^HMView" bad_bot

SetEnvIfNoCase User-Agent "^HTTrack" bad_bot

SetEnvIfNoCase User-Agent "^humanlinks" bad_bot

SetEnvIfNoCase User-Agent "^IlseBot" bad_bot

SetEnvIfNoCase User-Agent "^Image\ Stripper" bad_bot

SetEnvIfNoCase User-Agent "^Image\ Sucker" bad_bot

SetEnvIfNoCase User-Agent "Indy\ Library" bad_bot

SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot

SetEnvIfNoCase User-Agent "^InfoTekies" bad_bot

SetEnvIfNoCase User-Agent "^Intelliseek" bad_bot

SetEnvIfNoCase User-Agent "^InterGET" bad_bot

SetEnvIfNoCase User-Agent "^Internet\ Ninja" bad_bot

SetEnvIfNoCase User-Agent "^Iria" bad_bot

SetEnvIfNoCase User-Agent "^Jakarta" bad_bot

SetEnvIfNoCase User-Agent "^JennyBot" bad_bot

SetEnvIfNoCase User-Agent "^JetCar" bad_bot

SetEnvIfNoCase User-Agent "^JOC" bad_bot

SetEnvIfNoCase User-Agent "^JustView" bad_bot

SetEnvIfNoCase User-Agent "^Jyxobot" bad_bot

SetEnvIfNoCase User-Agent "^Kenjin.Spider" bad_bot

SetEnvIfNoCase User-Agent "^Keyword.Density" bad_bot

SetEnvIfNoCase User-Agent "^larbin" bad_bot

SetEnvIfNoCase User-Agent "^LexiBot" bad_bot

SetEnvIfNoCase User-Agent "^lftp" bad_bot

SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot

SetEnvIfNoCase User-Agent "^likse" bad_bot

SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot

SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bad_bot

SetEnvIfNoCase User-Agent "^LNSpiderguy" bad_bot

SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot

SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot

SetEnvIfNoCase User-Agent "^LWP::Simple" bad_bot

SetEnvIfNoCase User-Agent "^Magnet" bad_bot

SetEnvIfNoCase User-Agent "^Mag-Net" bad_bot

SetEnvIfNoCase User-Agent "^MarkWatch" bad_bot

SetEnvIfNoCase User-Agent "^Mass\ Downloader" bad_bot

SetEnvIfNoCase User-Agent "^Mata.Hari" bad_bot

SetEnvIfNoCase User-Agent "^Memo" bad_bot

SetEnvIfNoCase User-Agent "^Microsoft.URL" bad_bot

SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bad_bot

SetEnvIfNoCase User-Agent "^MIDown\ tool" bad_bot

SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot

SetEnvIfNoCase User-Agent "^Mirror" bad_bot

SetEnvIfNoCase User-Agent "^Missigua\ Locator" bad_bot

SetEnvIfNoCase User-Agent "^Mister\ PiX" bad_bot

SetEnvIfNoCase User-Agent "^moget" bad_bot

SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bad_bot

SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bad_bot

SetEnvIfNoCase User-Agent "^NAMEPROTECT" bad_bot

SetEnvIfNoCase User-Agent "^Navroad" bad_bot

SetEnvIfNoCase User-Agent "^NearSite" bad_bot

SetEnvIfNoCase User-Agent "^NetAnts" bad_bot

SetEnvIfNoCase User-Agent "^Netcraft" bad_bot

SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot

SetEnvIfNoCase User-Agent "^NetSpider" bad_bot

SetEnvIfNoCase User-Agent "^Net\ Vampire" bad_bot

SetEnvIfNoCase User-Agent "^NetZIP" bad_bot

SetEnvIfNoCase User-Agent "^NextGenSearchBot" bad_bot

SetEnvIfNoCase User-Agent "^NG" bad_bot

SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot

SetEnvIfNoCase User-Agent "^niki-bot" bad_bot

SetEnvIfNoCase User-Agent "^NimbleCrawler" bad_bot

SetEnvIfNoCase User-Agent "^Ninja" bad_bot

SetEnvIfNoCase User-Agent "^NPbot" bad_bot

SetEnvIfNoCase User-Agent "^Octopus" bad_bot

SetEnvIfNoCase User-Agent "^Offline\ Explorer" bad_bot

SetEnvIfNoCase User-Agent "^Offline\ Navigator" bad_bot

SetEnvIfNoCase User-Agent "^Openfind" bad_bot

SetEnvIfNoCase User-Agent "^OutfoxBot" bad_bot

SetEnvIfNoCase User-Agent "^PageGrabber" bad_bot

SetEnvIfNoCase User-Agent "^Papa\ Foto" bad_bot

SetEnvIfNoCase User-Agent "^pavuk" bad_bot

SetEnvIfNoCase User-Agent "^pcBrowser" bad_bot

SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bad_bot

SetEnvIfNoCase User-Agent "^Pockey" bad_bot

SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot

SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot

SetEnvIfNoCase User-Agent "^psbot" bad_bot

SetEnvIfNoCase User-Agent "^Pump" bad_bot

SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bad_bot

SetEnvIfNoCase User-Agent "^RealDownload" bad_bot

SetEnvIfNoCase User-Agent "Reaper" bad_bot

SetEnvIfNoCase User-Agent "Recorder" bad_bot

SetEnvIfNoCase User-Agent "^ReGet" bad_bot

SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot

SetEnvIfNoCase User-Agent "^RMA" bad_bot

SetEnvIfNoCase User-Agent "Siphon" bad_bot

SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot

SetEnvIfNoCase User-Agent "^SlySearch" bad_bot

SetEnvIfNoCase User-Agent "^SmartDownload" bad_bot

SetEnvIfNoCase User-Agent "^Snake" bad_bot

SetEnvIfNoCase User-Agent "^Snapbot" bad_bot

SetEnvIfNoCase User-Agent "^Snoopy" bad_bot

SetEnvIfNoCase User-Agent "^sogou" bad_bot

SetEnvIfNoCase User-Agent "^SpaceBison" bad_bot

SetEnvIfNoCase User-Agent "^SpankBot" bad_bot

SetEnvIfNoCase User-Agent "^spanner" bad_bot

SetEnvIfNoCase User-Agent "^Sqworm" bad_bot

SetEnvIfNoCase User-Agent "Stripper" bad_bot

SetEnvIfNoCase User-Agent "Sucker" bad_bot

SetEnvIfNoCase User-Agent "^SuperBot" bad_bot

SetEnvIfNoCase User-Agent "^SuperHTTP" bad_bot

SetEnvIfNoCase User-Agent "^Surfbot" bad_bot

SetEnvIfNoCase User-Agent "^suzuran" bad_bot

SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot

SetEnvIfNoCase User-Agent "^tAkeOut" bad_bot

SetEnvIfNoCase User-Agent "^Teleport" bad_bot

SetEnvIfNoCase User-Agent "^Telesoft" bad_bot

SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bad_bot

SetEnvIfNoCase User-Agent "^The.Intraformant" bad_bot

SetEnvIfNoCase User-Agent "^TheNomad" bad_bot

SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot

SetEnvIfNoCase User-Agent "^Titan" bad_bot

SetEnvIfNoCase User-Agent "^True_Robot" bad_bot

SetEnvIfNoCase User-Agent "^turingos" bad_bot

SetEnvIfNoCase User-Agent "^TurnitinBot" bad_bot

SetEnvIfNoCase User-Agent "^URLy.Warning" bad_bot

SetEnvIfNoCase User-Agent "^Vacuum" bad_bot

SetEnvIfNoCase User-Agent "^VCI" bad_bot

SetEnvIfNoCase User-Agent "^VoidEYE" bad_bot

SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bad_bot

SetEnvIfNoCase User-Agent "^Web\ Sucker" bad_bot

SetEnvIfNoCase User-Agent "^WebAuto" bad_bot

SetEnvIfNoCase User-Agent "^WebBandit" bad_bot

SetEnvIfNoCase User-Agent "^Webclipping.com" bad_bot

SetEnvIfNoCase User-Agent "^WebCopier" bad_bot

SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bad_bot

SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot

SetEnvIfNoCase User-Agent "^WebFetch" bad_bot

SetEnvIfNoCase User-Agent "^WebGo\ IS" bad_bot

SetEnvIfNoCase User-Agent "^Web.Image.Collector" bad_bot

SetEnvIfNoCase User-Agent "^WebLeacher" bad_bot

SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot

SetEnvIfNoCase User-Agent "^WebReaper" bad_bot

SetEnvIfNoCase User-Agent "^WebSauger" bad_bot

SetEnvIfNoCase User-Agent "^Website\ eXtractor" bad_bot

SetEnvIfNoCase User-Agent "^Website\ Quester" bad_bot

SetEnvIfNoCase User-Agent "^Webster" bad_bot

SetEnvIfNoCase User-Agent "^WebStripper" bad_bot

SetEnvIfNoCase User-Agent "^WebWhacker" bad_bot

SetEnvIfNoCase User-Agent "^WebZIP" bad_bot

SetEnvIfNoCase User-Agent "Whacker" bad_bot

SetEnvIfNoCase User-Agent "^Widow" bad_bot

SetEnvIfNoCase User-Agent "^WISENutbot" bad_bot

SetEnvIfNoCase User-Agent "^WWWOFFLE" bad_bot

SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot

SetEnvIfNoCase User-Agent "^Xaldon" bad_bot

SetEnvIfNoCase User-Agent "^Xenu" bad_bot

SetEnvIfNoCase User-Agent "^Zeus" bad_bot

SetEnvIfNoCase User-Agent "ZmEu" bad_bot

SetEnvIfNoCase User-Agent "^Zyborg" bad_bot


# Vulnerability Scanners

SetEnvIfNoCase User-Agent "Acunetix" bad_bot

SetEnvIfNoCase User-Agent "FHscan" bad_bot


# Aggressive Chinese Search Engine

SetEnvIfNoCase User-Agent "Baiduspider" bad_bot


# Aggressive Russian Search Engine

SetEnvIfNoCase User-Agent "Yandex" bad_bot



<Limit GET POST HEAD>

Order Allow,Deny

Allow from all


# Cyveillance

deny from 38.100.19.8/29

deny from 38.100.21.0/24

deny from 38.100.41.64/26

deny from 38.105.71.0/25

deny from 38.105.83.0/27

deny from 38.112.21.140/30

deny from 38.118.42.32/29

deny from 65.213.208.128/27

deny from 65.222.176.96/27

deny from 65.222.185.72/29


Deny from env=bad_bot

</Limit>

https://help.dreamhost.com/hc/en-us/articles/216105077-How-can-I-control-bots-spiders-and-crawlers-

 


留言

張貼留言

這個網誌中的熱門文章

Arudino 教學（三）：多顆 LEDs

本次實作將加深 LED 電路，練習多顆 LEDs 與共地線電路，並使用 Arduino Uno 進行控制。另外， 本次實作每個同學需要抄寫「實作目的」、「線路說明」、「程式說明」與「進階」作為實作報告。 實作目的： 熟悉多顆 LEDs 與共地線電路接線 使用 Arduino 程式進行多顆 LEDs 控制 電路圖： 線路說明： LEDs 負極（短腳）共同連接在一起，再接至 Arduino GND（接地）腳位 LEDs 正極（長腳）先連接一220Ω 電阻之後，再分別連接至 Arduino 10 號與 11號腳位 程式截圖： 程式說明： 在 setup 區塊中，利用 pinMode 設定 10 腳位為輸出用途，設定 11 腳位為輸出用途 在 loop 區域中，利用 digitalWrite 送出 HIGH 點亮  LED，LOW 關閉 LED 燈，其中 10 號腳位 HIGH 時，11號腳位則為 LOW，反之亦然 delay(1000) 延遲一秒 進階： 改變延遲時間 增加閃動變化 增加 LED 的數量
張貼留言
閱讀完整內容

IPv6 系列（五）：KEA DHCP SERVER

學校在純 IPv4 的環境時，採用 ISC-DHCP Server 來發放教學區域的私有 IP（10.10.xxx.xxx），並使用閘道 Fortigate 作 NAT 連接到 Internet。 採用 IPv6 後，原本是要使用 ISC-DHCPv6 來作為 IPv6 發放，結果 ISC-DHCPv6 架不起來。不過在查詢 DHCPv6 的過程中，發現 ISC（Internet System Consortium）已開發出下一代的 DHCP Server：Kea Dhcp Server。 Kea Dhcp Server 官網： https://www.isc.org/kea/ 摘錄  https://www.itread01.com/content/1548712273.html  對 Kea DHCP Server 的介紹： Kea DHCP Server 由 Internet Systems Consortium(ISC) 開發的開源 DHCPv4/DHCPv6 伺服器。Kea DHCP Server 是一個高效能的，可擴充套件的DHCP伺服器引擎。通過hooks library可以很容易的修改和擴充套件。 Kea包含的功能元件 keactrl — kea伺服器啟動，停止，配置重置和狀態查詢元件 kea-dhcp4 — DHCPv4伺服器程式，用於響應客戶端的DHCPv4查詢。 kea-dhcp6 — DHCPv6伺服器程式，用於響應客戶端的DHCPv6查詢。 kea-dhcp-ddns — DHCP動態DNS程式.這個程式在DHCP伺服器和DNS伺服器之間扮演者調解者。它接收來自DHCP伺服器域名更新請求和傳送DNS更新訊息給DNS伺服器。也就是說DDNS捕獲使用者每次變化的IP地址，然後將其與域名相對應，這樣其他上網使用者就可以通過域名來進行交流。而最終客戶所要記憶的全部，就是記住動態域名商給予的域名即可，而不用去管他們是如何實現的。 軟體執行環境 加密庫Botan或者OpenSSL log4cplus 1.0.3+ 如果有需要mysql，需要MySQL headers and libraries。可選(postgresql、cassandra類同) 選用 Kea DHCP Server 的原因，...
張貼留言
閱讀完整內容

幾個網頁排版技巧

  1、首行縮排2字元 中文文章會習慣每段的首行縮排2字元 CSS設定：text-indent: 2em 2、利用 Web font loader 動態載入網路字型 JS： <script src="https://ajax.googleapis.com/ajax/libs/webfont/1.6.26/webfont.js"></script> <script>      WebFont.load({           google: {   families: ['Noto Sans TC','Droid Sans'] }   }); </script> 參考資料： 網路字型載入工具  |  Google Fonts  |  Google Developers typekit/webfontloader: Web Font Loader gives you added control when using linked fonts via @font-face. (github.com) 网页字体优化之字体异步加载 | Blog @ GIUEM Web字体载入利器（Web Font Loader）使用详解（Web字体加载缓慢解决办法）_web加载字体_lt_1111的博客-CSDN博客 Web字体载入利器-->Web Font Loader - w3ctech 3、常用CDN jQuery CDN Google Hosted Libraries  |  Google Developers 4、改善字型 render body { -webkit-font-smoothing: antialiased; -moz-osx-font-smoothing: grayscale; font-smoothing: antialiased; }
張貼留言
閱讀完整內容