Bots und Spider sind nervig

Mit diesem kleinen Trick, sperren Sie die lästigen Quälgeister aus Ihrer Webseite komplett und sofort aus. Nehmen Sie je Bot und Spider einen einzelnen Eintrag in der htaccess vor und die Sache ist erledigt.

Bots in htaccess sperren

Tragen Sie die folgenden Zeilen in die htaccess je Bot und je Spider ein

RewriteEngine on
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} PetalBot [OR]
RewriteCond %{HTTP_USER_AGENT} AppleWebKit [OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} mojeek [OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot [OR]
RewriteCond %{HTTP_USER_AGENT} RepoLookoutBot [OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [OR]
RewriteCond %{HTTP_USER_AGENT} googlebot
RewriteRule .* - [R=403,L]

speichern die Datei auf dem Webserver wie gewohnt ab und testen die Einstellung vom lokalen PC aus.

Bot Sperre testen

Rufen Sie unter Windows die PowerShell auf und geben das folgende Commndo ein (wichtig: DotBot sollte irgendwo im Text auftauchen, es geht aber auch jeder andere Bot den Sie blockieren möchten):

wget -Uri "http://domain.tld" -UserAgent "irgendwas DotBot hier auch irgendwas"

und die Console sollte dann einen

ERROR 403 Forbidden

empfangen können. Damit haben Sie eine Sperre gegen den DotBot in der htaccess eingerichtet und erfolgreich getestet.

Hilfe zu wget (Invoke-WebRequest)

Wenn Sie weiterführende Informationen zu wget brauchen, nutzen Sie die folgende OnlineDoku von Microsoft:

wget

von Oliver Lohse