Spider und Bots mit htaccess sperren

Sperren Sie nervige Spider und Bots Ihrer Webseite komplett und dauerhaft mit der htaccess aus.

home » htaccess » spider und bots mit der htaccess sperren

Bots und Spider sind nervig

Mit diesem kleinen Trick, sperren Sie die lästigen Quälgeister aus Ihrer Webseite komplett und sofort aus. Nehmen Sie je Bot und Spider einen einzelnen Eintrag in der htaccess vor und die Sache ist erledigt.

Bots in htaccess sperren

Tragen Sie die folgenden Zeilen in die htaccess je Bot und je Spider ein

RewriteEngine on
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} AhrefsBot       [OR]
RewriteCond %{HTTP_USER_AGENT} PetalBot        [OR]
RewriteCond %{HTTP_USER_AGENT} AppleWebKit     [OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot         [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot          [OR]
RewriteCond %{HTTP_USER_AGENT} mojeek          [OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot       [OR]
RewriteCond %{HTTP_USER_AGENT} RepoLookoutBot  [OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [OR]
RewriteCond %{HTTP_USER_AGENT} googlebot
RewriteRule .* - [R=403,L]

Code

speichern die Datei auf dem Webserver wie gewohnt ab und testen die Einstellung vom lokalen PC aus.

Bot Sperre testen

Rufen Sie unter Windows die PowerShell auf und geben das folgende Commndo ein (wichtig: DotBot sollte irgendwo im Text auftauchen, es geht aber auch jeder andere Bot den Sie blockieren möchten):

wget -Uri "http://domain.tld" -UserAgent "irgendwas DotBot hier auch irgendwas"

Code

und die Console sollte dann einen

ERROR 403 Forbidden 

Code

empfangen können. Damit haben Sie eine Sperre gegen den DotBot in der htaccess eingerichtet und erfolgreich getestet.

Hilfe zu wget (Invoke-WebRequest)

Wenn Sie weiterführende Informationen zu wget brauchen, nutzen Sie die folgende OnlineDoku von Microsoft:

wget


FlightCMS
2024-01-28
Beitrag,Sortieren,Datum,Titel,ASC,DESC
post

WordPress 6 - Das umfassende Handbuch. Über 1.000 Seiten zu WordPress inkl. Themes, Plug-ins, WooCommerce, SEO und mehr - Mit WordPress mehr als nur ein Blog betreiben - es ist auch ein weit verbreitetes Content-Management-System. Im Buch finden Sie das Rundumpaket für jedes Anwendungsszenario: alle Installationen, Entwicklung und Administration eigener Themes und Plugins und Einstieg in HTML und CSS. Als Fortgeschrittener in Sachen WordPress werden Sie viele wertvolle Tipps und Hilfe finden, etwa bei Themen wie Custom Post Types oder Programmieren von Erweiterungen. So sind Sie schnell in der Lage, Ihr Webprojekt zum Erfolg zu bringen.

Wir können mit so genannten Affiliate-Links den Betrieb der Webseite etwas unterstützen, für Sie als Leser ist das natürlich vollkommen kostenlos.

Impressum


CMSWorkbench ist ein Tec- und Entwickler-Seite, rund um die Webtechniken der Content Management Systeme.

Datenschutz


Diese Webseite nutzt keine Cookies oder sonstige Speichermechanismen, die einen Rückschluss auf das Leserverhalten zulassen.

Kontakt


Sie können mit der Redaktion oder dem Administrator via eMail unter der Adresse: Kontakt@Oliver-Lohse.de aufnehmen.