Spider und Bots mit htaccess sperren

home htaccess

ChatGPT - Alltägliche Aufgaben mit Prompts meistern   -  Du möchtest wissen, wie du KI richtig nutzt und davon profitieren kannst? Dann wird dir dieses Workbook eine große Hilfe sein. Rainer Hattenhauer zeigt anhand einer Vielzahl praktischer Beispiele aus den unterschiedlichsten Anwendungsbereichen ganz konkret, wie KI dein Leben erleichtern kann. Egal ob du Texte verfassen, recherchieren, Bilder generieren oder deinen eigenen Programmcode erstellen möchtest. Hier kannst du auch ohne Vorkenntnisse direkt loslegen und die gängigen KI-Frontends ausprobieren. Inklusive ChatGPT, DALL-E 2, Midjourney, DeepL Write etc.

Wir sind Mitglied im Amazon.Partnernet und können mit Affiliate-Links den Betrieb der Webseite etwas unterstützen, für Sie als Leser ist das natürlich vollkommen kostenlos.

Sperren Sie nervige Spider und Bots Ihrer Webseite komplett und dauerhaft mit der htaccess aus.

Bots und Spider sind nervig

Mit diesem kleinen Trick, sperren Sie die lästigen Quälgeister aus Ihrer Webseite komplett und sofort aus. Nehmen Sie je Bot und Spider einen einzelnen Eintrag in der htaccess vor und die Sache ist erledigt.

Bots in htaccess sperren

Tragen Sie die folgenden Zeilen in die htaccess je Bot und je Spider ein

RewriteEngine on
RewriteBase /

RewriteCond %{HTTP_USER_AGENT} AhrefsBot       [OR]
RewriteCond %{HTTP_USER_AGENT} PetalBot        [OR]
RewriteCond %{HTTP_USER_AGENT} AppleWebKit     [OR]
RewriteCond %{HTTP_USER_AGENT} mj12bot         [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot          [OR]
RewriteCond %{HTTP_USER_AGENT} mojeek          [OR]
RewriteCond %{HTTP_USER_AGENT} YandexBot       [OR]
RewriteCond %{HTTP_USER_AGENT} RepoLookoutBot  [OR]
RewriteCond %{HTTP_USER_AGENT} python-requests [OR]
RewriteCond %{HTTP_USER_AGENT} googlebot
RewriteRule .* - [R=403,L]

Code

speichern die Datei auf dem Webserver wie gewohnt ab und testen die Einstellung vom lokalen PC aus.

Bot Sperre testen

Rufen Sie unter Windows die PowerShell auf und geben das folgende Commndo ein (wichtig: DotBot sollte irgendwo im Text auftauchen, es geht aber auch jeder andere Bot den Sie blockieren möchten):

wget -Uri "http://domain.tld" -UserAgent "irgendwas DotBot hier auch irgendwas"

Code

und die Console sollte dann einen

ERROR 403 Forbidden 

Code

empfangen können. Damit haben Sie eine Sperre gegen den DotBot in der htaccess eingerichtet und erfolgreich getestet.

Hilfe zu wget (Invoke-WebRequest)

Wenn Sie weiterführende Informationen zu wget brauchen, nutzen Sie die folgende OnlineDoku von Microsoft:

wget


 28.01.2024    Kontakt@Oliver-Lohse.de    Spider Bot blockieren sperren

SEO-Wissen für erfolgreiches Online-Marketing - Komplett aktualisiert und erweitert   -  Die Suchmaschinen-Optimierung ist eine der wichtigsten Disziplinen im Online-Marketing. Wenn es Ihnen darum geht, für Ihre Webseite oder Ihren Webshop ein Top-Ranking in den SERPs zu erzielen, müssen Sie wissen, wie Suchmaschinen ticken und welche Stellschrauben Sie wie einstellen. Sebastian Erlhofers SEO-Handbuch ist für Ihre SEO-Ausbildung ein wichtiger Begleiter und ein Quell an Wissen, aus dem Sie Praxiswissen und Profitipps schöpfen.

Wir sind Mitglied im Amazon.Partnernet und können mit Affiliate-Links den Betrieb der Webseite etwas unterstützen, für Sie als Leser ist das natürlich vollkommen kostenlos.

Weitere passende Beiträge

wlwmanifest.xml mit htaccess blockieren

 htaccess  URI URL Spider Bot sperren blockieren


Blockieren Sie die nervigen Test von wlwmanifest.xml und co mit der htaccess

Spider und Bots in htaccess sperren

 yellow  Spider Bot


Sperren Sie nervige Spider und Bots Ihrer Webseite komplett und dauerhaft mit der htaccess aus.

Externen Zugriff auf Logfiles verbieten

 htaccess  Sperren Ordner Verzeichnis Datei


So verbieten Sie den Zugriff auf das Logfile ihrer Webseite in der htaccess

Impressum


CMSWorkbench.de ist eine reine Entwickler-Webseite und dient vorwiegend als Wissensspeicher für die Entwicklung von CMS

Datenschutz


Die Webseite verwendet keinerlei Tracking- oder Speicher-Mechanismen, die Rückschlüsse auf Ihre IP oder das Leseverhalten zulassen

Affiliate


Wir sind Mitglied im Amazon Partnernet und können mit Affiliate-Links (* den Betrieb der Seite etwas unterstützen, für Sie ist das natürlich kostenlos

Kontakt


Sie können mit uns über eMail Kontakt aufnehmen, schreiben Sie an Kontakt@Oliver-Lohse.de