AI Crawler Bots im Forum

Hallo zusammen,

seit heute Vormittag, ggf schon gestern Abend - da hatte ich auch einmal diese Fehlermeldung…

…gab es latente Probleme mit dem Forum.

Das sollte nun behoben sein. Vor ca einer Stunde habe ich das Forum neu gestartet, und eben noch ein Update gemacht.

Falls noch etwas ist, bitte Bescheid geben.

Schönen Feiertag, frohe Ostern und viele Grüße,
Martin

2 Likes

Update: Nun sogar den kompletten Server neu gestartet, aber keine Besserung. Bemerkt, dass hier ein „Angriff“ von einem „claudebot“ läuft, der zig Anfragen je Sekunde von allen möglichen Amazon AWS Instanzen macht. Anscheinend ist das ein AI Crawler Bot. Unfassbar. Hab dem jetzt mal per robots.txt verboten, die Seite zu crawlen. Hoffentlich wird’s nun wieder gut…

1 Like

Nun tobt sich ein Bot aus Krakau auf dem Sidemount-Forum Webserver aus. Daher habt Ihr nun häufig den Fehler 429 gesehen. Ich hoffe, das beruhigt sich nun etwas - grenzt echt schon an einer DoS Attacke. Falls nicht, werde ich die IP sperren. Aber das geht natürlich nur so lange gut, wie sich diese nicht ändert - oder ein neuer Angreifer hinzukommt.

1 Like

Anscheinend fehlte da ein kleiner Schnipsel in der Config, die diesen Fehler (bzw eben nicht mehr als einen sinnvollen Wert von Verbindungen zulässt) auf einzelne User begrenzt, also in dem Fall auf den Bot.

Dieser Schnipsel ist nun eingebaut und das Forum neu kompiliert. Da der Bot aktuell wieder am Start ist und auch diese Fehler bekommt - sehe ich im Log - ich selbst aber problemlos im Sidemount-Forum surfen kann, hat das nach aktueller Sicht wirklich etwas gebracht bzw war ggf sogar die Lösung. Bitte schaut auch mal und sagt Bescheid, solltet Ihr weiter den 429er Fehler sehen. Und falls ja, bitte die genaue Uhrzeit merken und mir mitteilen.

3 Likes

du hast den 429 kaputt gemacht -)

1 Like

Hatte den Fehler gegen ca 15 Uhr

Das wäre „okay“. Die Änderung war so gegen 16:30.

Zum Thema der AI Crawler Bots, die sich über Webseiten wie die unsere hermachen wie der Teufel über die arme Seele:

Ah ja okay. Dann wäre das ja geklärt. :face_vomiting:

…ja Moment, dann gilt das js z.B. auch für Windows 11:

https://www.microsoft.com/de-de/software-download/windows11

warum hermachen? du meinst die finden hier verwertbaren content?
:transgender_symbol:

2 Likes

Das Forum war eben rund ne Stunde down. Habe ne neue Version installiert und das war diesmal ein wenig mühsam. Aber irgendwann hat’s geklappt. :wink:

Can we fix the Forum?

…um es mal mit Stunni zu sagen. Nur warum ist das der Biden und nicht Bob? So toll hat der sich neulich nicht geschlagen… :wink: :see_no_evil:

Ein paar Nacharbeiten muss ich im Forum noch erledigen, dann sollte wieder alles up-to-date sein.

2 Likes

Wer es gerne auch noch auf Deutsch lesen möchte:

https://www.heise.de/news/Chef-von-Microsoft-AI-haelt-Inhalte-im-Internet-fuer-Freeware-9784023.html

Ist zwar off-topic, aber nachdem wir hier auch betroffen waren bzw sind (es fällt nun halt nicht mehr auf), ein neuer Artikel zu dem Thema Claudebot und Co:

https://www.heise.de/news/Bericht-KI-Start-up-Anthropic-soll-unerlaubt-Daten-abgreifen-9817584.html

1 Like

Mal gucken, ob es da mal ein Plugin für Discourse gibt. :wink:

Nein, das Forum war nicht down. Aber zu dem Thema der AI Bots passt dieser Artikel von Heise zur robots.txt Datei:

https://www.heise.de/hintergrund/Nachruf-Abschied-von-robots-txt-1994-2025-10752448.html?seite=all

1 Like

Seit Samstag geht es hier wieder rund mit den AI Crawlern im Forum.

Diesmal aber getarnt. Zugriffe aus einem (teilweisen) B-Netz 43.173.x.x und alle als normaler Browser (Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/110.0.0.0 Safari/537.36) unterwegs.

Falls das Forum also nicht so reagiert wie gewohnt, entschuldigt bitte. Das hört auch wieder auf…

1 Like

Ich habe jetzt genau gar nichts verstanden. Bin it DAU.

Dann bist Du wohl nicht die Zielgruppe meines Beitrags von vorhin. Was nicht schlimm ist, nicht jeder teilt eine ähnliche Begeisterung für diese Themen. Wichtig ist nur:

1 Like