Falls du über deine Server-Logs hier gelandet bist: Anfragen mit dem User-Agent sven.guru website monitor - https://sven.guru/monitoring stammen von einem kleinen, privaten und nicht-kommerziellen Uptime-Monitor, den ich, Sven Koschnicke, betreibe. Er prüft, ob eine Handvoll Websites, die mir am Herzen liegen, erreichbar sind. Er ist keine Suchmaschine, kein Archiv, kein SEO-Tool und kein Crawler, der Trainingsdaten sammelt.

So sperrst du ihn aus

Trag das in deine robots.txt ein:

User-agent: SvenGuruMonitor
Disallow: /

Der Monitor speichert die robots.txt bis zu 24 Stunden zwischen, nach spätestens etwa einem Tag hört er also auf. Danach liest er nur noch einmal am Tag deine robots.txt, um zu sehen, ob sie sich geändert hat, und ruft sonst nichts mehr von deiner Website ab.

Was er abruft

  • Pro Website nur die eine eingestellte URL, meist die Startseite, per GET. Er crawlt nicht, folgt keinen Links, lädt keine Bilder, kein CSS und kein JavaScript und führt nichts aus.
  • Er folgt bis zu 5 Weiterleitungen, liest höchstens die ersten 64 KB der Antwort und gibt nach 15 Sekunden auf.
  • Er speichert nur Statuscode, Antwortzeit und Ergebnis (ok, Fehler, gedrosselt). Der Seiteninhalt wird nicht gespeichert. Detaillierte Ergebnisse bleiben 30 Tage erhalten, danach nur noch die tägliche Verfügbarkeit.
  • Die Ergebnisse erscheinen nur auf einem privaten Dashboard in meinem Heimnetz. Nichts davon wird veröffentlicht.

Wie oft

  • Solange eine Website erreichbar ist: alle 5 Minuten (±10 % Jitter), also etwa 12 Anfragen pro Stunde oder 290 am Tag.
  • Nach einer fehlgeschlagenen Anfrage: ein erneuter Versuch nach etwa 1 Minute. Solange eine Website nicht erreichbar ist: weitere Versuche nach 1, 2 und 4 Minuten, danach alle 5 Minuten.

Drosselung

  • Ein 429 Too Many Requests zählt nie als Ausfall, der Monitor hält sich dann einfach zurück.
  • Retry-After wird bei jeder Antwort beachtet, in Sekunden oder als HTTP-Datum. Verlangt es eine längere Pause als der normale Zeitplan, wartet der Monitor so lange (höchstens 1 Stunde pro Anweisung). Öfter prüft er dadurch nie.

Details zur robots.txt

Der Monitor hält sich an RFC 9309:

  • Produkt-Token: SvenGuruMonitor. Gibt es eine Gruppe für dieses Token, gilt sie, sonst die Gruppe für *.
  • Die robots.txt wird pro Origin abgerufen und bis zu 24 Stunden zwischengespeichert. Bei Weiterleitungen wird jeder Schritt vor dem Abruf gegen die robots.txt seines eigenen Origins geprüft.
  • Verbietet die robots.txt die URL, ruft der Monitor von der Website gar nichts mehr ab und liest nur noch einmal am Tag die robots.txt neu.
  • Fehlt die robots.txt (404 oder ein anderer 4xx-Status), gilt das laut RFC als „erlaubt“. Lässt sie sich nicht abrufen (Serverfehler, Timeout) und hat der Monitor keine frühere Kopie, ruft er die Website gar nicht ab.

Kontakt

Falls der Monitor sich danebenbenimmt oder du deine robots.txt nicht ändern kannst, schreib mir an s.koschnicke@gfxpro.com. Dann passe ich den Monitor für deine Site an.