# Website-Monitor

> Was der Bot SvenGuruMonitor ist, was er abruft und wie du ihn aussperrst.

- Kanonische URL: https://sven.guru/de/monitoring/
- Übersetzung (English): https://sven.guru/monitoring/index.md


Falls du über deine Server-Logs hier gelandet bist: Anfragen mit dem User-Agent
`sven.guru website monitor - https://sven.guru/monitoring` stammen von einem
kleinen, privaten und nicht-kommerziellen Uptime-Monitor, den ich, Sven
Koschnicke, betreibe. Er prüft, ob eine Handvoll Websites, die mir am Herzen
liegen, erreichbar sind. Er ist keine Suchmaschine, kein Archiv, kein SEO-Tool
und kein Crawler, der Trainingsdaten sammelt.

## So sperrst du ihn aus {#so-sperrst-du-ihn-aus}

Trag das in deine robots.txt ein:

```text
User-agent: SvenGuruMonitor
Disallow: /
```

Der Monitor speichert die robots.txt bis zu 24 Stunden zwischen, nach spätestens
etwa einem Tag hört er also auf. Danach liest er nur noch einmal am Tag deine
robots.txt, um zu sehen, ob sie sich geändert hat, und ruft sonst nichts mehr
von deiner Website ab.

## Was er abruft {#was-er-abruft}

-   Pro Website nur die eine eingestellte URL, meist die Startseite, per `GET`.
    Er crawlt nicht, folgt keinen Links, lädt keine Bilder, kein CSS und kein
    JavaScript und führt nichts aus.
-   Er folgt bis zu 5 Weiterleitungen, liest höchstens die ersten 64 KB der
    Antwort und gibt nach 15 Sekunden auf.
-   Er speichert nur Statuscode, Antwortzeit und Ergebnis (ok, Fehler,
    gedrosselt). Der Seiteninhalt wird nicht gespeichert. Detaillierte Ergebnisse
    bleiben 30 Tage erhalten, danach nur noch die tägliche Verfügbarkeit.
-   Die Ergebnisse erscheinen nur auf einem privaten Dashboard in meinem
    Heimnetz. Nichts davon wird veröffentlicht.

## Wie oft {#wie-oft}

-   Solange eine Website erreichbar ist: alle 5 Minuten (±10 % Jitter), also
    etwa 12 Anfragen pro Stunde oder 290 am Tag.
-   Nach einer fehlgeschlagenen Anfrage: ein erneuter Versuch nach etwa 1 Minute.
    Solange eine Website nicht erreichbar ist: weitere Versuche nach 1, 2 und 4
    Minuten, danach alle 5 Minuten.

## Drosselung {#drosselung}

-   Ein `429 Too Many Requests` zählt nie als Ausfall, der Monitor hält sich
    dann einfach zurück.
-   `Retry-After` wird bei jeder Antwort beachtet, in Sekunden oder als
    HTTP-Datum. Verlangt es eine längere Pause als der normale Zeitplan, wartet
    der Monitor so lange (höchstens 1 Stunde pro Anweisung). Öfter prüft er
    dadurch nie.

## Details zur robots.txt {#details-zur-robots-dot-txt}

Der Monitor hält sich an [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309):

-   Produkt-Token: `SvenGuruMonitor`. Gibt es eine Gruppe für dieses Token, gilt
    sie, sonst die Gruppe für `*`.
-   Die robots.txt wird pro Origin abgerufen und bis zu 24 Stunden
    zwischengespeichert. Bei Weiterleitungen wird jeder Schritt vor dem Abruf
    gegen die robots.txt seines eigenen Origins geprüft.
-   Verbietet die robots.txt die URL, ruft der Monitor von der Website gar nichts
    mehr ab und liest nur noch einmal am Tag die robots.txt neu.
-   Fehlt die robots.txt (404 oder ein anderer 4xx-Status), gilt das laut RFC
    als „erlaubt“. Lässt sie sich nicht abrufen (Serverfehler, Timeout) und hat
    der Monitor keine frühere Kopie, ruft er die Website gar nicht ab.

## Kontakt {#kontakt}

Falls der Monitor sich danebenbenimmt oder du deine robots.txt nicht ändern
kannst, schreib mir an [s.koschnicke@gfxpro.com](mailto:s.koschnicke@gfxpro.com). Dann passe ich den Monitor für
deine Site an.
