4xx Client Errors

• 400 Bad Request: Der Server kann die Anfrage aufgrund fehlerhafter Syntax nicht verarbeiten. Dies kann auftreten, wenn der Crawler ungültige Header oder Parameter sendet.

• 401 Unauthorized: Authentifizierung ist erforderlich, um auf die Ressource zuzugreifen. Dem Crawler fehlen gültige Authentifizierungsdaten.

• 403 Forbidden: Der Server hat die Anfrage verstanden, verweigert jedoch die Autorisierung. Dies geschieht häufig, wenn die IP-Adresse des Crawlers nicht auf der Whitelist steht oder der Zugriff eingeschränkt ist.

• 404 Not Found: Die angeforderte Ressource konnte auf dem Server nicht gefunden werden. Die URL ist möglicherweise falsch oder die Seite wurde entfernt.

• 408 Request Timeout: Der Server hat beim Warten auf die Anfrage eine Zeitüberschreitung erfahren. Dies kann auftreten, wenn die Netzwerklatenz hoch ist oder der Server langsam reagiert.

• 429 Too Many Requests: Der Crawler hat zu viele Anfragen in einem bestimmten Zeitraum gesendet. Eine Ratenbegrenzung ist aktiv, um eine Serverüberlastung zu verhindern.

5xx Server Errors

• 500 Internal Server Error: Ein allgemeiner Fehler, der anzeigt, dass der Server auf eine unerwartete Bedingung gestoßen ist. Dies kann auf Fehlkonfigurationen des Servers oder Anwendungsfehler zurückzuführen sein.

• 502 Bad Gateway: Der Server hat, während er als Gateway oder Proxy fungierte, eine ungültige Antwort vom Upstream-Server erhalten.

• 503 Service Unavailable: Der Server ist vorübergehend nicht in der Lage, die Anfrage zu bearbeiten, häufig aufgrund von Wartungsarbeiten oder Überlastung.

• 504 Gateway Timeout: Der Server hat, während er als Gateway fungierte, keine rechtzeitige Antwort vom Upstream-Server erhalten.

Network & Connection Errors

• Connection Timeout: Der Crawler konnte innerhalb der angegebenen Zeitbegrenzung keine Verbindung zum Server herstellen. Dies kann auf Netzwerkprobleme oder Firewall-Einschränkungen hinweisen.

• DNS Resolution Failure: Der Domainname konnte nicht in eine IP-Adresse aufgelöst werden. Dies deutet auf DNS-Konfigurationsprobleme oder eine ungültige Domain hin.

• SSL/TLS Errors: Fehler bei der Zertifikatsvalidierung oder Protokoll-Inkompatibilitäten beim Versuch, eine sichere Verbindung herzustellen.