Was ist ein User Agent?

Der User Agent ist eine Information vom Gerät des Benutzers, die den Gerätehersteller, den verwendeten Browser und dessen Version an den Server sendet. Dies geschieht über den HTTP-Header, den eine Seite von Ihnen erhält, wenn Sie eine URL aufrufen.

Werden im User Agent persönliche Informationen an den Server übermittelt?

Nein, nicht direkt. Der User Agent gibt zwar Aufschluss darüber, welches Gerät und welchen Browser sie benutzen, jedoch benötigen Analyse- und Marketingtools nach geltendem EU-Recht Ihre ausdrückliche Zustimmung zum speichern und analysieren dieser Informationen (stand: 11/2020).

Was macht der Server mit den Daten aus dem User Agent?

Der User Agent wird verwendet, um Benutzern eine verbesserte Usability anbieten zu können. So können zum Beispiel Darstellungsfehler zwischen Firefox und Chrome oder Opera korrigiert werden. Auch kann so unterschieden werden, ob der Seitenbesucher ein mobiles Gerät verwendet, worauf der Server eine mobile Ansicht bereitstellt.
Mithilfe der Informationen kann der Server auch ermitteln, ob Ihre Browserversion aktuell ist und Sie ggf. darauf hinweisen, dass eine Seite Darstellungsfehler aufweisen kann, wenn der Browser nicht aktualisiert wird (generell empfiehlt es sich, seinen Browser immer auf dem neusten Stand zu halten).

Was hat der User Agent mit dem Crawler zu tun?

Auch die Crawler der verschiedenen Suchmaschinen besitzen verschiedene User Agents. So weiß der Server sofort, dass es sich bei dem Seitenbesucher um einen Bot handelt und gewährt bekannten User Agents gewisse Vorrechte. Das kann z.B. so aussehen, dass Seiten, für die sonst ein Registrierungsprozess notwendig ist, für den Bot freigegeben sind. Es ist jedoch wichtig, darauf zu achten, dass Sie keine Inhalte zeigen, die normale Webseitenbesucher sonst nicht sehen können, da Sie sonst Gefahr laufen, sogenanntes Cloaking zu betreiben.

Mithilfe einer robots.txt Datei können Bots außerdem darauf hingewiesen werden, bestimmte Seiten nicht zu erfassen.