VantinoBot — Crawling-Richtlinie

VantinoBot ist der Webcrawler der Vantino SARL, eines Schweizer Unternehmens mit Sitz in Genf. Er sammelt öffentliche Anzeigenseiten — Veranstaltungen und Stellenangebote —, damit diese auf unseren Plattformen erfasst und angezeigt werden können.

Diese Seite ist die Richtlinie, auf die der User-Agent unseres Crawlers verweist. Falls VantinoBot Ihre Website besucht hat und Sie eine Frage, einen Einwand oder ein Löschungsbegehren haben, finden Sie hier alles Nötige.

Uns ist es lieber, wenn man uns zum Aufhören auffordert, als still gesperrt zu werden. Eine E-Mail an bots@vantino.com genügt, und wir betrachten sie als endgültig — siehe Wie Sie uns sperren.

Wir betreiben diesen Crawler nicht zur Gewinnung von KI-Trainingsdaten, wir verkaufen das Gesammelte nicht weiter und wir erstellen keine Werbeprofile.

WIE SIE UNS ERKENNEN

Jede Anfrage von uns trägt diese Header:

User-Agent: VantinoBot/1.0 (+https://vantino.com/bot)
From:       bots@vantino.com

Wir verwenden eine einzige Identität für unsere gesamte Infrastruktur. Wir wechseln keine User-Agent-Kennungen, nutzen keine Residential-Proxys und verschleiern unseren Datenverkehr nicht, um Sperren zu umgehen. Werden wir gesperrt, respektieren wir das, fragen um Erlaubnis oder lassen die Quelle fallen.

Eine Ausnahme gibt es, und wir nennen sie lieber, als sie Sie entdecken zu lassen. Manche Firewalls antworten auf jeden User-Agent mit der Zeichenfolge Bot mit 403 Forbidden — auch bei der robots.txt selbst. In diesem Fall rufen wir ausschliesslich die robots.txt erneut mit einer neutralen Bibliothekskennung ab, um Ihre veröffentlichten Regeln lesen und befolgen zu können. Jede Inhaltsanfrage erfolgt stets als VantinoBot/1.0.

WAS WIR CRAWLEN — UND WAS NICHT

Wir rufen öffentliche Seiten mit Veranstaltungs- oder Stellenanzeigen ab sowie die Seiten, auf die diese Anzeigen verweisen. Sonst nichts.

Wir tun nicht:

  • CAPTCHAs lösen oder CAPTCHA-Lösungsdienste einsetzen;
  • Paywalls, Registrierungs- oder Login-Schranken umgehen;
  • irgendetwas hinter einer Authentifizierung crawlen;
  • personenbezogene Daten wie E-Mail-Adressen oder Telefonnummern von besuchten Seiten sammeln;
  • Inhalte abrufen, die für unseren User-Agent mit noindex oder nofollow gekennzeichnet sind.

Bevor eine Quelle aktiviert wird, prüft eine Person die Nutzungsbedingungen der betreffenden Website und hält diese Prüfung fest. Eine Quelle bleibt deaktiviert, solange das nicht geschehen ist — der technische Zugang allein ist für uns nie eine Rechtfertigung.

Ebenso beachten wir vorhandene noindex-, noai- und nosnippet-Direktiven.

ROBOTS.TXT

Wir befolgen RFC 9309, den robots.txt-Standard, mithilfe des Open-Source-Parsers protego. Wir lesen Ihre robots.txt vor jedem Abruf und mindestens alle 24 Stunden erneut.

  • Disallow-Regeln werden vor jeder einzelnen Anfrage gegen VantinoBot und den Platzhalter * geprüft.
  • Liefert die robots.txt einen Serverfehler (5xx), stellen wir das Crawlen dieses Hosts ein, bis er sich erholt hat.
  • Ist sie nicht erreichbar oder liefert 404, folgen wir dem Standard und betrachten die Website als crawlbar — vorbehaltlich alles Übrigen auf dieser Seite.

Crawl-delay und Request-rate gelten für uns als Untergrenze, nie als Obergrenze: Sie können uns verlangsamen, und keine Einstellung auf unserer Seite kann uns über das von Ihnen Gewünschte hinaus beschleunigen.

Die robots.txt zu ignorieren setzt eine schriftliche Vereinbarung mit der Website-Betreiberin voraus. Keine der heute von uns gecrawlten Quellen fällt darunter.

WIE OFT WIR VORBEIKOMMEN

Standardmässig stellen wir höchstens 30 Anfragen pro Minute pro Host, mit maximal 2 gleichzeitigen Anfragen und leichter zeitlicher Streuung, damit wir nie in Schüben eintreffen. Die meisten Quellen sind deutlich darunter konfiguriert.

Antworten Sie mit 429 Too Many Requests oder 503 samt Retry-After-Header, pausieren wir diesen Host genau so lange wie gewünscht.

Nach einem Fehlschlag warten wir zunehmend länger — 1 Minute, 5, 15, eine Stunde, 6 Stunden, 24 Stunden — und nach dem sechsten Fehlschlag halten wir an und melden die Quelle einem Menschen. Wir wiederholen nicht endlos.

Eine unveränderte Seite wird nicht erneut geladen: Wir nutzen die bedingten Anfragen ETag und Last-Modified, sodass die meisten Folgebesuche Sie nur ein 304 Not Modified kosten.

WIE SIE UNS SPERREN

Eine dieser Möglichkeiten genügt; wählen Sie die für Sie einfachste.

In Ihrer robots.txt — wirksam mit unserem nächsten Abruf, innerhalb von 24 Stunden:

User-agent: VantinoBot
Disallow: /

Per E-Mail — schreiben Sie an bots@vantino.com mit dem Host oder den URLs, die entfernt werden sollen. Wir bearbeiten Anfragen innerhalb von 5 Arbeitstagen und bestätigen schriftlich. Ist es dringend, schreiben Sie URGENT in den Betreff; wir pausieren die Quelle dann innerhalb weniger Stunden.

Ein Widerspruch gilt dauerhaft. Er verfällt nicht, und wir fragen nicht später erneut nach.

WAS WIR MIT DEM GESAMMELTEN TUN

Gesammelte Anzeigen erscheinen auf Vantino-Plattformen mit Quellenangabe und einem Link zurück auf Ihre Seite — wir veröffentlichen Ihre Inhalte nicht unter fremder Identität und entfernen den Weg zur Quelle nicht.

Rohkopien der Seiten bewahren wir 7 Tage auf, ausschliesslich zur Fehlersuche. Sie werden nie erneut veröffentlicht und nie weitergegeben. Alles liegt auf Infrastruktur in der EU; wir nutzen weder Datenhändler noch Werbenetzwerke.

Ein Dritter ist beteiligt. Nennt eine Anzeige eine Adresse ohne Koordinaten, übermitteln wir diese Adresse — Namen des Orts oder Unternehmens, Strasse, Stadt, Land — an die Google Maps Geocoding API, um Breiten- und Längengrad zu erhalten. Jede Adresse wird einmal gesendet und das Ergebnis bei uns zwischengespeichert. Nichts weiter über die Anzeige und nichts über unsere Besucherinnen und Besucher geht an Google.

KONTAKT

E-Mail: bots@vantino.com

Wir lesen dieses Postfach und antworten darauf. Fragen zu unserem Crawling, Löschungsanfragen oder das Angebot eines richtigen Datenfeeds statt des Crawlens — alles willkommen unter derselben Adresse.

Vantino SARL

Postfach 2224

1211 Genf 2, Schweiz

Allgemeine Anfragen: info@vantino.com