Crawl-Budget

Das Crawl-Budget ist das Ausmaß des Crawlings, das eine Suchmaschine oder ein Bot innerhalb eines bestimmten Zeitraums auf einer gegebenen Site durchführt (praktisch die Menge der URLs, die er sowohl abrufen kann als auch abrufen will). Oft ergibt sich dies aus der Kombination zweier Faktoren: Crawl-Kapazität (wie viel der Server einer Site verarbeiten kann, ohne langsamer zu werden) und Crawl-Nachfrage (wie viel der Crawler tatsächlich abrufen möchte, basierend auf der Beliebtheit einer Site und der Häufigkeit ihrer Inhaltsänderungen). Bei großen oder häufig aktualisierten Sites bestimmt das Crawl-Budget, wie schnell neue und geänderte Seiten entdeckt werden.

Kurz gesagt: Das Crawl-Budget gibt an, wie viel ein Such-Crawler von Ihrer Site abruft; bei größeren Websites kann das Crawl-Budget auch bestimmen, wie schnell Ihre Inhalte entdeckt und aktualisiert werden.

So funktioniert das Crawl-Budget

Mehrere Kräfte können zusammenwirken, um das Crawl-Budget festzulegen:

1. Crawl-Kapazitätslimit: Der Crawler berechnet, wie viele gleichzeitige Verbindungen er nutzen kann und wie lange er zwischen Abrufen warten soll, basierend darauf, wie die Site reagiert. Schnelle, fehlerfreie Antworten erhöhen das Limit; langsame Antworten oder Serverfehler senken es.
2. Crawl-Nachfrage: Der Crawler ruft mehr von Sites und Seiten ab, die er als beliebt, aktuell oder häufig aktualisiert einstuft, und weniger von veralteten oder wenig wertvollen URLs.
3. Effektives Budget: Das tatsächliche Crawling entspricht ungefähr dem niedrigeren der beiden Werte. Selbst ein schneller Server wird nicht stark gecrawlt, wenn die Nachfrage gering ist, und eine hohe Nachfrage wird gedrosselt, wenn der Server Schwierigkeiten hat.
4. Verschwendetes Budget: Zeit, die für doppelte, wenig wertvolle oder nahezu unendliche URL-Räume (facettierte Navigation, endlose Parameter) aufgewendet wird, ist im Wesentlichen ein Teil Ihres Crawl-Budgets, der nicht für die wichtigen Seiten verwendet wurde.
5. Überwachung: Site-Betreiber verfolgen die Crawl-Aktivität im Crawl-Statistiken-Bericht in der Google Search Console und in ihren rohen Server-Logs.

Der entscheidende Punkt ist, dass das Crawl-Budget eine Einschränkung darstellt, die der Crawler auferlegt, um sowohl seine eigenen als auch die Ressourcen der Site zu schützen. Sie beeinflussen es hauptsächlich, indem Sie Inhalte schnell bereitstellen und Ihre wertvollen URLs leicht auffindbar machen, während Sie unnütze URLs aus dem Weg räumen.

Crawl-Budget vs. Indexierung und Crawl-Rate

• Crawling ist der Vorgang des Abrufens von Seiten, und das Crawl-Budget begrenzt, wie viel davon geschieht. Indexierung ist der separate Schritt der Entscheidung, welche abgerufenen Seiten gespeichert und gerankt werden. Eine Seite kann gecrawlt werden, ohne indexiert zu werden.
• Crawl-Rate-Limit (oder Crawl-Kapazität) ist nur die Geschwindigkeitsobergrenze: wie schnell ein Crawler abrufen kann, ohne den Server zu belasten. Das Crawl-Budget ist das umfassendere Ergebnis dieser Obergrenze in Kombination mit der Crawl-Nachfrage.
• Traditionelles Crawl-Budget bezieht sich auf Such-Crawler wie Googlebot. In der Praxis verarbeiten Sites auch Traffic von KI-Crawlern wie GPTBot und ClaudeBot, die gemeinsam genutzte Serverkapazität verbrauchen, was operativ verwandt ist, aber keine Neudefinition des SEO-Begriffs darstellt.

Wo das Crawl-Budget eine Rolle spielt

• Große Sites: Sites mit Tausenden oder Millionen von URLs, wie E-Commerce-Shops, Marktplätze und News-Archive, bei denen nicht jede Seite häufig gecrawlt werden kann.
• Häufig aktualisierte Inhalte: News- und Bestandsseiten, die schnelles erneutes Crawling benötigen, um in den Ergebnissen aktuell zu bleiben.
• Site-Migrationen und -Launches: Das schnelle Entdecken neu veröffentlichter oder verschobener URLs hängt davon ab, dass ein Teil Ihres Budgets verfügbar ist.
• Operative Bot-Last: KI-Crawler-Traffic kann Serverressourcen verbrauchen und die Kapazität für das Such-Crawling reduzieren. Die Entscheidung, welche Bots was crawlen dürfen (über robots.txt oder Tools wie Cloudflare AI Crawl Control), kann die Planung der Crawl-Effizienz unterstützen.

Optimierung Ihres Crawl-Budgets

Die Crawl-Budget-Optimierung ist die Praxis, zu steuern, wie effizient Suchmaschinen-Bots ihre begrenzte Zeit und Ressourcen für das Entdecken der Inhalte Ihrer Website einsetzen. Durch das Beseitigen technischer Verschwendung und das Optimieren der Site-Architektur helfen Sie Crawlern, das Crawling und Entdecken Ihrer wertvollsten Seiten zu priorisieren. Zu den wichtigsten Optimierungsstrategien können gehören:

• robots.txt bereinigen: Verhindern Sie, dass Suchmaschinen-Bots Zeit auf wenig wertvolle oder nahezu unendliche URLs verschwenden, wie interne Suchergebnisse, Admin-Bereiche und facettierte E-Commerce-Filter.
• Redirect-Ketten und 404-Fehler beseitigen: Beheben Sie defekte Links und fassen Sie mehrstufige Redirects zu einem einzigen direkten Pfad zusammen, damit Crawler nicht auf Sackgassen stoßen oder Anfragen verschwenden.
• Duplicate Content verwalten: Verwenden Sie Canonical-Tags oder konsolidieren Sie identische Seiten, um zu verhindern, dass Bots denselben Text wiederholt unter verschiedenen URLs verarbeiten.
• Serverspeed erhöhen: Verbessern Sie Ihre Time to First Byte (TTFB) und nutzen Sie Caching; ein schnellerer Server ermöglicht es Suchmaschinen-Bots, in kürzerer Zeit sicher mehr Seiten zu verarbeiten.
• XML-Sitemap ausdünnen: Halten Sie Ihre Sitemap aktuell, indem Sie nur saubere, kanonische und indexierbare URLs aufnehmen.
• Interne Verlinkung optimieren: Etablieren Sie eine flache Site-Struktur, in der Ihre wichtigsten Seiten nicht mehr als drei Klicks von der Startseite entfernt liegen, damit sie für Crawler gut zugänglich sind.
• KI-Crawler-Traffic verwalten: Verwenden Sie robots.txt oder Tools wie Cloudflare AI Crawl Control, um selektiv KI-Crawler (z. B. GPTBot, Claudebot) zu blockieren, die Serverressourcen verbrauchen, ohne zur Suchsichtbarkeit beizutragen.

Die meisten kleinen Sites müssen sich nicht mit dem Crawl-Budget befassen; sie können ihre Sitemap oft aktuell halten und die Crawler ihre Arbeit machen lassen. Aber das Crawl-Budget wird kritisch, wenn eine Site wächst und/oder sich Inhalte häufiger ändern.

Verwandte Begriffe

KI-Web-Crawler, robots.txt, Googlebot, Indexierung, Crawl-Rate, Server-Logs, Sitemap, Answer Engine Optimization (AEO), Pay-per-Crawl.