Technologische Neuigkeiten, Bewertungen und Tipps!

So optimieren Sie es für SEO

Hinweis: Der folgende Artikel hilft Ihnen weiter: So optimieren Sie es für SEO

Sie haben von Webcrawlern, Spidern und Googlebot gehört, aber wissen Sie, dass diese Crawler Grenzen haben, was sie auf einer Website crawlen können und was nicht? Lesen Sie weiter, um mehr über dieses wichtige Budget im Bereich SEO (Suchmaschinenoptimierung) zu erfahren.

Was ist Crawl-Budget?

Das Crawling-Budget ist die Anzahl der Seiten, die der Googlebot (und andere Suchmaschinen-Crawler) in einem bestimmten Zeitraum crawlen können. Die Verwaltung Ihres Crawling-Budgets kann die Gesamtindexierung Ihrer Website unterstützen.

💡 Erinnern! Damit der Googlebot Ihre Website crawlen kann, müssen Sie sicherstellen, dass das Crawlen in Ihrer Robots.txt-Datei zulässig ist.

Obwohl es ungewöhnlich ist, dass Google jede Seite Ihrer Website crawlt und indexiert, möchten wir sicherstellen, dass alle unsere wichtigen Seiten indexiert sind und in den SERPs erscheinen können. Leider haben wir keine hundertprozentige Kontrolle darüber, welche Seiten Google crawlt. Google erkennt, welche Seiten am wichtigsten sind, und listet sie nach Priorität auf. Einige der Faktoren, die eine Rolle spielen, sind die interne Linkstruktur, XML-Sitemaps und die Website-/Site-Autorität.

Eine einfache Möglichkeit, das SEO-Crawling-Budget zu verstehen, sind diese beiden Beispiele:

  1. Kleinbetrieb: Sie besitzen ein kleines Unternehmen, das Pflanzen verkauft, und Ihre Website hat 100 Seiten und ein Crawl-Budget von 1.000 Seiten (das heißt, Sie können Ihr Crawl-Budget immer noch erreichen, wenn Sie 900 neue Seiten erstellen!). Sie können Ihr Crawling-Budget für mehr Effizienz optimieren und vorbereitet sein, falls die Gesamtzahl der Seiten jemals Ihr aktuelles Budget übersteigt.
  2. E-Commerce: Sie besitzen ein internationales E-Commerce-Unternehmen mit 100.000 Seiten und einem Crawling-Budget von 90.000 Seiten. Das Problem liegt in Ihrem Crawling-Budget, denn es gibt 10.000 Seiten, die nicht gecrawlt oder indiziert werden. Während einige dieser Seiten möglicherweise eine haben noindex-Tagkönnten Sie Ihre Sichtbarkeit auf den Suchmaschinen-Ergebnisseiten (SERPs) sowie die Kunden verlieren, weil diese nicht indiziert werden.

Erinnere mich nicht an den Unterschied zwischen Crawling vs. Indexierung vs. Ranking? Machen Sie sich keine Sorgen, wir sind für Sie da!

Was ist die Crawl-Rate?

Die Google Search Console definiert die Crawling-Rate als „Wie viele Anfragen stellt der Googlebot pro Sekunde an Ihre Website, wenn er sie crawlt: zum Beispiel 5 Anfragen/Sekunde.“

Während Sie die Anzahl der Anfragen pro Sekunde, die der Googlebot beim Crawlen stellt, nicht erhöhen können, es kann begrenzt werden, wenn benötigt. Sie können auch verlangen, dass Google eine Seite erneut crawlt. Einige Gründe, warum Sie eine Seite erneut crawlen möchten, sind:

  • Die Seite ist neu und wurde noch nicht gecrawlt
  • Der Inhalt oder die Metadaten auf der Seite wurden aktualisiert
  • Die Seite wurde beim letzten Crawl nicht ordnungsgemäß indiziert

Wie überprüfe ich, ob meine Seite gecrawlt wurde?

Um zu überprüfen, wann Ihre Seite zuletzt gecrawlt wurde, rufen Sie die Google Search Console auf. Nachdem Sie zu Ihrer Immobilie navigiert sind, geben Sie Ihre URL in die Suchleiste oben auf der Seite ein. Anschließend werden Sie zur URL-Inspektion weitergeleitet, die Ihnen hilft zu verstehen, wann Ihre Seite gecrawlt wurde, was die verweisende URL war, welche Probleme bei der Indexierung aufgetreten sind und vieles mehr!

Im Rahmen der URL-Inspektion teilt Ihnen die Google Search Console mit, ob Ihre URL im Google-Index enthalten ist. Wenn es nicht indiziert ist, kann es zu verschiedenen Problemen kommen, die untersucht werden müssen. Es kann so einfach sein, dass die Seite noch nicht gecrawlt/indiziert wurde, oder es könnte so schwerwiegend sein wie ein Problem mit der Robots.txt-Datei oder eine manuelle Aktion. Sie können auch sehen, wie Ihre Seite vom Googlebot angezeigt wird, indem Sie das verwenden „Live-URL testen“ Besonderheit.

Nicht vergessen! Sie können Google zwar auffordern, eine Seite erneut zu crawlen, aber das mehrmalige Anfordern der Indexierung hat für Ihren Crawl keine Priorität.

Um mehr über Ihre Seite und die Crawling-Details zu erfahren, öffnen Sie die Registerkarte „Abdeckung“.. Hier ermitteln Sie, ob Ihre Seite indiziert wurde, in einer Sitemap übermittelt wurde, ob ein Crawlen oder Indexieren in Ihrer Robots.txt-Datei zulässig ist und welcher Benutzeragent die Seite gecrawlt hat.

Überprüfen Sie unbedingt die verweisende URL, da dies die Seite ist, die Google zum Crawlen Ihrer Seite veranlasst hat. Ihre Seite kann über verschiedene Quellen wie interne/externe Links oder eine Crawl-Anfrage gefunden werden.

Um weitere Details wie den Crawler-Typ und die Zeit des letzten Crawls zu sehen, konzentrieren Sie sich auf den Crawl-Abschnitt. Obwohl es zwei Arten von Googlebot-Crawlern gibt (mobile und Desktop-Crawler), wird Ihre Website höchstwahrscheinlich ausschließlich von einem Googlebot-Smartphone gecrawlt, sofern dies noch nicht geschehen ist, da wir uns immer weiter in Richtung Mobiloptimierung und Mobilfreundlichkeit bewegen.

Im Crawl-Bereich ist es wichtig zu beachten, ob eine Seite gecrawlt und indiziert werden kann. Moz hat festgestellt, dass es auch Fälle gibt, in denen eine Seite gecrawlt, aber nicht indiziert wird, was bedeutet, dass die Seite (noch) nicht in die Indexbibliothek aufgenommen wurde und daher nicht für die Anzeige in den Suchergebnissen geeignet ist. .

Wenn Ihre Seite nicht gecrawlt oder indiziert werden darf, was oft durch „Benutzer-Agent nicht zulassen“ angezeigt wird, überprüfen Sie Ihren Quellcode noch einmal oder wenden Sie sich an einen Webentwickler.

Sie möchten sicherstellen, dass das Blockieren eines Crawlers durch Ihre Seite beabsichtigt und kein Zufall im Code ist.

Es gibt einige Seiten oder Bereiche auf Ihrer Website, für die eine Indexierung durch Google nicht erforderlich ist: Einige Gründe, warum Sie möglicherweise nicht möchten, dass Google Ihre Seiten indiziert (auch Noindex-Tag genannt), sind:

  • Anmeldeseiten
  • Interne Suchergebnisse
  • Dankesseiten
  • Formulareinreichungsseiten

Es gibt auch einige Methoden, die Sie dazu nutzen können verhindern, dass Seiten zum Index hinzugefügt werden:

  1. Noindex-Registerkarte
  2. X-Roboter
  3. Robots.txt (wenn die Seite noch nicht gecrawlt/indiziert wurde)
  4. GSC-Entfernungstool

Wo finde ich mein Crawl-Budget?

Es gibt einige hilfreiche Tools, mit denen Sie mehr über die Crawling-Statistiken Ihrer Website erfahren oder sehen können, wie viele Seiten Ihrer Website Google pro Tag crawlt.

In der Google Search Console können Sie zu Ihrem navigieren Domain-Eigenschaft > Einstellungen > Crawl-Statistiken Dadurch werden Ihnen die Anzahl der Crawl-Anfragen, die Downloadzeit und die durchschnittlichen Seitenantwortzeiten angezeigt. Dieser Crawl-Statistikbericht kann bei der Optimierung Ihres Crawling-Budgets hilfreich sein, worauf wir etwas später eingehen werden.

Wir können auch Serverprotokolle überprüfen EXAKT was der Googlebot crawlt. Schauen Sie sich diese Tools an, die alle Lösungen zur Protokolldateianalyse bieten:

Warum ist das für SEO wichtig?

Wir haben also die Grundlagen identifiziert und dargelegt, wo der Crawling-Status überprüft werden kann – aber Sie fragen sich vielleicht: Warum sollte mich das interessieren und ist das wirklich wichtig für SEO?

Wenn wir eine neue Seite erstellen oder eine alte aktualisieren, möchten wir, dass die Leute sie sehen! Unabhängig davon, ob der Benutzer den Kauf eines maßgeschneiderten Fahrrads plant oder nach einem Studiengang sucht, für den er sich einschreiben kann, möchten wir, dass diese Seiten für Benutzer zugänglich sind, vorzugsweise auf Seite eins ihrer Suchmaschine.

Wenn unser Crawl-Budget nur 50 % unserer Website abdeckt (100.000 Seiten, 50.000 im Crawl-Budget vorgesehen), werden 50 % unserer Website in den Suchergebnissen nicht auffindbar sein. Und ja, vielleicht kann jemand Ihre URL finden, indem er sie Wort für Wort eintippt, aber das ist nicht immer der Fall – und ehrlich gesagt ist das kein Risiko, das SEOs eingehen wollen, wenn wir daran arbeiten können, unser Crawling-Budget zu optimieren!

So optimieren Sie Ihr Crawl-Budget

Die Optimierung Ihres Crawling-Budgets ist keine eintägige Aufgabe. Möglicherweise werden Sie unterwegs frustriert, aber wir sind hier, um Ihnen zu helfen!

Sehen wir uns zunächst an, was wir tun können, um Ihr Crawling-Budget zu verbessern:

  • Verbessern Sie die Geschwindigkeit der Website
  • Interne Verlinkung
  • Vermeiden Sie doppelten Inhalt

Website-Geschwindigkeit

Die Geschwindigkeit einer Website ist aus verschiedenen Gründen wichtig. Wir möchten, dass die Seiten für die Nutzer rechtzeitig geladen werden, damit sie mit unserer Website interagieren, aber wir möchten auch, dass sie schnell sind, damit der Googlebot unsere Inhalte so schnell wie möglich crawlen kann.

Liebst du es nicht, wie du beim Planken eine Minute warten musst? Ja, wir mögen dieses Gefühl auch nicht!

Wir möchten auch das lange Warten auf den Googlebot vermeiden, denn je schneller unsere Seiten laden, desto schneller kann der Googlebot unsere Seiten crawlen und indizieren.

Obwohl wir das Crawling-Budget nicht erhöhen, werden wir visuelle Verbesserungen feststellen, wenn wir es schaffen, 10 Seiten in einer Minute zu laden, verglichen mit dem Laden einer Seite in einer Minute.

Interne Links

Interne und externe Links sind ein wichtiger Bestandteil jeder SEO-Strategie. Interne Links, also Links, die auf verschiedene Seiten innerhalb derselben Domain verweisen, sind sowohl für das Benutzererlebnis als auch für die Website-Struktur unglaublich wichtig.

Für den Anfang: Wenn Blog A a enthält FOLGEN SIE Tag, GoogleBot DÜRFEN Greifen Sie auf den internen Link zu und navigieren Sie zu Blog B und crawlen Sie ihn.

Wenn Blog A ein hat NICHT FOLGEN Wenn im Quellcode für diesen Link das Tag aktiviert ist, kann GoogleBot sehen, dass der Link existiert, aber WIRD NICHT Navigieren Sie zu Blog B oder crawlen Sie ihn. Machen Sie sich keine Sorgen, wir können mehr darüber erfahren No-Follow-Links einander mal.

Sie fragen sich vielleicht: Warum muss ich für mein Crawling-Budget über interne Links Bescheid wissen? Denn die Aktivierung von No-Follow- oder Do-Follow-Links ist eine weitere Möglichkeit, das Crawling-Budget zu optimieren! Wenn Sie intern auf eine Seite verlinken, die für Google keinen Wert bietet, und Sie kein Ranking in den SERPs benötigen, wie zum Beispiel eine Dankesseite, warum sollten Sie dann Ihr wertvolles Budget verschwenden, das für das Crawlen von Seiten verwendet werden könnte, die zum Umsatz beitragen? ROI?

Es ist auch wichtig, alle verwaisten Seiten zu identifizieren, die möglicherweise auf Ihrer Website verbleiben. Eine verwaiste Seite ist eine Seite, die nicht verlinkt ist oder auf die keine internen Links verweisen. Die einzige Möglichkeit, sie zu crawlen, besteht darin, manuell eine Indizierung anzufordern, da Google sie auf natürliche Weise nicht finden kann.

💡 Erinnern! Wenn Sie gerade eine neue Website erstellen oder die Struktur Ihrer Website überarbeiten, achten Sie darauf, keine verwaisten Seiten zu erstellen. Wenn Sie zu spät bemerken, dass diese Seiten im Umlauf sind und keine Links haben, die sie am Leben halten, erstellen Sie einen internen Link, damit GoogleBot sie leichter erreichen kann, wenn er Ihre Website das nächste Mal crawlt.

Doppelter Inhalt

Wenn Sie doppelte Inhalte haben, die unbedingt auf Ihrer Website verfügbar bleiben müssen, verwenden Sie ein Canonical-Tag, um sicherzustellen, dass der Googlebot nur die Prioritätsseite crawlt.

Kanonischer Tipp! Angenommen, Sie haben ein Paar Tennisschuhe, die es in den Farben Blau, Rot und Gelb gibt. Während Sie möchten, dass Nutzer die Schuhe in Blau, Größe 12, oder Gelb, Größe 4, finden können, benötigen Sie GoogleBot nur zum Crawlen der Hauptproduktseite. Indem Sie alle verschiedenen Variationen (Größe, Farbe usw.) ausschließen und ein kanonisches Tag verwenden, können Sie den unnötigen Aufwand reduzieren, der gecrawlt und indiziert werden muss.

Faktoren, die das Crawl-Budget behindern

Google Search Central identifiziert, was kann negativ Auswirkungen auf das Crawling-Budget:

„Unserer Analyse zufolge können sich viele URLs mit geringem Mehrwert negativ auf das Crawling und die Indexierung einer Website auswirken. Wir haben festgestellt, dass die URLs mit geringem Mehrwert in der Reihenfolge ihrer Bedeutung in diese Kategorien fallen:

Durch die Verschwendung von Serverressourcen auf Seiten wie diesen wird die Crawling-Aktivität von Seiten abgezogen, die tatsächlich einen Wert haben, was zu einer erheblichen Verzögerung bei der Entdeckung großartiger Inhalte auf einer Website führen kann.“

Google Search Central-Blog

Während einige Probleme wie doppelte Inhalte mit einer 301-Weiterleitung oder einem Audit behoben werden können, erfordern einige Faktoren wie gehackte Seiten einen tieferen Einblick, um das eigentliche Problem zu lösen. Neben der Optimierung für das Crawling-Budget möchten Sie auch darauf achten, von Google identifizierte URLs mit geringem Mehrwert anzusprechen und hinzuzufügen.

Benötigen Sie zusätzliche Hilfe bei der Optimierung Ihres Crawling-Budgets? Möchten Sie wissen, wie Sie Crawling-Fehler beheben können? Möchten Sie andere Bereiche identifizieren, die einer weiteren Optimierung bedürfen? Kontaktieren Sie uns, um zu erfahren, wie das technische SEO-Team von Seer Ihnen helfen kann!

Melden Sie sich für unseren Newsletter an, um weitere Beiträge wie diesen in Ihrem Posteingang zu erhalten:

Table of Contents