Technologische Neuigkeiten, Bewertungen und Tipps!

So bearbeiten Sie die Shopify Robots.txt (2023)

So bearbeiten Sie die Shopify Robots.txt (2023)

Hinweis: Der folgende Artikel hilft Ihnen weiter: So bearbeiten Sie die Shopify Robots.txt (2023)

Wenn Sie an einer E-Commerce-Website arbeiten, ist die robots.txt-Datei eines der wichtigsten Grundelemente f√ľr die Suchmaschinenoptimierung Ihrer Website. E-Commerce-Sites sind im Allgemeinen viel gr√∂√üer als die meisten Sites im Web und enthalten auch Funktionen wie eine Facettennavigation, die die Site exponentiell vergr√∂√üern kann. Das bedeutet, dass diese Websites das Crawlen ihrer Website durch Google besser steuern k√∂nnen m√ľssen. Dadurch k√∂nnen diese Websites ihr Crawling-Budget verwalten und verhindern, dass Seiten mit geringer Qualit√§t vom Googlebot gecrawlt werden.

Wenn es jedoch um Shopify geht, ist die robots.txt-Datei seit langem ein Kritikpunkt der SEO-Community. Seit vielen Jahren eine der gr√∂√üten Frustrationen f√ľr Shopify-SEO war ein Mangel an Kontrolle √ľber die robots.txt. Dies machte die Arbeit mit der Plattform im Vergleich zu anderen wie z. B. schwieriger SEO f√ľr Magento, wo Benutzer die robots.txt schon immer problemlos bearbeiten konnten. W√§hrend die Standarddatei ‚Äěrobots.txt‚Äú Crawler hervorragend blockiert, sind bei einigen Websites Anpassungen an dieser Datei erforderlich. Da immer mehr Websites die Plattform nutzen, beobachten wir, dass Websites, die Shopify verwenden, gr√∂√üer und robuster werden und mehr Crawling-Eingriffe durch die Verwendung der robots.txt erfordern.

Gl√ľcklicherweise hat Shopify gro√üartige Arbeit geleistet, um das Erlebnis auf seiner Plattform zu verbessern. Ab Juni 2021 gab Shopify bekannt, dass Sie dies nun tun k√∂nnen Passen Sie die robots.txt-Datei f√ľr Ihre Website an:

Benutzeragent: jederErlauben: /Ab heute haben Sie die vollst√§ndige Kontrolle dar√ľber, wie Suchmaschinen-Bots Ihren Shop sehen. shopifyseohttps://t.co/Hz9Ijj5h1y

‚ÄĒ Tobi L√ľtke (@tobi) 18. Juni 2021

Das sind gro√üe Neuigkeiten f√ľr SEOs und Shopify-Shop-Besitzer, die seit Jahren darum betteln, die Datei anzupassen. Es zeigt auch, dass Shopify auf das Feedback von SEOs h√∂rt und Schritte unternimmt, um die Plattform aus Sicht der Suche zu verbessern.

Da wir nun wissen, dass Sie die Datei bearbeiten k√∂nnen, sprechen wir dar√ľber, wie Sie diese Anpassungen vornehmen und welche Situationen Sie in Betracht ziehen k√∂nnten.

Was ist die Shopify Robots.txt?

Die Shopify robots.txt ist eine Datei, die Suchmaschinen anweist, welche URLs sie auf Ihrer Website crawlen können. Am häufigsten kann die robots.txt-Datei Suchmaschinen daran hindern, Seiten mit geringer Qualität zu finden, die nicht gecrawlt werden sollten. Die Shopify robots.txt wird mithilfe einer Datei namens robots.txt.liquid generiert.

Was blockiert die standardmäßige Robots.txt-Datei von Shopify?

Wenn Sie sich Ihre sofort einsatzbereite Shopify-Site ansehen, stellen Sie möglicherweise fest, dass bereits eine robots.txt-Datei konfiguriert ist. Sie finden diese Datei, indem Sie zu folgendem Pfad navigieren:

In dieser robots.txt-Datei sehen Sie, dass es bereits eine ganze Reihe vorkonfigurierter Regeln gibt.

Die √ľberwiegende Mehrheit dieser Regeln ist n√ľtzlich, um zu verhindern, dass Suchmaschinen unn√∂tige Seiten crawlen. Im Folgenden sind einige der wichtigsten Regeln in der Standarddatei robots.txt von Shopify aufgef√ľhrt:

  • Blockiert die interne Site-Suche
  • Blockiert die Warenkorbseite
  • ‚Äď Blockiert die Checkout-Seite
  • ‚Äď Blockiert die Kontoseite
  • Nicht zulassen: /collections/*+* ‚Äď Blockiert doppelte Kategorieseiten, die durch die Facettennavigation generiert werden
  • ‚Äď Referenziert den sitemap.xml-Link

Insgesamt verhindern die Standardregeln von Shopify das Crawlen von Webseiten mit geringerer Qualit√§t f√ľr die meisten Websites recht gut. Tats√§chlich ist es wahrscheinlich, dass die Mehrheit der Shopify-Shop-Besitzer keine Anpassungen an ihrer robots.txt-Datei vornehmen muss. Die Standardkonfiguration sollte f√ľr die meisten F√§lle ausreichen. Die meisten Shopify-Websites sind im Allgemeinen kleiner und die Crawling-Kontrolle stellt f√ľr viele von ihnen kein gro√ües Problem dar.

Da immer mehr Websites die Shopify-Plattform √ľbernehmen, bedeutet dies nat√ľrlich, dass die Websites immer gr√∂√üer werden. Au√üerdem sehen wir mehr Websites mit benutzerdefinierten Konfigurationen, bei denen die Standardregeln von robots.txt nicht ausreichen.

W√§hrend die vorhandenen Regeln von Shopify die meisten F√§lle gut abdecken, m√ľssen Shop-Inhaber manchmal zus√§tzliche Regeln erstellen, um die robots.txt-Datei an ihre Website anzupassen. Dies kann durch Erstellen und Bearbeiten einer robots.txt.liquid-Datei erfolgen.

Wie erstellt man die Shopify Robots.txt.liquid?

Sie k√∂nnen die Shopify-Datei robots.txt.liquid erstellen, indem Sie in Ihrem Shop die folgenden Schritte ausf√ľhren:

  1. Navigieren Sie in der linken Seitenleiste Ihrer Shopify-Administratorseite zu Online-Shop > Themes
  2. Wählen Sie Aktionen > Code bearbeiten
  3. Klicken Sie unter ‚ÄěVorlagen‚Äú auf den Link ‚ÄěNeue Vorlage hinzuf√ľgen‚Äú.
  4. Klicken Sie auf das Dropdown-Men√ľ ganz links und w√§hlen Sie ‚Äěrobots.txt‚Äú
  5. W√§hlen Sie ‚ÄěVorlage erstellen‚Äú

Anschließend sollte die Datei Shopify robots.txt.liquid im Editor geöffnet sein:

Wie bearbeiten Sie die Shopify Robots.txt-Datei?

Hinzuf√ľgen einer Regel

Wenn Sie der Shopify robots.txt eine Regel hinzuf√ľgen m√∂chten, k√∂nnen Sie dies tun, indem Sie der robots.txt.liquid-Datei zus√§tzliche Codebl√∂cke hinzuf√ľgen.

Wenn Ihre Shopify-Site beispielsweise /search-results/ f√ľr die interne Suchfunktion verwendet und Sie diese mit der robots.txt blockieren m√∂chten, k√∂nnen Sie den folgenden Befehl hinzuf√ľgen:

Wenn Sie mehrere Verzeichnisse (/search-results/ und /private/) blockieren m√∂chten, f√ľgen Sie der Datei die folgenden zwei Bl√∂cke hinzu:

Dadurch sollten die folgenden Zeilen in Ihre Shopify-robots.txt-Datei eingef√ľgt werden:

Mögliche Anwendungsfälle

Wenn Sie also wissen, dass die standardm√§√üige robots.txt-Datei im Allgemeinen f√ľr die meisten Websites ausreicht, stellt sich die Frage, in welchen Situationen Ihre Website von der Bearbeitung der robots.txt.liquid-Datei von Shopify profitieren w√ľrde? Im Folgenden sind einige der h√§ufigsten Situationen aufgef√ľhrt, in denen Sie eine Anpassung in Betracht ziehen sollten:

Interne Site-Suche

Eine allgemeine Best Practice f√ľr SEO besteht darin, die interne Suche einer Website √ľber die robots.txt-Datei zu blockieren. Dies liegt daran, dass es unendlich viele Suchanfragen gibt, die Benutzer in eine Suchleiste eingeben k√∂nnen. Wenn Google mit dem Crawlen dieser Seiten beginnen kann, k√∂nnte dies dazu f√ľhren, dass viele Suchergebnisseiten mit geringer Qualit√§t im Index erscheinen.

Gl√ľcklicherweise blockiert Shopifys standardm√§√üige robots.txt die standardm√§√üige interne Suche mit dem folgenden Befehl:

Viele Shopify-Websites verwenden jedoch nicht die standardm√§√üige interne Suche von Shopify. Wir stellen fest, dass viele Shopify-Websites letztendlich Apps oder andere interne Suchtechnologien verwenden. Dadurch √§ndert sich h√§ufig die URL der internen Suche. In diesem Fall ist Ihre Website nicht mehr durch die Standardregeln von Shopify gesch√ľtzt.

Auf dieser Website werden beispielsweise die internen Suchergebnisse bei URLs mit /pages/search im Pfad angezeigt:

Dies bedeutet, dass diese internen Such-URLs von Google gecrawlt werden d√ľrfen:

Diese Website k√∂nnte in Erw√§gung ziehen, die robots.txt-Regeln von Shopify zu bearbeiten, um benutzerdefinierte Befehle hinzuzuf√ľgen, die Google daran hindern, das Verzeichnis /pages/search zu crawlen.

Facettierte Navigationen

Wenn Ihre Website √ľber eine facettierte Navigation verf√ľgt, sollten Sie eine Anpassung Ihrer Shopify-robots.txt-Datei in Betracht ziehen. Facettierte Navigation sind die Filteroptionen, die Sie auf Kategorieseiten anwenden k√∂nnen. Sie befinden sich im Allgemeinen auf der linken Seite der Seite. Auf dieser Shopify-Website k√∂nnen Benutzer beispielsweise Produkte nach Farbe, Gr√∂√üe, Produkttyp und mehr filtern:

Wenn wir die Farbfilter ‚ÄěSchwarz‚Äú und ‚ÄěGelb‚Äú ausw√§hlen, k√∂nnen wir sehen, dass eine URL mit dem Parameter ‚Äě?color‚Äú geladen wird:

W√§hrend Shopifys standardm√§√üige robots.txt Seitenpfade, die durch eine Facettennavigation erstellt werden k√∂nnten, gut blockiert, kann sie leider nicht jeden einzelnen Anwendungsfall ber√ľcksichtigen. In diesem Fall wird ‚ÄěFarbe‚Äú nicht blockiert, sodass Google die Seite crawlen kann.

Dies könnte ein weiterer Fall sein, in dem wir in Betracht ziehen sollten, Seiten mit der robots.txt-Datei in Shopify zu blockieren. Da eine große Anzahl dieser facettierten Navigations-URLs gecrawlt werden könnte, möchten wir möglicherweise erwägen, viele davon zu blockieren, um das Crawlen von Seiten mit geringerer Qualität/ähnlichen Seiten zu reduzieren. Diese Site könnte alle Parameter in der Facettennavigation bestimmen, die sie blockieren möchte (Größe, Farbe) und dann Regeln in der robots.txt erstellen, um ihr Crawlen zu blockieren.

Sortiernavigation

√Ąhnlich wie Facettennavigationsfunktionen verf√ľgen viele E-Commerce-Websites √ľber eine Sortierung auf ihren Kategorieseiten. Auf diesen Seiten k√∂nnen Benutzer die auf Kategorieseiten angebotenen Produkte in einer anderen Reihenfolge sehen (Preis: niedrig nach hoch, am relevantesten, alphabetisch usw.).

Das dadurch entstehende Problem besteht darin, dass diese Seiten doppelten/√§hnlichen Inhalt enthalten, da es sich lediglich um Variationen der urspr√ľnglichen Kategorieseite handelt, jedoch mit den Produkten in einer anderen Reihenfolge. Unten sehen Sie, wie bei der Auswahl ‚ÄěAlphabetisch, AZ‚Äú eine parametrisierte URL erstellt wird, die Produkte alphabetisch sortiert. Diese URL verwendet den am Ende angeh√§ngten Parameter ‚Äě?q‚Äú:

Nat√ľrlich handelt es sich hierbei nicht um eine eindeutige URL, die gecrawlt und indiziert werden sollte, da es sich lediglich um dieselben Produkte wie auf der urspr√ľnglichen Kategorieseite handelt, die in einer anderen Reihenfolge sortiert sind. Diese Shopify-Site sollte m√∂glicherweise das Hinzuf√ľgen einer robots.txt-Regel in Betracht ziehen, die das Crawlen aller ‚Äě?q‚Äú-URLs blockiert.

Abschluss

Die robots.txt.liquid-Datei von Shopify erm√∂glicht SEOs eine viel gr√∂√üere Kontrolle √ľber das Crawlen ihrer Website als fr√ľher. W√§hrend f√ľr die meisten Websites die standardm√§√üige robots.txt-Datei von Shopify ausreichen sollte, um Suchmaschinen von unerw√ľnschten Bereichen fernzuhalten, sollten Sie m√∂glicherweise Anpassungen daran in Betracht ziehen, wenn Sie bemerken, dass ein Grenzfall auf Sie zutrifft. Generell gilt: Je gr√∂√üer Ihr Shop ist und je mehr Anpassungen Sie daran vorgenommen haben, desto wahrscheinlicher ist es, dass Sie Anpassungen an der robots.txt-Datei vornehmen m√∂chten. Wenn Sie Fragen zu den SEO-Agenturdiensten von robots.txt oder Shopify haben, k√∂nnen Sie sich gerne an uns wenden!

Weitere Shopify-SEO-Ressourcen

√úber Chris Long

Chris Long ist Vizepr√§sident f√ľr Marketing bei Go Fish Digital. Mit mehr als 9 Jahren Erfahrung bearbeitet Chris einzigartige Probleme und erweiterte Suchsituationen, um Kunden dabei zu helfen, den organischen Traffic durch ein tiefes Verst√§ndnis des Algorithmus und der Webtechnologie von Google zu verbessern. Chris hat bei den Suchstrategien f√ľr Kunden wie GEICO, Adobe und The New York Times beraten. Er ist Autor f√ľr Moz, Search Engine Land und Search Engine Journal. Er ist au√üerdem Redner auf Branchenkonferenzen wie SMX East und BrightonSEO.

Table of Contents

Toggle

Your Header Sidebar area is currently empty. Hurry up and add some widgets.