Technologische Neuigkeiten, Bewertungen und Tipps!

Warum wir unser eigenes Keyword-Rank-Tracking-Tool entwickelt haben

Hinweis: Der folgende Artikel hilft Ihnen weiter: Warum wir unser eigenes Keyword-Rank-Tracking-Tool entwickelt haben

Warum ein benutzerdefiniertes Rank-Tracking-Tool erstellen?

Es gibt viele tolle Tools auf dem Markt für die Verfolgung des Keyword-Rangs – aber bei Seer haben wir festgestellt, dass wir viele Anwendungsfälle mit organischen Rangdaten hatten, die von diesen Tools nicht abgedeckt wurden.

Wenn Sie weitere Informationen zu den Möglichkeiten unseres Tools suchen:
Gehe hier hin.

Viele unserer Analysen ziehen große Datenmengen (denken Sie an 100.000, 200.000, 500.000+ Keywords auf einmal!) für eine Momentaufnahme der Erkenntnisse – vielleicht analysieren wir Inhaltslücken oder versuchen, einen neuen Geschäftszweig für einen Kunden zu recherchieren. Dafür brauchen wir keine täglichen Rankings – wir brauchen einen massiven, einmaligen Datenabruf.

Für einige Kunden haben wir möglicherweise Suchbegriffe, die wir im Auge behalten möchten, aber benötigen wir tägliche Daten? Möglicherweise möchten wir unser Tracking verwechseln: Tägliche Prioritätsschlüsselwörter und wöchentliche oder monatliche andere Schlüsselwörter, die uns helfen, Veränderungen in der Landschaft zu verstehen.

Wenn ein Kunde eine Migration oder eine größere Änderung seiner Website plant, möchten wir möglicherweise sogar wöchentliche oder monatliche Keywords ändern, um sie täglich zu verfolgen, damit wir Änderungen in diesen Zeiträumen mit hohem Risiko genauer im Auge behalten können.

💡In diesem Beitrag gehen wir durch, wie wir von Grund auf an die Entwicklung unseres eigenen Keyword-Tracking-Tools herangegangen sind.

Was sind die Vorteile eines benutzerdefinierten Keyword-Tracking-Tools?

Flexibilität

Die von uns verwendeten Keyword-Tracking-Tools gaben uns nicht die Flexibilität, die Tracking-Häufigkeit zu ändern – Die Teammitglieder mussten große Keyword-Sets einreichen und diese dann genau überwachen, damit wir die Nachverfolgung deaktivieren konnten, sobald Daten zurückgegeben wurden, um zu verhindern, dass täglich 500.000 Keywords für eine Analyse erfasst werden, die wir nur zweimal im Jahr durchführen mussten. Wenn ein Teammitglied vergisst, das Tracking zu deaktivieren, könnten uns aufgrund eines sehr einfachen Fehlers ziemlich hohe Kosten entstehen.

Nehmen wir an, ein Teammitglied wollte 50.000 Suchbegriffe für eine Snapshot-Analyse einreichen und die Kosten für unser altes Tool lagen bei etwa 400 US-Dollar pro Tag für 50.000 Schlüsselwörter.

Mit unserem alten Tool reichte unser Teammitglied seine Schlüsselwörter ein und überprüfte dann jeden Tag, wann die Daten zurückgekehrt waren – normalerweise innerhalb von ca. 3–5 Tagen. Dann müssten sie das Tracking sofort beenden und die Daten herunterladen, sonst würden für diese Keywords weiterhin Kosten anfallen.

Was wäre, wenn einer der Kunden dieses Teammitglieds ein großes Problem hätte und einspringen müsste, um ihm zu helfen? Es wäre leicht (und verständlich), zu vergessen, die Nachverfolgung zu deaktivieren, wenn für dieses Teammitglied eine umfangreiche Analyse und Präsentation ansteht und darüber hinaus noch ein Kundenproblem ansteht, um das es sich kümmern muss. (Dafür kann Christina bürgen – sie gehörte schon früher zu den Teammitgliedern, die vergessen haben, das Tracking auszuschalten).

Mit unseren alten Tools verursachten diese Schlüsselwörter weiterhin Kosten in Höhe von 400 US-Dollar pro Tag, bis das Teammitglied daran dachte, sie auszuschalten, oder wenn eines unserer Teammitglieder, das auf größere Überschreitungen überwachte, sie bemerkte. Wenden Sie dieses Risiko nun auf ein ganzes Team an. Menschliche Fehler passieren – und wir könnten unserem Team helfen, indem wir ihm die Verantwortung abnehmen, daran zu denken, Schlüsselwörter zu deaktivieren.

Bei der Analyse von Snapshot-Keywords (einmalige Rankings) aus unserem alten Tool stellten wir fest, dass wir das Vier- bis Fünffache der tatsächlich benötigten Rankings verfolgten (und dafür bezahlten), was hauptsächlich auf die Tatsache zurückzuführen war, dass es manchmal mehrere Tage dauerte, bis die Daten zurückkamen Teammitglieder haben die Nachverfolgung nicht sofort deaktiviert. Ungefähr 80 % dieser Rankings waren überflüssig.

Jahr Anzahl der Snapshot-Schlüsselwörter Anzahl der deduplizierten Snapshot-Schlüsselwörter % von Verschwendung
2019 12.059.428 2.461.270 79,59 %
2020 5.276.197 1.083.009 79,47 %

Mit unserem eigenen Keyword-Tracking-Tool übermittelt dasselbe Teammitglied seine 50.000 Suchbegriffe mit der „einmaligen“ Häufigkeit und das war’s. Sobald ihre Daten verfügbar sind, können sie diese nutzen – es sind keine zusätzlichen Schritte erforderlich.

Durch die Zusammenarbeit mit können wir auch weitere Keywords einreichen Flugbahndaten als je zuvor – wir sind von 26 Millionen Rankings im Jahr 2019 auf 61 Millionen Rankings im Jahr 2020 gestiegen, dem Jahr, in dem wir unser internes Ranking-Tracking-Tool eingeführt haben.

Am Tag, an dem dieser Blogbeitrag geschrieben wurde (10.02.22), hatten wir 4,6 Milliarden Zeilen mit Keyword-Daten in unserem Rank-Tracking-Data-Lake.

Von allen mit Traject verarbeiteten Rankings sehen wir folgende Häufigkeiten:

Frequenz Anzahl der verfolgten Schlüsselwörter % zur Gesamtsumme
Täglich 8.420.170 7,89 %
Wöchentlich 8.955.622 8,39 %
Monatlich 2.157.943 2,02 %
Vierteljährlich 586.760 0,55 %
Einmal 86.578.430 81,14 %

Das sind über 80 % aller Suchbegriffe, die in den letzten zwei Jahren einmalig erfasst wurden! Stellen Sie sich vor, wie viel Zeit gespart und Kostenüberschreitungen vermieden werden, wenn den Benutzern die Flexibilität gegeben wird, auf verschiedenen Frequenzen zu verfolgen.

Barrierefreiheit

Als wir noch andere Tools zur Rangverfolgung verwendeten, mussten wir die Daten exportieren, wenn wir etwas außerhalb ihrer Software anpassen wollten. Selbst wenn wir Vorlagen in Visualisierungstools wie Power BI oder Google Data Studio erstellen würden, um die Erstellungszeit zu verkürzen, würden diese Vorlagen sehr spezifische Eingaben erwarten – wenn ein Tool den Namen einer Spalte ändert oder wenn ein Teammitglied einer Liste von zu exportierenden Schritten folgt Wenn die Daten einen Schritt übersehen, kann dies zu Fehlern und Verwirrung führen.

Beispielsweise könnte ein Teammitglied, das eine Analyse durchführt, 10 bis 20 Anweisungen befolgen, um die Daten auf eine bestimmte Art und Weise zu exportieren – vielleicht erfordert es einen bestimmten Bericht oder eine bestimmte Filterung der Daten vor dem Export. Das Teammitglied exportiert seine CSV-Datei auf seinen Computer, öffnet die Vorlage und wählt seine CSV-Datei als Quelle aus.

Plötzlich bricht alles zusammen und sie erhalten eine eklatante Fehlermeldung: „Die Spalte „Landing Page“ wurde nicht gefunden.“ Alle anderen Datenquellen in der Analyse schlagen ebenfalls fehl – ​​aufgrund des Fehlers in der fehlenden Spalte „Landing Page“.

Das Teammitglied ist sich nicht sicher, was schief gelaufen ist – schließlich hat es alle Schritte befolgt! Sie springen in einen Chat und bitten einige andere Teammitglieder um Hilfe. Ein Teammitglied bittet um einen Screenshot der Fehlermeldung. Ein anderes Teammitglied sagt, dass sie in einen Video-Chat einsteigen können, um bei der Fehlerbehebung zu helfen.

Schließlich bittet jemand, der dieses Problem schon einmal hatte, unser ursprüngliches Teammitglied, die heruntergeladene CSV-Datei zu öffnen. Die Spalte „Landing Page“ befindet sich nicht in der CSV – sie wurde durch den Feldnamen „URL“ ersetzt.

„Manchmal ändert dieses Tool einfach nur Spaltennamen und wir finden es erst heraus, wenn es etwas kaputt macht – ich tippe auf die Person, die Eigentümer der Vorlage und der Anweisungen ist, um eine Aktualisierung vorzunehmen.“ sagt unser erfahreneres Teammitglied.

Das Problem wurde gelöst, aber mehrere Teammitglieder brauchten für die Lösung dieses Prozesses vielleicht 30 Minuten. Unser ursprüngliches Teammitglied wollte niemandem seine Zeit verschwenden – er hätte möglicherweise eine Stunde damit verbracht, das Problem selbst zu beheben, bevor er überhaupt um Hilfe gebeten hätte.

Durch die Kontrolle unserer Daten stellen wir sicher, dass den Teammitgliedern solche Änderungen nicht passieren. Selbst wenn ein Anbieter eine Änderung vornimmt, können wir diese Art von Änderungen vor dem Team in unserer Transformationsebene „verbergen“ – vielleicht indem wir die Spalte „URL“ in einem Reinigungsschritt wieder in „Landing Page“ umbenennen, bevor diese Daten in die Hände von gelangen unser Team.

Wiederverwendbarkeit

Die Aufbewahrung unserer Daten in unserem Lager gibt uns auch die Möglichkeit, Daten wiederzuverwenden. Möglicherweise verfügen wir über mehrere Produkte, die eine gemeinsame Datenquelle haben. Wenn diese dieselben Daten verwenden könnten, könnten wir mehr Wert schaffen, ohne die Kosten zu erhöhen.

Wir können diese Einsparungen auch vervielfachen, indem wir Warteschlangen für Microservices erstellen, die Daten deduplizieren und zwischenspeichern. Dadurch werden die Kosten gesenkt und die Durchlaufzeiten für die Datenbeschaffung durch Teammitglieder erhöht.

Unsere Daten können in skalierbare Dashboards und Berichte einfließen, um Erkenntnisse zu gewinnen, die jedes SEO-Teammitglied wissen möchte (z. B „Wie hat sich mein Rang für vorrangige Keywords von Woche zu Woche verändert?“ oder „Wie hat sich unser Rang nach der Durchführung dieses Content-Audits verbessert?“), kann aber auch in benutzerdefinierten Analysen durch unsere Analyseteams verwendet werden, bei denen wir die bezahlten Such- oder CRM-Daten eines Kunden einbinden.

Bereits wenige Monate nach der Einführung unseres internen Tools zur Rangverfolgung stießen wir in unserem Visualisierungstool auf Einschränkungen bei der Datengröße. Da unsere Daten exponentiell wuchsen, mussten wir auf eine Datenplattform umsteigen, die Petabyte statt Gigabyte abfragen konnte. Wir konnten uns etwas Spielraum verschaffen, indem wir inkrementelle Aktualisierungen implementierten oder Daten herausfilterten, die nicht in jedem Dashboard unbedingt vorhanden waren (was zusätzliche Zeit für die Erstellung jedes Datenprodukts verursachte).

Ende 2021 Wir haben unsere Datenprodukte (einschließlich Rangverfolgungsdaten) von einer Datenplattform auf unsere eigene Webanwendung powered by migriert Die eingebetteten Analysen von Looker.

Da sich die Daten in unserem Warehouse befanden, konnten wir die Daten transformieren und mithilfe von Best Practices für unsere neue Datenplattform neu erstellen. Wir ließen unsere alte Plattform laufen, bis unsere neue Plattform startbereit war – etwas, das ohne die Möglichkeit, dieselben Daten in mehreren Anwendungen zu verwenden, möglicherweise nicht möglich gewesen wäre.

Sicherheit

Ein wesentlicher Vorteil der Entwicklung unseres eigenen Tools zur Rangverfolgung ist die Möglichkeit, robuste Sicherheit in das System zu integrierennicht nur durch die sichere Aufbewahrung unserer Daten in unserem Lager, sondern auch durch die Nutzung von Berechtigungen, um unseren Teammitgliedern ein besseres Erlebnis zu bieten.

Durch die Verknüpfung der organischen Ranking-Daten unserer Kunden mit Daten aus unserem CRM (z „Welches Teammitglied ist welchem ​​Kunden zugeordnet?“) können wir mithilfe von Berechtigungen sicherstellen, dass Kundenmarketingdaten nur für Teammitglieder sichtbar sind, die an diesem Kunden arbeiten. Wenn ein Seer-Teammitglied eines unserer Datenprodukte öffnet, sieht es nur die Daten seiner Kunden, was die Navigation durch die Produkte erleichtert.

Dies gibt uns auch die Möglichkeit, Daten zu anonymisieren und für Trends und Erkenntnisse auf Branchenebene zu kombinieren, ohne auf manuelle Methoden angewiesen zu sein, die anfälliger für Benutzerfehler sind.

Demokratisierung

Wenn wir über unser eigenes Rangverfolgungstool verfügen, fließen alle diese Daten in unser Data Warehouse, wo wir sie auf viele verschiedene Arten leiten können, damit unser Team sie nutzen kann. Wir können unsere Daten demokratisieren, indem wir es unseren Teammitgliedern ermöglichen, datengestützte Entscheidungen zu treffen fühlen sich im Umgang mit Daten sicher, unabhängig von ihrem technischen Fachwissen.

Erinnern Sie sich an unser Teammitglied mit dem CSV-Problem?

Sie hatten diese Daten auch lokal in einer CSV-Datei auf ihrem Computer gespeichert. Wenn ein anderes Teammitglied eine andere Analyse mit denselben Daten erstellen wollte, musste es diese Schritte noch einmal durchführen oder das erste Teammitglied bitten, ihm seine CSV-Datei per E-Mail zu senden. All diese Arbeit und Daten sind dezentralisiert.

Die Speicherung von Daten in unserem Lager gibt uns die Flexibilität, Teammitgliedern Zugriff auf dieselben zentralisierten Daten in verschiedenen Formaten zu gewähren. Datenprodukte, die auf das gesamte Team skaliert werden können, nutzen möglicherweise Data Lakes, aber wir erstellen auch mundgerechte Tabellen und kuratierte Ansichten, die in Power BI, Google Data Studio, Tableau oder jedem anderen Tool, das ein Teammitglied verwenden möchte, visualisiert werden können – Wir zwingen sie nicht zu bestimmten Tools, sondern ermutigen die Teammitglieder, alle Tools zu verwenden, mit denen sie vertraut sind.

Dies reduziert auch die Schulungs- und Erstellungszeit – für Berichte, auf die jedes Teammitglied unabhängig von Erfahrung oder Rolle Zugriff haben sollte, erstellen wir ein Dashboard, das sie einfach per Mausklick öffnen können. Sie müssen die Daten nicht herunterladen, bereinigen und transformieren und dann darauf Visualisierungen erstellen. Sie melden sich einfach an, öffnen das Dashboard und voilà – es ist da!

Für Teammitglieder, die im Rahmen ihrer Rolle benutzerdefinierte Dashboards erstellen, stellen wir ihnen strukturierte Daten zur Verfügung, die ihnen dabei helfen können, schnell die Grundlage ihrer Analyse zu schaffen, und sie nutzen dann ihre Fähigkeiten, um diese anzupassen.

Wie hat der Aufbau unseres eigenen Rank-Tracking-Produkts unsere Arbeitsweise verändert?

Im Jahr 2019 hat unser Team gewonnen 24M-Rangliste in täglicher Häufigkeit. Wir haben 12 Millionen Snapshot-Rankings verfolgt, aber ca. 80 % waren redundant (nur 2,4 Millionen einzigartige Rankings).

Im ersten Halbjahr 2020 haben wir erhalten 14M-Rangliste mit einer täglichen Häufigkeit und weiteren 5 Millionen Snapshot-Rankings (wiederum waren ~80 % der Snapshot-Rankings redundant – wir brauchten nur 1 Million). Nachdem wir im Juli 2020 auf unser Rangverfolgungstool migriert waren, haben wir die Bearbeitung durchgeführt 46 Millionen Gesamtrankings über mehrere Frequenzen hinweg.

Im Jahr 2021 kehrten wir zurück 56M-Rangliste. 76 % aller Rankings wurden einmalig durchgeführt. Nur 9 % dieser Keywords wurden täglich verfolgt.

Wir sind erst ein paar Wochen im Jahr 2022 und wir sind zurückgekehrt 4,6 Mio. Platzierungen Bisher wurden 65 % der Rankings einmalig erfasst. Wir können bis zu bearbeiten 1 Million Keywords pro Tagund dass Daten über unsere zentralisierte Plattform in mehrere Produkte und Tools fließen.

Und kein einziges Teammitglied überprüft täglich, ob seine Daten zurückgegeben wurden, damit es die Nachverfolgung deaktivieren kann.

Möchten Sie mit größeren Datenmengen arbeiten?

Wenn Sie ein geborener Berater sind, der es liebt, Probleme in großem Maßstab mithilfe von Big Data zu lösen, erkunden Sie Seer Careers und bewerben Sie sich jetzt (wir stellen Leute wie Sie ein!)

TRETE UNSEREM TEAM BEI

Melden Sie sich für unseren Newsletter an, um weitere Beiträge wie diesen in Ihrem Posteingang zu erhalten: