Ein deutscher Energieversorger wollte systematisch wissen, wo seine Tarife auf den großen Vergleichsportalen stehen und wie sich die Preise der Konkurrenz bewegen. Wir haben eine robuste Monitoring-Pipeline gebaut, die sich selbst repariert, wenn ein Portal seine Oberfläche umbaut. Zahlen bleiben unter NDA, das Prinzip zeigen wir hier.
Ein Energieversorger, der wissen musste, wo er steht
Strompreise auf den großen Vergleichsportalen bewegen sich fast täglich. Für einen deutschen Energieversorger heißt das: Seine Tarife stehen dort im direkten Wettbewerb mit Dutzenden anderen Anbietern, und die Platzierung entscheidet mit, ob ein Kunde abschließt oder weiterscrollt. Das Problem: Es gab keinen systematischen, aktuellen Blick darauf, wo die eigenen Tarife je nach Kundenprofil landen und wie sich die Preise der Konkurrenz verschieben.
Von Hand ist das nicht zu leisten. Ein Mensch, der mehrmals pro Woche verschiedene Profile durch mehrere Portale klickt und die Ergebnisse in eine Tabelle tippt, skaliert nicht und macht Fehler. Frühere technische Anläufe hatten ein anderes Problem, das größere.
Das eigentliche Problem sitzt nicht im Abruf, sondern in der Haltbarkeit
Eine Vergleichsseite auszulesen ist am ersten Tag einfach. Der Haken kommt später: Die Portale bauen ihre Oberflächen regelmäßig um, andere Struktur, andere Bezeichnungen, andere Reihenfolge. Ein klassischer Scraper, der fest auf bestimmte Stellen im Seitencode zeigt, fällt bei jeder solchen Änderung aus und liefert entweder nichts mehr oder, noch gefährlicher, stillschweigend falsche Werte. Genau daran waren vergleichbare Ansätze vorher gescheitert: Sie liefen ein paar Wochen und mussten dann jedes Mal von Hand repariert werden.
Die Aufgabe war also weniger, überhaupt an die Daten zu kommen, sondern eine Pipeline zu bauen, die auch dann weiterläuft, wenn sich die Quelle unter ihr verändert.
Unser Ansatz: eine Pipeline, die sich selbst repariert
Der Kern ist eine zweistufige Extraktion. Solange die bekannte Struktur passt, liest das System die Werte direkt und günstig aus. Ändert ein Portal sein Layout und der bekannte Weg trifft ins Leere, springt eine zweite Schicht ein, die die Werte am Inhalt wiedererkennt, nicht an ihrer Position, und die neuen Stellen für das nächste Mal lernt. So bricht der Ablauf bei einem Umbau nicht ab, sondern heilt sich selbst.
Darüber liegt eine Plausibilitätsprüfung, die stille Fehler abfängt, bevor sie in den Reports landen. Ein Preis, der plötzlich um ein Vielfaches springt, oder zwei Tarife auf demselben Rang fallen auf, statt unbemerkt durchzurutschen. Bewusst nicht Teil der Lösung: Tarnung, Anti-Detection oder gefälschte Fingerabdrücke. Wir beachten die robots.txt, arbeiten mit Rate-Limits und gehen für geschützte Quellen den sauberen Vertragsweg. Für einen regulierten Marktteilnehmer ist das keine Einschränkung, sondern Voraussetzung.
Die Daten landen dort, wo sie gebraucht werden
Die geprüften Daten werden nicht in einer weiteren Insel-Oberfläche eingesperrt, sondern strukturiert in die Systeme des Kunden geliefert, sodass seine eigenen Teams damit arbeiten, historisieren und auswerten können. Das Monitoring ist also ein verlässlicher Datenlieferant im Hintergrund, kein weiteres Tool, das jemand zusätzlich bedienen muss.
Warum das Prinzip breiter zählt
Zahlen und Details bleiben unter NDA beim Kunden. Der Aufbau selbst ist aber nicht energiespezifisch. Überall, wo Preise, Platzierungen und Bewertungen auf Vergleichsportalen oder Aggregatoren stehen, in Versicherung, Telekommunikation, Energie oder Handel, greift dieselbe Architektur: robust gegen Oberflächenänderungen, ehrlich gegenüber den Quellen, strukturiert in der Auslieferung.
Wenn du in deinem Markt wissen willst, wo du gegen den Wettbewerb stehst, und ein Monitoring brauchst, das nicht bei der nächsten Layout-Änderung stirbt, schildere uns deinen Fall über Kontakt. Wie wir solche Datenpipelines grundsätzlich bauen, steht unter API-Pipelines und Ops-Automation.