Überwachen Sie die Verfügbarkeit Ihrer Website kostenlos mit Apify und Integromat

Es gibt eine ganze Reihe von Diensten zur Überwachung der Betriebszeit, von denen die meisten leider ein monatliches Abonnement erfordern. Die wenigen kostenlosen, die tatsächlich einigermaßen zuverlässig erscheinen, bieten nicht viel Kontrolle darüber, wie Ihre Website überprüft wird. Mein Lieblingsüberwachungsdienst war früher Pingdom, aber sie haben kürzlich ihren kostenlosen Plan eingestellt, was mich zwang, nach etwas Neuem zu suchen. Nach einigen Experimenten konnte ich Apify und Integromat so einrichten, dass es meinen Überwachungsanforderungen entsprach.

Zunächst hier eine kleine Vorstellung beider Dienste:

Apify

Apify ist eine „Web-Scraping- und Automatisierungsplattform“. Grundsätzlich ermöglicht es Ihnen, jede Website zu crawlen und die verfügbaren Informationen in eine einfach zu verwendende API umzuwandeln. Beispielsweise hat Google keine offizielle API zum Abrufen von Suchergebnissen, sodass die einzige Option darin besteht, den HTML-Code aus den Google-SERPs zu entfernen und die benötigten Daten zu extrahieren. Apify kann diesen Prozess einfach für Sie automatisieren. In unserem Fall werden wir es so konfigurieren, dass es unsere eigene Website durchsucht, um zu sehen, ob sie online ist.

Integrat

Dieser Dienst ist eine Online-Automatisierungsplattform. Damit können Sie Aktionen definieren, die bei bestimmten Triggern ausgeführt werden. Sie können beispielsweise ein Szenario definieren, in dem eine neue Aufgabe in einer Todo-Listen-App erstellt wird, sobald jemand ein Google-Formular absendet. Mit anderen Worten, es integriert Dienste, die nicht direkt miteinander kommunizieren.

Für unser Szenario verwenden wir Integromat, um Benachrichtigungen zu senden, wenn Apify ein Problem bemerkt.

Prozessübersicht

Hier ein kurzer Überblick, wie das funktionieren soll:

• Apify durchsucht in regelmäßigen Abständen eine Seite Ihrer Website und sucht nach einem Schlüsselwort
• Am Ende jedes Crawls erhält ein Modul in Integromat die Ergebnisse
• Ein Filter überprüft die Crawl-Daten, um festzustellen, ob die Website offline ist oder das erforderliche Schlüsselwort nicht gefunden wird
• Wenn die Website offline ist, lässt der Filter ein zweites Integromat-Modul laufen und sendet Ihnen eine Benachrichtigung

Lass uns anfangen!

Apify einrichten

• Melden Sie sich für ein kostenloses Apify-Konto an oder melden Sie sich an, wenn Sie bereits eines haben

• Gehen Sie in Ihrem Konto zum Crawler-Bereich und erstellen Sie einen neuen Crawler

• Geben Sie auf der Registerkarte Grundeinstellungen einen Namen für Ihren Crawler ein

• Geben Sie die URL, die Sie überprüfen möchten, in das Feld „Start-URLs“ ein

• Entfernen Sie alles aus dem Feld „Anklickbare Elemente“, da wir nicht möchten, dass sich der Crawler auf der Website bewegt. Wir wollen nur eine einzelne Seite überprüfen.

• Fügen Sie im Bereich „Seitenfunktion“ den folgenden Code hinzu. Es wird den Hauptteil der Seite nach dem Schlüsselwort „DEIN SCHLÜSSELWORT HIER“ durchsuchen. Stellen Sie sicher, dass Sie dies durch Ihr eigenes Schlüsselwort ersetzen.

 function pageFunction(context) { // called on every page the crawler visits, use it to extract data from it var $ = context.jQuery; var result = { title: $('title').text(), online: $('body').text().indexOf('YOUR KEYWORD HERE') !== -1 ? '1' : '0' }; return result; }

• Wechseln Sie zur Registerkarte Erweiterte Einstellungen

• Setzen Sie „Max. Seiten pro Crawl“ auf eins, da wir nur eine einzelne Seite überprüfen möchten

• Speichern Sie die Crawler-Einstellungen

• Wechseln Sie zur Registerkarte Run Console

• Klicken Sie auf die Schaltfläche „Ausführen“ und vergewissern Sie sich, dass unter den Ergebnissen korrekte Werte angezeigt werden

• Wählen Sie „Zeitpläne“ in der Seitenleiste und klicken Sie auf „Neu erstellen“.

• Geben Sie im Feld „Cron-Ausdruck“ auf der Registerkarte „Einstellungen“ @hourly ein und speichern Sie die Einstellungen

• Wechseln Sie zum Reiter „Crawler“, fügen Sie Ihren Crawler hinzu und speichern Sie. Jetzt läuft Ihr neuer Crawler stündlich.

Integromat einrichten

• Melden Sie sich für ein kostenloses Integromat-Konto an oder melden Sie sich an, wenn Sie bereits eines haben

• Klicken Sie auf die Schaltfläche „Neues Szenario erstellen“ in der oberen rechten Ecke des Bildschirms

• Sie werden gefragt „Welche Dienste möchten Sie integrieren?“. Wählen Sie Apify und drücken Sie Weiter

• Klicken Sie auf das Fragezeichen in der Mitte des Bildschirms und wählen Sie Apify

• Wählen Sie unter Trigger „Crawler-Ausführungen beobachten“.

• Wenn Sie nach einem Webhook gefragt werden, klicken Sie auf die Schaltfläche „Hinzufügen“.

• Klicken Sie im Popup „Hook hinzufügen“ auf die Schaltfläche „Hinzufügen“ unter „Verbindung“

• Fügen Sie im Popup-Fenster „Create a connection“ Ihre Apify-Anmeldeinformationen hinzu und klicken Sie auf Continue. Sie erhalten die „Benutzer-ID“ und das „API-Token“ unter Account > Integrations in Ihrem Apify-Konto.

• Sobald eine Verbindung hinzugefügt wurde, wählen Sie den Apify-Crawler, den Sie im vorherigen Schritt erstellt haben, aus der Dropdown-Liste „Crawler“ aus

• Klicken Sie im Popup „Hook hinzufügen“ auf „Speichern“.

• Klicken Sie im Hauptfenster von Apify auf „OK“.

• Der neue Webhook ist nun fertig. Wütend!

Sie haben jetzt erfolgreich einen Listener für Ihre Apify-Crawls erstellt. Jetzt müssen Sie eine Aktion für das Ende eines Crawls hinzufügen. Dazu müssen Sie ein weiteres Modul hinzufügen. Hier haben Sie die Wahl, ein beliebiges Modul hinzuzufügen. Sie können ein Gmail-Modul hinzufügen, um Benachrichtigungen an Ihren Posteingang zu senden. Ich werde die Anweisungen für diesen Teil überspringen, da die Anweisungen auf dem Bildschirm ziemlich selbsterklärend sind. Ich persönlich habe Slack als mein zweites Modul gewählt, weil ich mich nicht wohl dabei fühlte, einem Dritten Zugriff auf meine E-Mails zu gewähren.

Nachdem Sie das zweite Modul hinzugefügt haben, klicken Sie auf die drei Punkte, die die beiden Module verbinden, und fügen Sie diese Werte hinzu:

Das bedeutet, dass das zweite Modul nur ausgeführt werden soll, wenn die von Apify gesendeten Crawl-Daten nicht das Attribut „online“ haben (für Server-Timeout-Fehler usw.) oder wenn ein Attribut „online“ verfügbar ist, dessen Wert jedoch gleich 0 ist (Die Seite wurde gut geladen, aber das Schlüsselwort wurde nicht gefunden).

Testen

Öffnen Sie Ihre Apify-Crawler-Einstellungen und speichern Sie eine unzugängliche URL als Feldwert „Start-URLs“. Wenn Sie jetzt einen neuen Crawl ausführen, wird dieser vorhersehbar fehlschlagen, das zweite Modul in Integromat wird ausgelöst und Sie erhalten eine neue Benachrichtigung!

Das ist alles! Ihre Website wird jetzt rund um die Uhr überwacht und Sie müssen keinen einzigen Dollar bezahlen. Fühlen Sie sich frei, die beiden in diesem Artikel erwähnten Dienste zu erkunden, um weitere tolle Optionen und Anwendungsfälle zu finden.