Pobieranie danych o domenach

Krok 1: Utwórz listę domen, dla których chcesz pobierać metryki.

Krok 2: Utwórz plik Google Sheets z listą domen i metrykami, które będą pobierane w automatyzacji. Możesz również skopiować przygotowany przeze mnie plik Google Sheets (link poniżej) i mój zestaw metryk. Przy drobnych modyfikacjach automatyzacji możesz pobrać inny zestaw metryk z innych źródeł.

Krok 3: Utwórz nową automatyzację w narzędziu make.com.

Krok 4: W make.com w pierwszym kroku wybierz integrację z Google Sheets i funkcję “Watch Rows” - ta funkcja monitoruje czy w pliku pojawiły się jakieś nowe wiersze. Jeśli do utworzonego wcześniej pliku Google sheets dodasz nowe domeny to przy kolejnym uruchomieniu automatyzacji dane zostaną pobrane tylko dla nowych domen.

*Jeśli w Twoim pliku znajduje się więcej niż 100 domen zwiększ limit. Przy kolejnym uruchomieniu musiałoby to być >100 nowych domen

Krok 5: Z dostępnych narzędzi wybierz opcję “Router”. Opcja router umożliwia rozgałęzienie przepływu automatyzacji na kilka gałęzi. Dzięki temu można wykonywać większą liczbę operacji na jednym zbiorcze danych.

Krok 6: Dodaj funkcję sleep. Ta funkcja dodaje odstęp pomiędzy wykonaniem kolejnego zapytania. API, którego użyjemy w kolejnym kroku ma limit 3 zapytań na minutę. Dlatego też każde zapytanie musimy robić w odstępie 20-30 sekund. W zależności od wymogów API, którego będziesz używać musisz dostosować ustawienia.

Krok 7: Z dostępnych integracji wybierz HTTP API. Metody HTTP to sposób na komunikację z API zewnętrznego narzędzia. Jeśli korzystasz jakiegoś narzędzia, które daje Ci dostęp do API najpewniej za pomocą funkcji HTTP API będzie możliwe pobranie danych do automatyzacji.

My skorzystamy tu z API serwisu rapidapi.com - jest to market place dla API. Developerzy mogą dodawać tam swoje usługi, a Ty możesz za pomocą jednego, wspólnego standardu z nich korzystać. Jest to o tyle wygodne, że jeśli nauczysz się obsługi rapidapi (nie jest to trudne) możliwe będzie korzystanie z kilkuset różnych serwisów w ramach jednego serwisu i rozliczanie się w jednym miejscu. W tym kroku wykorzystamy API domain checker: https://rapidapi.com/MASNathan/api/domain-checker7/, które umożliwia pobieranie danych z Whois i DNS. Api dla 50 zapytań miesięcznie jest darmowe. Za 10$ + 0,00075$ za odpytanie możesz odpytać do 150 000 domen miesięcznie).

Ustawienia w kroku automatyzacji wyglądają następująco:

Są one zgodne z opisaną dokumentacją: https://rapidapi.com/MASNathan/api/domain-checker7/ (po prawej stronie wybierz (HTTP) HTTP/1.1 aby zobaczyć dokumentację dla zapytań HTTP.

W tym przypadku wysyłamy zapytanie HTTP metodą GET, a więc parametry zapytania definiujemy w linku. Naszym jedynym parametrem jest domena, którą pobieramy z pliku Google Sheets z kolumny B. Make w miejscu zmiennej “1. (B)” wstawi domenę zdefiniowaną w Google sheets i w takiej formie wyśle zapytanie do API.

Dalej musimy skonfigurować informacje przesyłane w nagłówku. W zapytaniach HTTP nagłówki wykorzystuje się do przesyłania informacji. Według dokumentacji musimy zamieścić takie nagłówki w zapytaniu:

Są tu dwie informacje:

Jeśli wszystko poprawnie skonfigurowaliśmy API powinno odpowiedzieć statusem http 200 (inny status będzie oznaczał błąd) wraz z żądanymi informacjami. Możesz przetestować konfiguracje klikając prawym przyciskiem myszy na krok w automatyzacji i wybierając opcję ”run this module only”.

Jeśli wszystko przebiegło pomyślnie zobaczysz taki zbiór danych. Oznacza on, że dane pobrały się poprawnie i można zapisać je do pliku Google sheets.

Krok 7: zapisz dane z API w Google sheets wybierając opcje Google sheets > Update a row, która służy do aktualizacji już istniejących wierszy.

Przekazujemy tu dwie zmienne:

Krok 7: Dodaj kolejną ścieżkę do routera i wybiera opcję Senuto > Get Domain Details. W tym kroku chcemy pobrać informacje o:

Do tego celu używamy integracji z Senuto, którą konfigurujemy w taki sposób.

Krok 8: Zapisz dane z Senuto do Google Sheets. Tak jak poprzednio wybieramy opcje Google Sheets > update a row i przekazujemy dane do pliku.

Krok 9: Utwórz kolejne zapytanie do API. Tym razem skorzystamy z innego end-pointu, który służy do sprawdzania czy domena jest dostępna do rejestracji. Teoretyczne podobny cel możesz osiągnąć poprzez formułę w Google sheets, która będzie weryfikować czy data wygaśnięcia jest wcześniejsza niż data dzisiejsza:

W praktyce jednak często zdarza się tak, że domena pomimo, że wygasła nie jest dostępna do rejestracji. Wynika to z faktu, że na domenie może być jakaś opcja, dodatkowo po jej wygaśnięciu właściciel ma jeszcze okres na jej przedłużenie.

End-point, którego użyjemy sprawdzi czy domena może zostać zarejestrowana. Jeśli spełni warunki Twojego procesu możesz za pomocą API rejestratora (takiego jak aftermarket) od razu ją zarejestrować.

Korzystamy tu z API domain checker: https://rapidapi.com/MASNathan/api/domain-checker7/, a ustawienia zapytania wyglądają następująco:

W odróżnieniu od poprzedniego zapytania używamy tu metody POST, nie przekazujemy parametrów zapytania w linku tylko w polu request content. Jedyną zmienną jak poprzednio jest domena, pozostałe ustawienia skopiowałem z rapidapi.

Krok 10: Zapisz dane do. Google Sheets. W kolumnie I zapisuje informację czy domena jest dostępna do rejestracji.

To koniec!

Możesz jeszcze ustawić harmonogram dla swojej automatyzacji. Tak aby uruchamiała się cyklicznie. Za każdym uruchomieniem zgodnie z ustawieniami będzie przetwarzać nowe domeny z listy.

Tę automatyzacje rozwijać można o dowolne API. Możesz dostosować ją do swoich procesów.

Szablon Google Sheets:

https://docs.google.com/spreadsheets/d/1B0VxLbeVw60WPZCo2bY57CxJk3M2a2gJwOIWNlOxA5U/edit#gid=0