Pobieranie danych o domenach

Proces
Opis procesu	Za pomocą tej automatyzacji uzupełnimy dane dla listy domen. Naszym celem jest to aby dla wcześniej zdefiniowanej listy domen pobrać jak najwięcej informacji. Tego typu działanie przeprowadza się najczęściej w przypadkach: wyboru serwisów do linkowania, wyboru domen do kupienia
Zasoby	Plik w Google Sheets
Wejście	Lista domen
Wyjście	Lista domen z dodatkowymi metrykami

❗

Jeśli chcesz zaimportować automatyzację na swoje konto make.com pobierz poniższy plik i postępuj zgodnie z poniższą instrukcją:

📙Instrukcja importu automatyzacji do make.com

Baza automatyzacji Senuto - Pobieranie danych o domenach.json114.6KB

Instrukcja video

Instrukcja

Krok 1: Utwórz listę domen, dla których chcesz pobierać metryki.

Krok 2: Utwórz plik Google Sheets z listą domen i metrykami, które będą pobierane w automatyzacji. Możesz również skopiować przygotowany przeze mnie plik Google Sheets (link poniżej) i mój zestaw metryk. Przy drobnych modyfikacjach automatyzacji możesz pobrać inny zestaw metryk z innych źródeł.

Krok 3: Utwórz nową automatyzację w narzędziu make.com.

Krok 4: W make.com w pierwszym kroku wybierz integrację z Google Sheets i funkcję “Watch Rows” - ta funkcja monitoruje czy w pliku pojawiły się jakieś nowe wiersze. Jeśli do utworzonego wcześniej pliku Google sheets dodasz nowe domeny to przy kolejnym uruchomieniu automatyzacji dane zostaną pobrane tylko dla nowych domen.

*Jeśli w Twoim pliku znajduje się więcej niż 100 domen zwiększ limit. Przy kolejnym uruchomieniu musiałoby to być >100 nowych domen

Krok 5: Z dostępnych narzędzi wybierz opcję “Router”. Opcja router umożliwia rozgałęzienie przepływu automatyzacji na kilka gałęzi. Dzięki temu można wykonywać większą liczbę operacji na jednym zbiorcze danych.

Krok 6: Dodaj funkcję sleep. Ta funkcja dodaje odstęp pomiędzy wykonaniem kolejnego zapytania. API, którego użyjemy w kolejnym kroku ma limit 3 zapytań na minutę. Dlatego też każde zapytanie musimy robić w odstępie 20-30 sekund. W zależności od wymogów API, którego będziesz używać musisz dostosować ustawienia.

Krok 7: Z dostępnych integracji wybierz HTTP API. Metody HTTP to sposób na komunikację z API zewnętrznego narzędzia. Jeśli korzystasz jakiegoś narzędzia, które daje Ci dostęp do API najpewniej za pomocą funkcji HTTP API będzie możliwe pobranie danych do automatyzacji.

My skorzystamy tu z API serwisu rapidapi.com - jest to market place dla API. Developerzy mogą dodawać tam swoje usługi, a Ty możesz za pomocą jednego, wspólnego standardu z nich korzystać. Jest to o tyle wygodne, że jeśli nauczysz się obsługi rapidapi (nie jest to trudne) możliwe będzie korzystanie z kilkuset różnych serwisów w ramach jednego serwisu i rozliczanie się w jednym miejscu. W tym kroku wykorzystamy API domain checker: https://rapidapi.com/MASNathan/api/domain-checker7/, które umożliwia pobieranie danych z Whois i DNS. Api dla 50 zapytań miesięcznie jest darmowe. Za 10$ + 0,00075$ za odpytanie możesz odpytać do 150 000 domen miesięcznie).

Ustawienia w kroku automatyzacji wyglądają następująco:

Są one zgodne z opisaną dokumentacją: https://rapidapi.com/MASNathan/api/domain-checker7/ (po prawej stronie wybierz (HTTP) HTTP/1.1 aby zobaczyć dokumentację dla zapytań HTTP.

W tym przypadku wysyłamy zapytanie HTTP metodą GET, a więc parametry zapytania definiujemy w linku. Naszym jedynym parametrem jest domena, którą pobieramy z pliku Google Sheets z kolumny B. Make w miejscu zmiennej “1. (B)” wstawi domenę zdefiniowaną w Google sheets i w takiej formie wyśle zapytanie do API.

Dalej musimy skonfigurować informacje przesyłane w nagłówku. W zapytaniach HTTP nagłówki wykorzystuje się do przesyłania informacji. Według dokumentacji musimy zamieścić takie nagłówki w zapytaniu:

X-Rapidapi-Key: fc708e1f7cmshe66708da2a3bcafp1188fejssdsdn24809ba73444
X-Rapidapi-Host: domain-checker7.p.rapidapi.com

Są tu dwie informacje:

Klucz do API - dzięki temu rapidapi wie, że mamy dostęp do określonego API
Host - adres serwera, do którego wysyłamy zapytanie

Jeśli wszystko poprawnie skonfigurowaliśmy API powinno odpowiedzieć statusem http 200 (inny status będzie oznaczał błąd) wraz z żądanymi informacjami. Możesz przetestować konfiguracje klikając prawym przyciskiem myszy na krok w automatyzacji i wybierając opcję ”run this module only”.

Jeśli wszystko przebiegło pomyślnie zobaczysz taki zbiór danych. Oznacza on, że dane pobrały się poprawnie i można zapisać je do pliku Google sheets.

Krok 7: zapisz dane z API w Google sheets wybierając opcje Google sheets > Update a row, która służy do aktualizacji już istniejących wierszy.

Przekazujemy tu dwie zmienne:

Numer wiersza: make musi wiedzieć, w którym wierszu zapisać tę informację
Dane: do kolumny C zapisujemy datę wygaśnięcia domeny, którą pobraliśmy w kroku wcześniej

Krok 7: Dodaj kolejną ścieżkę do routera i wybiera opcję Senuto > Get Domain Details. W tym kroku chcemy pobrać informacje o:

Liczba fraz w TOP3/10/50
Kategoria domeny

Do tego celu używamy integracji z Senuto, którą konfigurujemy w taki sposób.

Krok 8: Zapisz dane z Senuto do Google Sheets. Tak jak poprzednio wybieramy opcje Google Sheets > update a row i przekazujemy dane do pliku.

Krok 9: Utwórz kolejne zapytanie do API. Tym razem skorzystamy z innego end-pointu, który służy do sprawdzania czy domena jest dostępna do rejestracji. Teoretyczne podobny cel możesz osiągnąć poprzez formułę w Google sheets, która będzie weryfikować czy data wygaśnięcia jest wcześniejsza niż data dzisiejsza:

=IF(C2 > NOW(); "Dostępna do rejestracji"; "Niedostępna do rejestracji")

W praktyce jednak często zdarza się tak, że domena pomimo, że wygasła nie jest dostępna do rejestracji. Wynika to z faktu, że na domenie może być jakaś opcja, dodatkowo po jej wygaśnięciu właściciel ma jeszcze okres na jej przedłużenie.

End-point, którego użyjemy sprawdzi czy domena może zostać zarejestrowana. Jeśli spełni warunki Twojego procesu możesz za pomocą API rejestratora (takiego jak aftermarket) od razu ją zarejestrować.

Korzystamy tu z API domain checker: https://rapidapi.com/MASNathan/api/domain-checker7/, a ustawienia zapytania wyglądają następująco:

W odróżnieniu od poprzedniego zapytania używamy tu metody POST, nie przekazujemy parametrów zapytania w linku tylko w polu request content. Jedyną zmienną jak poprzednio jest domena, pozostałe ustawienia skopiowałem z rapidapi.

Krok 10: Zapisz dane do. Google Sheets. W kolumnie I zapisuje informację czy domena jest dostępna do rejestracji.

To koniec!

Możesz jeszcze ustawić harmonogram dla swojej automatyzacji. Tak aby uruchamiała się cyklicznie. Za każdym uruchomieniem zgodnie z ustawieniami będzie przetwarzać nowe domeny z listy.

Tę automatyzacje rozwijać można o dowolne API. Możesz dostosować ją do swoich procesów.

Dodatkowe materiały

Szablon Google Sheets:

https://docs.google.com/spreadsheets/d/1B0VxLbeVw60WPZCo2bY57CxJk3M2a2gJwOIWNlOxA5U/edit#gid=0