Hogyan lehet gyorsan adatokat kinyerni a Google keresésből és a Google Analyticsből az R-ben?

Ebben a cikkben a Google istállójának minden SEO számára legfontosabb eszközeiből – a Google Analytics (a legújabb, azaz a v4-es verzióban is) és a Google Search Console – származó adatok kinyerésével foglalkozunk. Azokkal a számokkal kezdünk, amelyekre napi szinten szükségünk van. Emellett kész és ingyenes eszközöket fogunk használni, amelyek a könyvtárak: searchConsoleR és googleAnalyticsR.

.
A cikkből megtudhatja:

• Hogyan kell telepíteni a szükséges könyvtárakat?

  .

• Hogyan ne telepítse a már meglévő könyvtárakat?

.

• Hogyan töltsön le adatokat a Google Analyticsből (beleértve a legújabb – v4-es – változatát is)?

.

• Hogyan gyűjthetünk adatokat a Google Webmester Eszközök panelről?

.

• Hogyan kezdjen hozzá a Google által biztosított API-khoz?

.

Az előző bejegyzés elolvasása után már emlékszik (ha nem, akkor meghívom, hogy olvassa el – R programozási nyelv minden SEO számára. Helyezkedj el, programozz és figyeld az eredményeket):

• Mi az R és hogyan segít a munkádban

  .

• Milyen könyvtárak vannak az R-ben (és miért van rájuk szüksége)

• .

A Google Search Console-ból kapjuk az adatokat

.
Ahhoz, hogy az R-ben használhassuk a könyvtárat, telepítenünk kell (ezt megkerülhetjük, de javaslom a telepítést) és be kell töltenünk a memóriába (pontosan ebben a sorrendben). A telepítési folyamat a legtöbb esetben legfeljebb egy tucat másodpercet vesz igénybe. Ennek ellenére az alábbi kódban először is ellenőrizzük, hogy nincsenek-e még meg a minket érdeklő könyvtárak. Ha igen, akkor rögtön a második lépésre lépünk, ami a kiválasztott könyvtár betöltése a számítógép operatív memóriájába.

1. lépés. A következő kód a számunkra szükséges könyvtár nevét vektorként (adattípus útmutató R-ben) írja ki: https://towardsdatascience.com/data-types-in-r-8124c3b2afe6):

csomagok <- c("searchConsoleR"," googleAnalyticsR")

.
kód 1.1

2. lépés. Ellenőrizze, hogy a szükséges könyvtárak telepítve vannak-e a számítógépén (ha valamelyik szükséges könyvtár nincs telepítve, akkor telepítve van).

install.packages(setdiff(packages, rownames(installed.packages())))

kód 1.2

3. lépés. Engedélyezés. Ez magától értetődő, de érdemes emlékeztetni arra, hogy így csak olyan webhelyadatokhoz férhetünk hozzá, amelyek a Search Console fiókunkban elérhetőek.

Ezt egyetlen egyszerű paranccsal tehetjük meg:

scr_auth()

.
kód 1.3

Az 1., 2. és 3. lépés kódja itt. elérhető.

A következő lépések attól függnek, hogy az adott számítógépen először történik-e adatlekérdezés ezzel a könyvtárral.

Az első alkalom az, amikor a Google-fiók bejelentkezési ablaka megnyílik a böngészőben. A GSC eszköz az oAuth protokollon keresztül történő hitelesítést használja. Ennek eredményeképpen a szokásos Google. bejelentkezési ablak jelenik meg.

A sikeres bejelentkezés után még bele kell egyeznie abba, hogy a Search Console alkalmazás hozzáférhessen a Google-fiókjához.

Ilyen kérés csak az adott eszközön történő első bejelentkezéskor történik. Ennek során egy JSON fájl jön létre, amely a bejelentkezési adatokat tartalmazza. Ennek köszönhetően a későbbi bejelentkezések sokkal gyorsabban történnek (az R már letölti a JSON fájlban tárolt bejelentkezési adatokat).

Ezzel a ponttal kapcsolatban álló függvényekhez teljes mértékben hozzáférhetünk:

• A panelhez hozzáadott oldalak (az összes lista letöltése, egy oldal hozzáadása a panelhez, egy oldal eltávolítása a panelből)

.

• Térképek (az összes listájának letöltése, oldal hozzáadása a panelhez, oldal eltávolítása a panelből)

  .

• A panelben jelentett hibák (a panelben jelentett hibák példáinak letöltése, a jelentett hibákat tartalmazó URL-ek példáinak letöltése)

• Oldalaink láthatósága a Google-ban (ezeket az adatokat dimenziókban láthatjuk):

– dátum – itt kapunk információt arról, hogy melyik napra kapjuk az adatokat

– ország – adat a felhasználó földrajzi elhelyezkedéséről, aki a keresési eredmények között látta az oldalunkat

– eszköz típusa – a Google találatokban milyen típusú eszközön történt a megjelenítés (elérhető értékek: Desktop, Mobile, Tablet)

– oldal – a webhelynek a keresési eredményekben megjelenő aloldala

– a keresett kifejezés – az a kifejezés, amelynek keresése után az oldal a Google-ban megtalálható

.
– Érdekes módon egyik dimenzióra sincs szükség (akkor az összes adatot kapjuk).

A search_analytics függvény, amelyet használni fogunk, a következő paramétereket veszi fel:

• cím URL (szükséges paraméter)

  .

• kezdési dátum – az a dátum, amelytől kezdve le kívánja kérni az adatokat (ha olyan dátumot állít be, amelyre vonatkozóan nincsenek adatok a panelben, egyszerűen üres sorokat kap vissza)

.

• végdátum – az a dátum, ameddig az adatokat le kívánja tölteni

• keresési eredmények típusa, elérhető értékek:

– „web” – standard keresési eredmények

– „image” – grafikus keresési eredmények

– „video” – Google keresési eredmények videóban

• walk_data – egy paraméter, amely megadja, hogy hogyan akarjuk lekérdezni az adatokat. A következő értékek egyikét veheti fel:

– byBatch – ez az opció sokkal gyorsabban működik, de csak olyan eredményeket ad vissza, amelyeknél az elemzett oldalra kattintások érkeztek (azaz nem jó ötlet, ha azt szeretnénk ellenőrizni, hogy egy oldal hány találatot kapott a Google-on – az összes kattintás nélküli találatot eltávolítja)

– byDate – mint már tudod, ez a módszer pontosabb, de több időt igényel (nekem körülbelül egy órába telt 10 millió Google-megjelenésről szóló információ lekérdezése). Az API-ra vonatkozó korlátozás, hogy egyszerre legfeljebb 25 000 sort tud lekérdezni. Szerencsére azok számára, akik több adatot szeretnének, lehetőség van arra, hogy egyszerre 25 000 sort állítsanak sorba, és az így begyűjtött adatokat kombinálják.

Hogyan kezeljük a GSC korlátait?

.
A leírt könyvtár az adatokat a API GSC segítségével hívja le, így megkerülhetjük a GSC panel standard korlátozását, amely lehetővé teszi számunkra, hogy egy jelentésben legfeljebb 1000 sort hívjunk le. A kötegelés opció lehetővé teszi számunkra, hogy az összes adatot letöltsük. Mint leírtam, az ilyen adatok legfeljebb 25 000 sorból álló kötegekben tölthetők le.

Az adatok GSC-ből történő letöltésekor számolnunk kell azzal, hogy az adatok egy része elveszhet. Ennek oka az, hogy a Google magyarázata szerint a rendszer igyekszik elfogadható időn belül visszaküldeni az eredményeket. Ebből következik, hogy rosszul felépített lekérdezések esetén (amelyek egyszerre túl sok Google-erőforrást vesznek igénybe), egyes adatok elveszhetnek.

A fenti ismeretek birtokában elvégezhetjük a GSC-adatok első teljes lekérdezését..

Súgás: Az Rstudio egyik erős tulajdonsága az automatikus kódhivatkozás. Mint alább látható, ez nagyon hasznos a searchconsoler könyvtárral való munka során.

Hogyan lehet igazán nagy mennyiségű adatot (több mint egymillió sor) letölteni a Google Search Console-ból?

.
Ilyen mennyiségű adat letöltéséhez szükséges:

• Az API használata (a GSC felülete 1000 rekordra korlátozza a jelentésben szereplő rekordokat – valójában az első 1000 rekordot, ami azt jelenti, hogy például csak a legnépszerűbb kifejezéseket láthatja)

• .

• A gscR-ben a batching opció alkalmazása (fentebb már leírtuk)

.

• Az adatok kötegelése – körülbelül 30 percet vesz igénybe körülbelül 1,5 millió rekord letöltése. Sokkal nagyobb számok esetén akár több napra is szükségünk lehet az összes adat letöltéséhez! A megoldás erre a problémára a dimensionFilterExp paraméter használata.

Ennek a paraméternek a tartalma egy szűrőből és egy operátorból áll.

A szűrő a következő értékek egyikét veheti fel:

• ország
• Készülék
• Page
• Kérdés

A rendelkezésre álló operátorok a következők:

• ~~~ (jelentése contains)

.

• ==(jelentése egyenlő)

.

• !~(jelentése nem tartalmazza)

.

• != (jelentése nem egyenlő)

.

Ötletek szűrése:

• A kiválasztott eszközökről érkező összes forgalom

  .

• A kiválasztott aloldalak (pl. csak a kezdőlap)

  .

• A kiválasztott országból érkező összes forgalom (pl. csak Lengyelországból érkező forgalom)

• .

A szűrők, ami fontos, kombinálhatók. Példák az összetett szűrőkre:

• Minden forgalom egy kiválasztott eszköztípusból egy kiválasztott aloldalra

  .

• Egy kiválasztott országból származó felhasználóktól származó összes forgalom egy adott elemet tartalmazó kifejezésekre

A teljes, másolható és futtatható szkript elérhető titt..

Próbáld ki a Senuto Suite-ot 14 napig ingyen

Próbáld ki a Senuto Suite-ot 14 napig ingyen

Hogyan lehet gyorsan adatokat letölteni a Google Analyticsből (a v4-es verzióból is) R-ben?

.
1. lépés. Az előző szkripthez hasonlóan felírjuk a szükséges könyvtár nevét.

packages <- c(" googleAnalyticsR")

.
2. lépés. Ahogy a Google Search Console esetében már leírtam, ellenőrizzük, hogy a szükséges könyvtár telepítve van-e a számítógépünkön.

install.packages(setdiff(packages, rownames(installed.packages())))

.

Kezdjük meg a Google API-val való komolyabb munkát (regisztráljunk egy Google Cloud Platform fiókra)

.
Ha komolyan szeretnénk a Google által biztosított API-kkal dolgozni, akkor létre kell hoznunk egy fiókot.

3. lépés. Ebben a lépésben létrehozunk egy fiókot a Google Cloud Platformban. Erre azért van szükség, hogy teljes mértékben ki tudjuk használni a Google Analytics API-képességeit. Célunk az lesz, hogy megszerezzük:

• klienstitok (egy string, amely a GCP-ből letöltött fájlban elérhető)

.

• kliens azonosító (GCP felhasználói azonosító)

.

Ehhez a következőkre van szükségünk:

• Elkészíteni egy ingyenes fiókot a GCP weboldalán (ezt nem magyarázom el)

  .

• Engedélyezze a Google analytics API támogatását a GCP-fiókjában.

• .

Ehhez válassza az API-k és szolgáltatások menüt.

.

Lépjen az API-k és szolgáltatások engedélyezése menüpontba.

A rendelkezésre álló API-k közül a következőt választjuk.

Ezután a menüből válassza a Bejelentkezés részletei menüpontot.

.

Az alkalmazás típusára vonatkozó kérdésnél a „Számítógépes alkalmazás” opciót választjuk.

Az alkalmazás nevének és típusának kitöltése után megkapjuk a fiókunk azonosítóját és titkos kulcsát.

A következő lépés egy szolgáltatási fiók létrehozása. Ez lehetővé teszi számunkra, hogy létrehozzuk a GA-ban történő ellenőrzéshez szükséges címet. Ezt a szolgáltatási fiókot a GCP menü Administration > Service Accounts menüpontjának kiválasztásával hozzuk létre (lásd alább).

Az utolsó előkészítő lépés a GCP-fiók felhasználói címének (alább kiemelt) hozzáadása a Google Analytics műszerfalához.

A hitelesítéshez szükségünk lesz az ügyfél azonosítóra és az ügyfélkulcsra. Ezeket változóként fogjuk elmenteni az R-ben.

Mi a dimenziók és az adatmetrikák

.
Az adatbázisokkal való munkában jártasak számára ismerős lesz a tények és a dimenziók közötti felosztás. Mivel egy kép többet ér ezer szónál, megpróbálom ezt képileg tárgyalni.

A tények olyan események, amelyek az elemzés alapját képezik (pl. eladások vagy szolgáltatás igénybe vevői).

A dimenziók a tényeket írják le. A tények dimenziókra bonthatók (pl. felhasználói munkamenetek száma).

A GA adatainak következő bontása (a ez az oldal) elemzéseket képvisel, ahol:

Tény – az oldal felhasználói.

Dimenzió – a felhasználó típusa (itt új vagy visszatérő).

Metrics – a felhasználók száma, dátum formátumban (ÉÉÉÉÉ-MM-NN, azaz például 2021-02-15).

Ez olyan adatokat ad, mint a következő:

És R kód:

A teljes kód elérhető itt.

Korlátok (mintavétel és adatmennyiség) a Google Analytics jelentésekben vs. API

.
A Google Analyticsnek vannak az adatmintavétellel kapcsolatos korlátai (további információk a mintavételről itt).

Az adatok letöltésekor az anti_sample paraméter használatával ellenőrizhetjük azt. Használata azt eredményezi, hogy a rendszer lehetőleg mintavételezés nélküli adatokat küld vissza (vagyis amíg nem vagyunk a határértékeken belül). Az alábbi példa az R Studio konzolban megjelenő visszajelzést mutatja, amely azt jelzi, hogy a jelentés mintavételezés nélkül készült.

Adatok letöltése

.

Töltse le a GA-fiókok listáját, amelyekhez hozzáférünk

.
Én mindig ezzel a lépéssel kezdem a GA-val való munkát. Ez lehetővé teszi számomra annak ellenőrzését, hogy a szkriptem megkapta-e a kapcsolatot az API-hoz, és hogy hozzáférhetek-e az engem érdeklő fiókokhoz. Ez a ga_account_list() függvény meghívásával történik.

Amitől kapunk egy my_acc nevű objektumot, amely információkat tartalmaz az adatnézetekről és a GA-fiókokról, amelyekhez hozzáférünk. Ez lehetővé teszi számunkra, hogy létrehozzunk egy objektumot (ebben az esetben egy data_GA nevű mátrixot), amely tartalmazza az összes olyan adatnézet és fiók azonosítóját, amelyekhez hozzáférünk.

Így a következő objektumot kapjuk:

A találatok száma

.
Alapértelmezés szerint az API csak 100 eredményt ad vissza. Az eredmények száma a limit paraméter segítségével állítható be. Az összes eredmény lekérdezéséhez adja meg a limit paraméter -1 értékét.

Dátumtartományok

.
Alapértelmezés szerint az általunk lekérdezett dátumtartományt a date_range paraméteren keresztül állítjuk be. Lehetőség van több dátumtartomány kiválasztására is.

Ami nagyon hasznos, hogy a konkrét dátumok (mindig ÉÉÉÉÉ-MM-NN formátumban) helyett használhatunk univerzális paramétereket, például tegnap vagy XXdaysAgo. Ez a mai nap előtti XX nappal korábbi dátumot adja vissza (az XX helyére beillesztünk egy adott napszámot, így például a 7daysAgo a 7 nappal ezelőtti dátumot adja).

Adatok szűrése

.
Ha szeretnénk lerövidíteni az adatokra való várakozási időt, érdemes szűrést alkalmazni. Ez lehetővé teszi, hogy csak kiválasztott adatokat kérjünk le. A szűrés két szinten lehetséges: metrikák és/vagy dimenziók szerint (erre szolgálnak a met_filters – metrikák szerinti szűrés és a dim_filters – dimenziók szerinti szűrés paraméterek).

A met_filter() a következő paramétereket veszi fel:

• metrika – a metrika, amely alapján szűrünk (pl. munkamenetek)

.

• operátor – a következő értékek egyikét veszi fel :

.

• „EQUAL” – egyenlő

.

• „LESS_THAN” – kisebb, mint

.

• „GREATER_THAN” – több mint

.

• „IS_MISSING” – hiányzó érték

.

• összehasonlítóérték – annak a mérőszámnak az értéke, amelyet szűrni vagy kiszűrni szeretnénk

.

• nem – ha TRUE értéket vesz fel, akkor a szűrőnek megfelelő adatokat nem vesszük fel az eredmények közé.
• Dim_filter() – ezt a függvényt használjuk paraméterekkel:

.

• dimenzió – a dimenzió, amely alapján szűrünk (pl. készüléktípus = asztali vagy felhasználói ország = Lengyelország;

.

• Operátor – a met_filterhez hasonlóan működik, és a következő értékek egyikét veheti fel:

.

• REGEXP – ellenőrzi, hogy a kifejezésekben megadott mező megfelel-e a megadott reguláris kifejezésnek

.

• BEGINS_WITH – a megadott szűrővel kezdődik

.

• ENDS_WITH – a megadott szűrővel végződik

.

• PARTIAL – tartalmazza a megadott töredéket

.

• EXACT – pontosan a megadott értékkel rendelkezik

.

• NUMERIC_EQUAL – a megadottal egyenlő szám

.

• NUMERIC_GREATER_THAN – nagyobb szám, mint a megadott

.

• NUMERIC_LESS_THAN – a megadott számnál kisebb szám

.

• IN_LIST – szerepel az általunk megadott értékek listájában

.

• Kifejezések – egy kifejezés (a dimenzió nevében keresett szám vagy szöveg)

.

• Casesensitive – ha az értéke TRUE, akkor a nagy- és kisbetűkre érzékeny (nagy/kisbetű)

.

• Nem – ugyanúgy működik, mint a met_filter esetében.

.

A GA-ban elérhető szűrők és dimenziók teljes listáját a ga_meta függvény segítségével ellenőrizhetjük.

Alkalmazási példa:

Egy olyan objektumot kapunk, amely az összes (beleértve a már visszavont – a státusz mezőben DEPRECATED-ként jelölt – dimenzió és metrika részletes leírását tartalmazza.

A metrikák és/vagy dimenziók szűrőobjektumának létrehozása után a filter_clause_ga4 függvény segítségével létre kell hoznia egy szűrőobjektumot. Ezt az objektumot a google_analytics függvényben használjuk. Ez lehetővé teszi számunkra, hogy egynél több metrika és/vagy dimenzió kombinációjára fejlett szűrőket hozzunk létre.

Az alábbiakban úgy szűrjük az adatokat, hogy csak a Lengyelországból érkező látogatásokat (metrika) tartalmazza (a contry nevű dimenzió a Poland értéket veszi fel).

Olyan adatokra hozunk létre szűrőt, amelyeknél az ország dimenzió pontosan a Lengyelország karakterláncot tartalmazza – azaz elutasítjuk a Lengyelországtól eltérő országokból érkező összes látogatást.

Létrehozunk egy szűrőobjektumot ennek a szűrőnek az alapján:

Az adatokat lekérdező függvényben egy szűrőobjektumot használunk:

Az ebben a részben használt kód elérhető itt.

Összefoglaló

.
Sokan közülünk, SEO-k közül a Google keresőmotorra koncentrálunk. Természetesen az olyan eszközök, mint a Direct Answer, sok betekintést nyújtanak abba, hogy mi történik a keresőmotorban. Ennek ellenére minden elemzés alapját magától a Google-tól származó adatoknak kell képezniük. A programozás SEO-ra való alkalmazásával kapcsolatos kalandomat pontosan az itt leírt eszköz adatainak letöltésével kezdtem. Számomra ez azt jelentette, hogy jobban megértettem, mi történik a keresőmotorban, és végül magasabb pozíciókat értem el. Mint minden eszköz, a Google-től származó eszközök is igénylik a képességek és korlátok megértését ahhoz, hogy jól lehessen használni őket.

A legfontosabb dolgok, amelyeket szem előtt kell tartania:.

• A Google Analytics adatai nem 100%-ban egyeznek a Google Search Console adataival

.

• A Google adatai nem osztanak meg információkat a versenytársakról

.

• A Google analitikai adatok gyűjtése „az Ön oldalán” történik. – így rengeteg kiegészítő információt tölthet fel (pl. blogbejegyzések esetén a szerző nevét vagy a gyártó nevét az áruházban)

.

• A Google Search Console adatait a Google oldalán gyűjtik – ezért csak egy fiókot kell létrehoznia az adatgyűjtéshez.

Az R nyelvvel képes:.

• nagy mennyiségű adatot gyűjteni (sokkal többet, mint ami az excelben elfér – valamivel több mint egymillió sor)

.

• a kapott adatokat exportálni (pl. excelbe)

.

• több forrásból származó adatok kombinálása

.

• megkerülni a Google ingyenes eszközeinek korlátait, ha lehetséges

.

Bátorítom Önt, hogy tesztelje, kommentálja és valósítsa meg az itt leírt megoldásokat, vagy saját ötleteit.

Találkozunk a SERP-ben!

Köszönöm az olvasást!

Regisztrálj ingyenesen és csatlakozz a több mint 14.000 Senuto felhasználóhoz ????

FAQ