Praktyczne wykorzystanie modeli językowych do skalowania treści w sklepach e-commerce [case study]

Co zrobić, kiedy strona Twojego sklepu składa się z setek albo nawet tysięcy podstron, a Ty chcesz uzupełnić je o merytoryczny i dopasowany content? 

Pomoże w tym narzędzie do masowego generowania treści e-commerce stworzone przez Senuto dla Performance Media na potrzeby projektu OBI.

Materiał powstał na podstawie wystąpienia Dominiki Jakubik (OBI), Pawła Warownego (Performance Media) i Damiana Sałkowskiego (Senuto) podczas konferencji Kulturalnie o SEO 2024. 

Wprowadzenie

Wprowadzenie do projektu warto zacząć od odpowiedzi na podstawowe pytanie: „dlaczego SEO jest ważne dla OBI?”. W tym konkretnym przypadku nie chodzi jedynie o podstawowe powody biznesowe, np. budowanie wizerunku marki w Internecie, poprawę pozycji w wyszukiwarce Google czy zwiększanie ruchu oraz konwersji. Zespół OBI zdaje sobie bowiem sprawę ze znaczenia contentu ze względu na takie zjawisko jak efekt ROPO (ang. Research Online Purchase Offline).

Z badań przeprowadzonych przez OBI w sierpniu 2023 roku wynika, że 42% ankietowanych planuje obejrzeć/kupić oglądany w internecie produkt w sklepie stacjonarnym. Był to główny powód niedokonania zakupu na obi.pl

Wynika to ze specyfiki produktów sprzedawanych przez OBI. Właśnie ona determinuje przeniesienie decyzji zakupowej do kanału offline w tak wielu przypadkach. Podczas planowania zakupu takich elementów jak płytki czy panele podłogowe albo rośliny większość klientów woli obejrzeć je na żywo i ocenić, czy będą pasować do wybranej przestrzeni.

Problem

Właśnie dlatego jednym z głównych zadań, a jednocześnie problemów zespołu OBI, jest regularna publikacja pomocnej i użytecznej treści w kanale online. W przypadku branży DIY jest to o tyle istotne, że właśnie od Internetu klient rozpoczyna research potrzebnych mu produktów. To właśnie w Internecie możemy zacząć rozbudzać w nim pewne potrzeby, które będzie mógł zrealizować w sklepie.

W działaniach OBI duży nacisk jest więc kładziony na:

• rozbudowywanie sekcji poradniczo-inspiracyjnej,
• planowaniu treści zgodnie z sezonowością asortymentu,
• tworzenie kompendiów wiedzy. 

Przy tak rozbudowanej stronie wyzwaniem jest jednak przygotowanie wszystkiego przy wykorzystaniu jedynie wewnętrznego zespołu. Przy tej skali biznesu naturalnym krokiem jest więc poszukiwanie partnerów. W ten sposób doszło do nawiązania współpracy OBI z agencją Performance Media. 

Wyzwania

W tak szybko rozwijającym się świecie trudno nadążyć za wszelkimi zmianami oraz nowinkami technologicznymi. Zespół OBI postanowił więc skoncentrować siły na tych obszarach, na które w tej chwili mają realny wpływ. Wynika to również ze świadomości rewolucji nadchodzącej wraz z zapowiadanym SGE (ang. Search Generative Experience) oraz praco- i czasochłonności procesu tworzenia treści. 

Dlaczego warto optymalizować strony kategorii? 

Dlatego na pierwszy ogień zmian wybrano materiały okołoproduktowe, tj. strony kategorii i publikowane na nich opisy. 

Strony kategorii są oczywistym szkieletem całej strony e-commerce, ponieważ m.in.: 

• wspierają przenoszenie Page Ranku,
• ułatwiają użytkownikom poruszanie się po stronie,
• pomagają odnaleźć interesujące nas produkty.

Warto jednak zwrócić także uwagę na to, że w przypadku OBI w 2023 roku 31% sesji zakończonych konwersją zaczęło się od strony kategorii (Źródło: WebTrekk: OBI 2023). To bardzo istotny biznesowo insight. 

ALE!

Z jednej strony opisy kategorii są jak witryna sklepu stacjonarnego z dopracowaną ekspozycją towarów. Z drugiej – mają one tyle zwolenników, co przeciwników. Właśnie dlatego Damian Sałkowski przeprowadził szybkie badanie, by sprawdzić, czy opisy kategorii jakkolwiek wpływają na widoczność. Badanie pokazuje, że adresy URL posiadające opisy kategorii są widoczne średnio na znacznie większą liczbę fraz w TOP50 niż te, które opisów nie posiadają. Strony z opisami na ok. 5 000 znaków miały średnio 14 fraz w TOP50, w porównaniu ze średnią 4 fraz dla adresów URL bez opisów. Opisy wpływają nieznacznie na liczbę fraz w TOP10 i TOP3.

Proces tworzenia tekstów

Skoro więc warto tworzyć opisy, konieczne jest stworzenie procesu. Przed współpracą z Senuto wyglądał on bardzo podobnie dla każdego rodzaju tekstu, największe różnice dotyczyły etapów tworzenia konspektu, ponieważ agencja Performance Media dla każdego rodzaju tekstu miała opracowane inne wytyczne. Różnice te wynikały głównie z elementów składowych, np.:

• spisu treści, 
• FAQ,
• liczby i rozmiaru grafik,
• długości tekstu,
• linkowanie wewnętrznego.

Trzeba jednak przyznać, że proces, choć może się wydawać długi i skomplikowany, to na początku współpracy przynosił oczekiwane efekty. Przykładowo w 2021 roku agencja wykazała 29% wzrostu w TOP10 w skali roku. 

Zmiany w algorytmie, z którymi mamy do czynienia od 2023 roku, znacząco utrudniły jednak sytuację. Widać to na poniższych grafikach. 

Tak duże spadki widoczności zmusiły zespół Performance Media do poszukiwania skutecznych rozwiązań. Zgodnie z przeprowadzoną analizą największą stratę widoczności w Q4 2023 powodowały karty produktów (72% udziału w spadkach). Były to jednak elementy, na które w tym momencie nic nie można było poradzić. Zarówno agencja, jak i polski zespół OBI czekali na wdrożenie nowego silnika sklepowego. Właśnie dlatego zapadła wspólna decyzja, aby zająć się drugą przyczyną spadków – stronami kategorii.

Rozwiązanie

Wspólny projekt OBI & Performance Media & Senuto

Aby skutecznie przygotować się na zmiany rynkowe i skrócić czas pracy nad treściami, OBI zdecydowało się rozpocząć projekt automatyzacji procesu tworzenia treści na stronach kategorii. 

Wtedy też OBI i Performance Media zgłosili się do Senuto.

Wymagania

• Wysoka jakość generowanej treści

To jeden z najważniejszych aspektów – zwłaszcza po pierwszych próbach samodzielnego generowania treści przy pomocy np. chatu GPT. Wszystkim zależało przede wszystkim na tworzeniu treści, które będą zarówno użyteczne dla czytelnika, jak i odpowiednie dla botów Google.

• Intuicyjność narzędzia

Po dostarczeniu do narzędzia podstawowych informacji oraz adresu URL, miało ono wiedzieć, jaki typ treści ma stworzyć. Inspiracją do struktury był opracowany przez zespół przykładowy tekst.

• Oszczędność czasu i pieniędzy

Dotychczasowy proces przy skali projektu nie wchodził w grę. Pochłonąłby zbyt dużo środków oraz zasobów.

• Łatwość ekspansji narzędzia na pozostałe rynki

Dzięki temu jedno narzędzie będzie wspierać działania contentowe całej sieci OBI. 

Bezpieczeństwo AI

Wykorzystanie sztucznej inteligencji na stronach istniejącego, żyjącego i dużego sklepu wiązało się z tematem bezpieczeństwa i stabilności wyników – zwłaszcza w kontekście ostatnich zmian w Google (m.in. Google Spam Update). Dlatego agencji Performance Media zależało na sprawdzeniu, czy zastosowanie narzędzia do generowania dużej liczby tekstów nie wpłynie negatywnie na bezpieczeństwo witryny. Z analizy wynikało jednak, że nic złego nie powinno się wydarzyć, a projekt można uznać za bezpieczny. 

Na tę decyzję wpłynęły 4 ważne czynniki: 

• wszystkie strony kategorii  w strukturze OBI to jedynie 2% zawartości całej domeny,
• strony te istnieją od wielu lat, 
• treść AI to nie jedyna zawartość adresów URL, na których są publikowane,
• teksty były i będą publikowane małymi partiami.

Zespół

Do realizacji tak szeroko zakrojonego projektu potrzebny był odpowiedni zespół złożony z reprezentacji wszystkich trzech stron.  

Zespół z OBI był odpowiedzialny za wybór stron kategorii, weryfikację treści i ich publikację oraz za koordynację projektu po stronie klienta. 

Zespół Performance Media odpowiadał za koordynację współpracy na linii klient-agencja-partner technologiczny, obsługę procesu, weryfikację wyników. Zadbał także o konwersacyjność i jakoś treści oraz o rozwój wykorzystywanych promptów. 

Z kolei zespół Senuto przygotował narzędzie, stworzył proces i sprawił, że narzędzie zaczęło działać zgodnie z oczekiwaniami.

Realizacja

Wyzwania

• Koordynacja współpracy

Pierwszym wyzwaniem było dotarcie się 3 współpracujących stron. Musieliśmy ustalić, jakimi kanałami się komunikujemy, jakie narzucamy sobie terminy, jakie wyznaczamy cele czy choćby sposób mierzenia postępów pracy.

• Selekcja odpowiednich podstron

Kiedy już byliśmy gotowi do rozpoczęcia testów, okazało się, że nie wszystkie strony kategorii nadają się do zastosowania do nich narzędzie. Musieliśmy więc przeprowadzić selekcję adresów URL. Odrzuciliśmy te kategorie, których nazwa posiadała frazę o niewłaściwej intencji oraz te, których zmiana sezonowości przypada na okres badań.

• Dostosowanie treści do potrzeb klienta

Za pomocą rozbudowanych promptów wprowadziliśmy do treści konwersacyjność. Dzięki temu budowa tekstu oraz jej styl są bardziej przystępne w odbiorze dla potencjalnych klientów.

• Testowanie w niesprzyjających warunkach

Produkcja narzedzia i jego testowanie odbywało się w warunkach ciągłych spadków widoczności.

Budowa narzędzia

Na początku wdrażania podobnych projektów najbardziej kuszącą opcją jest wykorzystanie tego, co już istnieje. Dlaczego więc Chat GPT nie był najlepszym wyborem do tego projektu?

Opisy kategorii są dość specyficznym rodzajem treści. I ta sama (z nazwy) kategoria w jednym sklepie może zawierać inne produkty w drugim. 

Problem może być więc klasyczne podejście do researchu słów kluczowych. Co do zasady wszystkie narzędzia takie jak Senuto analizują w tym procesie strony konkurencji znajdujące się w SERP-ach. Z uwagi na różnice ofertowe słowa kluczowe nie zawsze są więc w 100% dopasowane do produktów znajdujących się w danym sklepie.

Według Mohameda bin Zayeda z University of AI: Saying no tip is offered resulted in 2% shorter response than the baseline. Offering a $20 tip provided a 6% improvement in output length. Oznacza to, że modele językowe co do zasady są dość leniwe. Istnieje nawet badanie, które to udowadnia. Okazuje się bowiem, że chat GPT, mimo oknema kontekstowego na 128 000 tokenów, bardzo często gubi w procesie treści znajdujące się w środku tego kontekstu. Informacje ze środka zwyczajnie nie są brane pod uwagę.

Są to oczywiście problemy, z którymi zmagamy się tu i teraz. Pojawiają się jednak modele, np. Cloude 3 Opus, z oknem kontekstowym na 200 000 tokenów, które nie pomijają żadnych informacji.

Trzecim elementem, który trzeba wziąć pod uwagę są po prostu ogólne problemy z tekstami generowanymi przez AI. A są to m.in.:

• readability (tj. czytelność),
• perplexity (tj. zdania wielokrotnie złożone),
• burstiness (tj. mnogość powtórzenia).

Chociaż tak naprawdę w kontekście modeli językowych definicje powyższych pojęć są tu nieco szersze.

Perplexity to miara używana w przetwarzaniu języka naturalnego i modelowaniu języka do oceny, jak dobrze model języka przewiduje próbkę tekstu. Perplexity jest zdefiniowana jako odwrotność średniego prawdopodobieństwa słowa, przypisanego przez model, unormowana przez liczbę słów w tekście. Innymi słowy, mierzy ona, ile razy przeciętnie model jest „zaskoczony” przy przewidywaniu kolejnego słowa w sekwencji.

Gdy model języka ma niską wartość perplexity na danym tekście, oznacza to, że dobrze przewiduje on słowa w tym tekście, sugerując, że tekst jest podobny do danych, na których model był trenowany. Wysoka wartość perplexity oznacza, że model ma trudności z przewidywaniem słów w tekście, co może wskazywać na to, że tekst jest bardziej chaotyczny, niejasny lub po prostu różny od treningowego korpusu modelu.

W kontekście ludzkiego pisania tekst z „wysokim poziomem perplexity” mógłby być interpretowany jako tekst chaotyczny, niespójny lub zawierający wiele nieoczekiwanych zwrotów i słów, co czyni go trudnym do przewidzenia dla typowego modelu języka.

Wszystkie wymienione wyżej problemy trzeba rozwiązać na dwóch poziomach.

• Poziom technologii 

Stworzyliśmy dość skomplikowany proces tworzenia opisu kategorii. Składa się on z wielu etapów oraz wielu zachodzących w tle operacji. 

Skomplikowanie procesu wynika m.in. z tego, że uwzględniliśmy w nim etapy rozwiązujące wszystkie 3 wymienione wcześniej problemy. Dzięki temu opisy kategorii generowane dla OBI:

• są dopasowane do oferty – dzięki crawlowaniu każdej strony OBI i pobieraniu z niej treści kluczowych dla danej kategorii, 
• eliminują lenistwo LLM-ów – dzięki kilkunastu różnym promptom i systemowi dostarczającemu kontekst, 
• są zbudowane w bardziej czytelny i zróżnicowany sposób – dzięki czterokrotnemu przepisywaniu uzyskanego materiału oraz eliminowaniu klasycznych problemów tekstów AI. 

Wygląda skomplikowanie i takie jest. Ale tylko od środka. Z perspektywy użytkownika, czyli klienta, na całość składają się 3 etapy:

1. Wgranie pliku XML.
2. Cztery kliknięcia w narzędziu. 
3. Wygenerowanie gotowych tekstów. 

• Perspektywa prompt engineeringu

Aby uzyskać omówiony efekt, musieliśmy stworzyć dedykowane, bardzo szczegółowe prompty. Każdy opracowany prompt ma określoną rolę, dokładny opis zadania oraz instrukcję i kontekst. 

Do wygenerowania jednego tekstu potrzebowaliśmy 16 promptów i 3 modeli językowych. Dodatkowo stworzenie jednego opisu kategorii pochłania 120 000 tokenów. Oznacza to, że na każdy znak w tekście przypada 36 znaków kontekstu. Dla porównania 120 000 tokenów to tyle, co średniej wielkości książka. 

Dzięki temu finalny tekst jest pozbawiony wszystkich problemów, o których mówiliśmy. 

Ważne jest również to, że teksty stworzone dzięki temu narzędziu pozytywnie przechodzą wszystkie testy detektorów AI. 

Efekty

W tym miejscu należy wspomnieć, że testy wdrożonego rozwiązania trwają jeszcze zbyt krótko, by móc na ich podstawie w pełni i rzetelnie oceniać wyniki. Zwłaszcza że wpływ na nie (pozytywny lub nie) mogą mieć też czynniki niezależne, np.:

• sezonowość fraz, 
• bardzo krótki i nierówny czas pracy poszczególnych tekstów,
• intensywne zmiany w SERP-ach, 
• inne działania SEO (które nie zostały wstrzymane). 

Na ten moment jednak najważniejsze efekty, które już osiągnęliśmy to:

• Optymalizacja i częściowa automatyzacja procesu produkcji tekstu

Nie wyklucza to udziału człowieka, ale czas pracy, który trzeba poświęcić na przygotowanie setek opisów zdecydowanie się skraca.  

• Przejście do testów wdrożonego rozwiązania

Drugą rzeczą, którą zrobiliśmy jest uruchomienie testów rozwiązania. Wygenerowaliśmy 300 opisów kategorii dla 300 wskazanych URL-i. Od 20 lutego 2024 r. publikujemy je małymi partiami na stronie OBI. 

• Optymalizacja kosztów

Generator treści e-commerce produkuje obecnie teksty na strony kategorii o długości 11 tysięcy znaków ze spacjami. Cena rynkowa takiego tekstu to ok. 300 zł. Cena produkcji w naszym narzędziu to 50 PLN. Oznacza to, że koszt produkcji jednego tekstu spadł sześciokrotnie.

W efekcie na produkcji samych opisów stron kategorii dla wszystkich krajów (po wdrożeniu narzędzia na pozostałe rynki) OBI jest w stanie zaoszczędzić w sumie ponad 4 miliony złotych. 

Plany na przyszłość

Po zebraniu wszystkich powyższych informacji i przeanalizowaniu ich jedno jest pewne – projekt będzie trwał dalej. Wszystkie strony będą kontynuować pracę nad narzędziem i wspólnie będziemy dążyć do ulepszania kolejnych struktur strony.

Jak tylko na polski rynek wejdą nowe szablony kart produktowych, to właśnie je weźmiemy pod lupę. 

Dla OBI to przede wszystkim możliwość zastąpienia ubogich opisów produktowych treściami uporządkowanymi, zgodnymi z realnymi cechami produktu i napisanymi tak, by sprzedawały. Celem jest tu zapewnienie klarowności i atrakcyjności oferty. Chcemy ułatwić klientom podejmowanie świadomych decyzji zakupowych oraz przy okazji zwiększyć efektywność sprzedażową. 

Z perspektywy technologicznej praca nad opisami produktów nie będzie wymagała pracy od zera. Solidną bazę już mamy. Teraz przyjdzie pora na fine-tuning. 

W planach są także:

• analiza struktury drzewa kategorii oraz wdrożenie ich adekwatnego nazewnictwa do oferowanego asortymentu,
• wzbogacenie stworzonego tekstu o linki wewnętrzne prowadzące do komplementarnych produktów / stron kategorii.
• ekspansję narzędzia na wszystkie rynki.

Do wszystkich tych elementów modele językowe świetnie się sprawdzą.