PKO BP, mBank i ING najczęściej spośród polski banków padają w odpowiedziach LLM-ów

PKO BP, mBank i ING najczęściej pojawiają się w odpowiedziach ChatGPT, Claude, Gemini i Perplexity - wynika z badania On Board Think Kong. Sprawdzamy dane, ograniczenia metodologii i to, czy da się mierzyć widoczność marki w LLM.

Modele językowe coraz częściej stają się pierwszym miejscem, do którego użytkownik kieruje pytanie o konto osobiste, lokatę, kartę kredytową albo kredyt hipoteczny. Nie chodzi jeszcze o prostą zamianę wyszukiwarki w doradcę finansowego. Chatbot ma jednak wpływ na wcześniejszy etap decyzji: podpowiada nazwy marek, układa listę możliwości, wskazuje cechy oferty i wprowadza użytkownika w temat.

Agencja On Board Think Kong sprawdziła, które banki najczęściej pojawiały się w odpowiedziach czterech modeli AI na pytania konsumenckie dotyczące pięciu kategorii produktów finansowych. W badaniu przeprowadzonym 4 czerwca 2026 roku PKO BP uzyskał 624 wskazania, mBank - 616, a ING Bank Śląski - 562. Trzy instytucje zebrały łącznie 52,7 proc. wszystkich wskazań w panelu dziesięciu monitorowanych banków.

To istotna obserwacja dla banków i marketerów, lecz nie jest rankingiem najkorzystniejszych ofert. Nie pokazuje też, który bank rzeczywiście wybierają klienci. Mierzy jedno, ściśle określone zjawisko: obecność nazwy marki w odpowiedziach generowanych w zdefiniowanym teście.

Banki w odpowiedziach AI: PKO BP, mBank i ING na czele

Badanie objęło 225 pytań, po 45 dla każdej z pięciu kategorii: kredytów hipotecznych, pożyczek gotówkowych, lokat, kart kredytowych i rachunków osobistych. Ten sam zestaw pytań zadano czterem modelom: GPT-4.1 mini, Claude Sonnet 4, Gemini 2.5 Flash oraz Perplexity Sonar. W rezultacie autorzy zebrali 900 odpowiedzi.

Kluczową jednostką pomiaru było „wskazanie”. Bank otrzymywał je wtedy, gdy jego nazwa padła w odpowiedzi przynajmniej raz. Jedna odpowiedź mogła zawierać kilka marek, dlatego 900 odpowiedzi przełożyło się na 3419 wskazań w badanym panelu. To ważne zastrzeżenie: wynik nie oznacza, że model „wybrał” konkretny bank dla użytkownika. Oznacza wyłącznie, że wymienił go w odpowiedzi.

Najczęściej przywoływany był PKO BP - 624 razy, czyli w 18,3 proc. wszystkich wskazań dziesięciu monitorowanych marek. mBank pojawił się 616 razy, co odpowiada 18 proc. wskazań, a ING Bank Śląski - 562 razy, czyli 16,4 proc. Kolejne miejsca zajęły Bank Millennium z 473 wskazaniami oraz Alior Bank z 385.

W podziale na produkty obraz jest bardziej zróżnicowany. PKO BP najczęściej występował w odpowiedziach dotyczących kredytów hipotecznych - 133 razy na 180 możliwych odpowiedzi w tej kategorii - i pożyczek gotówkowych, gdzie zebrał 137 wskazań. mBank prowadził przy rachunkach osobistych, pojawiając się 149 razy, a także przy kartach kredytowych - 138 razy. ING Bank Śląski najczęściej padał w odpowiedziach o lokatach, z wynikiem 106 wskazań.

To nie jest ranking kredytów, kart ani kont

Wyniki mogą budzić pokusę, by potraktować je jak listę najlepszych banków. Badanie nie porównuje oprocentowania, RRSO, opłat, dostępności oddziałów, funkcji aplikacji, jakości obsługi, warunków promocji ani realnego kosztu produktu. Nie bada także, czy odpowiedź była poprawna, aktualna i adekwatna dla sytuacji finansowej konkretnej osoby.

Najlepsza oferta kredytu hipotecznego zależy między innymi od wkładu własnego, źródła dochodu, zdolności kredytowej, rodzaju nieruchomości, okresu umowy i aktualnej polityki banku. Konto osobiste może być opłacalne dla jednej osoby, a dla drugiej droższe od konkurencyjnego, choć oba pojawią się w tej samej odpowiedzi modelu. Obecność marki w czacie nie jest rekomendacją inwestycyjną, kredytową ani konsumencką.

Autorzy badania zaznaczają, że mierzyli widoczność marek, a nie atrakcyjność produktów. To właściwe rozgraniczenie. Warto je zachować także w komunikacji marketingowej, ponieważ wyniki łatwo przedstawić zbyt szeroko - jako dowód jakości banku, której ten eksperyment nie oceniał.

Erste Bank Polska i problem świeżej zmiany marki

Szczególną uwagę zwraca wynik Erste Bank Polska, wcześniej Santander Bank Polska. W badaniu marka uzyskała 101 wskazań, mimo że pod względem aktywów należy do największych banków w kraju. Agencja łączy ten rezultat z tym, że modele nadal częściej rozpoznają dawną nazwę.

Wyjaśnienie jest prawdopodobne, ale samo badanie go jeszcze nie dowodzi. Oficjalna zmiana nazwy z Santander Bank Polska na Erste Bank Polska nastąpiła 24 kwietnia 2026 roku, a pomiar wykonano 4 czerwca - zaledwie kilka tygodni później. Co więcej, dokumentacja GPT-4.1 mini wskazuje datę odcięcia wiedzy na 1 czerwca 2024 roku. Jeżeli odpowiedź z tego modelu powstawała bez pobierania bieżących informacji z internetu, model nie mógł znać rebrandingu z 2026 roku.

Aby wykazać, że właśnie to obniżyło wynik Erste, należałoby opublikować pełne odpowiedzi i oddzielnie policzyć wzmianki o „Santander Bank Polska”, „Erste Bank Polska” oraz obu nazwach występujących razem. Konieczne byłoby też ujawnienie, czy dla każdego modelu włączono wyszukiwanie internetowe, czy odpowiadał wyłącznie na podstawie wiedzy wbudowanej w model oraz z jakich źródeł korzystał. Bez tego rebranding pozostaje rozsądną hipotezą, lecz nie w pełni udowodnioną przyczyną wyniku.

Widoczność marki w LLM - co właściwie można zbadać?

Tak, widoczność marki w odpowiedziach dużych modeli językowych da się badać. Trzeba jednak precyzyjnie nazwać przedmiot badania. Nie istnieje jedna, stała „widoczność banku w AI”, podobna do pozycji strony w konkretnym rankingu wyszukiwarki. Istnieje natomiast mierzalna częstość występowania marki w odpowiedziach wygenerowanych w określonych warunkach.

Można ją zapisać prosto: jak często dana marka pojawia się w odpowiedzi na zdefiniowany zestaw pytań, udzielonej przez wskazany model, w konkretnym dniu, języku, kraju i konfiguracji narzędzi. Tak sformułowany audyt ma wartość. Pozwala porównywać marki w tej samej próbie, śledzić zmiany w czasie, wychwytywać skutki rebrandingu oraz sprawdzać, czy publikowane przez firmę informacje są przez modele przywoływane.

Nie wolno natomiast przenosić jednego pomiaru na całą populację użytkowników. Odpowiedź zależy od sposobu zadania pytania, historii rozmowy, wariantu modelu, ustawień systemowych, dostępności internetu, lokalizacji, języka oraz bieżących zmian w samym produkcie AI. Ten sam użytkownik może otrzymać inną odpowiedź następnego dnia, a dwóch użytkowników - inne odpowiedzi na pozornie identyczne pytanie.

Szczególnie istotna jest różnica między modelami. Perplexity Sonar jest narzędziem wyszukiwawczym, które standardowo łączy odpowiedź z wynikami internetowymi i cytowaniami. Gemini może korzystać z ugruntowania odpowiedzi w Google Search, ale trzeba określić, czy ta funkcja została w badaniu użyta. Claude otrzymuje dostęp do bieżącej sieci po dodaniu odpowiedniego narzędzia. GPT-4.1 mini ma własny zasób wiedzy i może obsługiwać narzędzia, lecz metodologia musi jasno wskazywać, czy w danym teście rzeczywiście korzystał z wyszukiwania.

Porównywanie takich odpowiedzi jest możliwe, ale wymaga opisania trybu pracy każdego modelu. W przeciwnym razie w jednym zestawieniu spotykają się odpowiedzi bazujące na wiedzy historycznej i odpowiedzi wspierane przez bieżące indeksowanie internetu. To nie wada samych modeli. To kwestia konstrukcji eksperymentu.

Metodologia pod lupą: co w badaniu działa

Mocną stroną badania jest skala uporządkowanej próby. Autorzy zastosowali ten sam zestaw 225 pytań dla czterech modeli, czyli zachowali symetrię porównania. Podali datę pomiaru, nazwy modeli, liczbę pytań, kategorie produktów oraz definicję wskazania. Dzięki temu można zrozumieć, co oznaczają publikowane liczby.

Atutem jest także rozdzielenie pięciu obszarów produktowych. Bank może być często wspominany przy kontach osobistych, ale rzadziej przy lokatach. Suma wszystkich wzmianek zacierałaby taki obraz. Osobne wyniki dla kredytów, pożyczek, lokat, kart i ROR-ów pozwalają zobaczyć, jakie skojarzenia tworzą modele w ramach danego zestawu pytań.

Wartość ma również data graniczna: 4 czerwca 2026 roku. Wynik nie udaje ponadczasowej prawdy. Opisuje stan odpowiedzi wygenerowanych tego dnia. W badaniach modeli językowych to uczciwsze niż formułowanie deklaracji o trwałym rankingu.

Czego brakuje, by wynik był mocniejszy

Największym ograniczeniem jest brak pełnego protokołu badania. Informacja prasowa nie publikuje 225 pytań, nie wyjaśnia, skąd pochodzą, nie podaje dokładnych instrukcji wysłanych modelom ani nie udostępnia surowych odpowiedzi. Bez tych materiałów nie da się ocenić, czy pytania były neutralne, jak często zawierały sugestię marki, czy miały jednolitą strukturę i czy rzeczywiście odzwierciedlały sposób, w jaki polscy użytkownicy rozmawiają z AI.

Nie opisano też konfiguracji technicznej. W przypadku modeli generatywnych znaczenie mają wersja modelu, platforma użyta do rozmowy, ustawienia temperatury i innych parametrów, stan zalogowania, język interfejsu, lokalizacja, ustawienia prywatności, systemowa instrukcja oraz dostęp do wyszukiwania w sieci. Oficjalna dokumentacja OpenAI przypomina, że odpowiedzi generatywne są domyślnie niedeterministyczne. Nawet przy stałych parametrach pełna powtarzalność nie jest gwarantowana.

Badanie wykonano jednokrotnie, w jednym dniu. To wystarcza dla opisu konkretnej serii 900 odpowiedzi, lecz nie dla stabilnego rankingu. W badaniach LLM warto wykonywać powtórzenia - najlepiej wielokrotnie dla każdego pytania, w kilku dniach lub tygodniach - a następnie podawać przedziały zmienności. Wtedy odbiorca widzi nie tylko wynik średni, ale też to, czy przewaga jednej marki utrzymuje się mimo wahań odpowiedzi.

Trzeba też ostrożnie traktować Share of Voice. W publikacji jest to udział marki w puli wskazań dziesięciu wybranych banków. Nie jest to udział w całym rynku ani w każdej możliwej odpowiedzi AI o bankach. Wynik zależy od składu panelu. Gdyby włączono inne instytucje lub marki wyspecjalizowane w wybranych produktach, rozkład udziałów mógłby się zmienić.

Osobnego doprecyzowania wymaga opis tonu odpowiedzi. Agencja podaje, że modele w około 60 proc. przypadków przedstawiały banki pozytywnie lub jako godne uwagi. Aby ten wskaźnik uznać za w pełni sprawdzalny, potrzebny jest kodeks klasyfikacji: definicja odpowiedzi pozytywnej, neutralnej i krytycznej, informacja o tym, czy oceny wykonywał człowiek, czy algorytm, oraz miara zgodności pomiędzy oceniającymi. Sama liczba bez procedury kodowania ma ograniczoną wartość dowodową.

Pobierz ebook "Wielki ranking agencji marketingowych 2026 roku i e-book o trendach w promocji w sieci"