Duplicate content. Blokować, przekierowywać czy stosować tagi?

Wyszukiwarka inaczej traktuje strony zawierające zduplikowane treści. Podstrony te zostają przeniesione do indeksu pobocznego (supplemental index). Wyniki z supplemental index są najczęściej niewidoczne dla użytkownika wyszukiwarki.

Zjawisko powielenia treści (duplicate content) odnosi się do treści w blokach lub w całych stronach, które są identyczne z innymi treściami lub w dużym stopniu podobne. Najczęściej jest to zjawisko niezamierzone i dotyczy treści, która została przygotowana z myślą o użytkownikach. Przykładem może wersja dokumentu do druku lub wersja strony przeznaczona  dla urządzeń mobilnych. Często powielona treść jest efektem specyfiki zastosowanego systemu CMS, np. kiedy element (np. towar w sklepie internetowym) powiązany jest z wieloma różnymi adresami URL zawierającymi dodatkowo znacznik sesji.

Wyszukiwarka inaczej traktuje strony zawierające zduplikowane treści. Podstrony te zostają przeniesione do indeksu pobocznego (supplemental index). Wyniki z supplemental index są najczęściej niewidoczne dla użytkownika wyszukiwarki. Udostępniane jedynie wtedy, kiedy wyszukiwarka biorąc pod uwagę jedynie indeks główny nie jest w stanie wyświetlić zadowalających wyników lub kiedy liczba wyników jest niewystarczająca. Internauta może także zdecydować czy interesują go pominięte wyniki za pomocą opcji „powtórzenia szukania we wszystkich stronach wraz z pominiętymi wcześniej.”

Zapobieganie duplikowaniu treści

Istnieje wiele sposobów na zapobieganiu zjawiska duplikowania treści.

Blokowanie robotów wyszukiwarek
Podstawową możliwością zapobieganiu zjawiska powielonej treści jest blokowanie dostępu robotom wyszukiwarek do określonych podstron.

Roboty wyszukiwarek w pierwszej kolejności biorą od uwagę zawartość pliku robots.txt, a ustawienia w nim zawarte są nadrzędne wobec innych dostępnych sposobów zapobiegania indeksacji. Utworzenie pliku robots.txt nie jest obowiązkowe. W przypadku utworzenia pliku robots.txt należy umieścić go w katalogu głównym domeny na serwerze.

Ze względu na wysoki priorytet dyrektyw zawartych w pliku robots.txt należy upewnić się, że zawartość tego pliku umożliwia użytkownikom wyszukiwanie treści, na które serwis powinien być widoczny w Internecie.

W pliku robots.txt należy podać katalog lub stronę, do której dostęp ma być zablokowany dla robotów wyszukiwarek. Plik robots.txt oprócz możliwości zablokowania indeksacji (Disallow) pozwala na udzielenie zgody na indeksację (Allow). Dyrektywa Allow działa w ten sam sposób jak dyrektywa Disallow - można stosować dyrektywy Allow i Disallow jednocześnie, przy czym o ważności dyrektywy decyduje jej kolejność.

Na przykład, aby zablokować dostęp do wszystkich stron w podkatalogu oprócz jednej, należy w pliku umieścić wpisy:
User-Agent: *
Allow: /folder1/strona.html
Disallow: /folder1/

Wykorzystywanie pliku robots.txt nie jest zalecane do blokowania powielonych treści, a jedynie do blokowania treści, które w ogóle nie powinny być indeksowane.

Przykłady stosowania robots.txt
Cała witryna będzie indeksowana przez roboty (tak jakby nie było pliku robots.txt):
User-agent: *
Allow:

Cała witryna nie będzie indeksowana:
User-agent: *
Disallow: /

Indeksowane nie będą tylko foldery \"obrazy\" i \"prywatne\" w katalogu głównym strony:
User-agent: *
Disallow: /obrazy/
Disallow: /prywatne/

Indeksowana nie będzie tylko podstrona \"podstrona\" w katalogu \"katalog\":
User-agent: *
Disallow: /katalog/podstrona.html

Metatag noindex
Aby zapobiec indeksacji określonej podstrony można umieścić  metatag „noindex” w nagłówku dokumentu HTML.
Metatag „noindex” sprawia, że robot nie zaindeksuje strony, pomimo tego, że zostanie ona przeanalizowana i umieszczona w pamięci podręcznej wyszukiwarki.

Wykorzystywanie metatagu noindex zalecane jest w sytuacjach kiedy nie ma możliwości zastosowania przekierowania 301 lub tagu rel=canonical. Przykładem mogą być podstrony, na których poszczególne treści serwisu prezentowane są w listingach posortowanych - lista postów na blogu według daty czy autora wpisu.

Przykład zastosowania metatagu noindex



Tytuł strony

Akapit

Przekierowania 301
Przekierowanie 301 oznacza dla wyszukiwarki informację o przeniesieniu treści na inny adres url, czego efektem jest wyindeksowanie i przeniesienie większości mocy podstrony na nowy adres. Efektem widocznym dla użytkownika jest przeniesienie użytkownika na inny adres url. Przekierowanie 301 zaleca się stosować w sytuacjach, kiedy zastosowanie przekierowania nie przeszkadza użytkownikowi. Aby przekierować użytkowników witryny na inny adres należy dokonać odpowiednich wpisów w pliku .htaccess.

Przykładowe sytuacje, kiedy zaleca się stosowanie przekierowania 301:

•    Wskazanie preferowanej domeny

Przykład:
http://domena.pl/
http://www.domena.pl

•    Przekierowanie starej domeny na nową

Przykład:
http://www.staradomena.pl/
http://www.nowadomena.pl/

•    Wykluczenie indeksowania dodatkowych adresów url.

Przykład:
http://www.domena.pl/podstrona/
http://www.domena.pl/podstrona.html
http://www.domena.pl/podstrona

•    Przekierowanie starych adresów url.
Przykład:
http://www.domena.pl/stary-adres
http://www.domena.pl/nowy-adres

•    Przekierowanie nieaktywnych adresów url.

Przykład:
http://www.domena.pl/nieaktywny-adres
http://www.domena.pl/

Tag rel=canonical
Założeniem tagu rel=canonical jest traktowanie go przez wyszukiwarkę jako przekierowania 301, przy czym użytkownik nie zostanie przekierowany na stronę docelową. Tag rel=canonical jest przydatny w sytuacjach, kiedy występuje zjawisko powielania treści, a pomimo tego nie chcemy, aby użytkownik został przekierowany na adres docelowy.

Przykładowe sytuacje, kiedy zaleca się stosowanie tagu rel=canonical:

•    Kiedy CMS daje użytkownikowi możliwość tworzenia nowych ścieżek adresów url podczas nawigowania po serwisie.
Przykład:
http://www.domena.pl/agd/pralki/firma/
http://www.domena.pl/agd/firma/pralki/

•    W przypadku kiedy CMS umożliwia zmianę kolejności zmiennych w adresach url:
Przykład:
http://www.domena.pl/agd/pralki.php?firma=x&cena=y
http://www.domena.pl/agd/pralki.php?cena=y&firma=x

•    W przypadku kiedy CMS umożliwia zawężanie wyników wyszukiwania przez użytkowników:
Przykład:
http://www.domena.pl/agd/pralki.php?firma=x&cena=y&available=z http://www.domena.pl/agd/pralki.php?firma=x&cena=y

•    W przypadku kiedy wykorzystujemy dodatkowe zmienne służące do pomiaru statystyk lub kiedy CMS tworzy ID sesji
Przykład:
http://www.domena.pl/agd/pralki.php?SID=ojf4pwrzht492a1iuwp5psf614
http://www.domena.pl/agd/pralki.php?utm_source=newsletter
http://www.domena.pl/agd/pralki.php

Miłosz Woźniak

Pobierz ebook "Social media marketing dla firm i agencje się w nim specjalizujące"