ТЪРСИ

Как да изтриете сайт или неговите фрагменти от индекса на Google

Според концепцията за индексиране, приета от Google,в него се взема предвид пълнотата, обективността на информацията и нейното съответствие с заявката за търсене, когато се получават резултати. Ако в индексирането се появи сайт с незаконно съдържание или ресурсът е предназначен за спам, тогава страниците на този сайт няма да бъдат маркирани в основната база данни на търсещите машини. Важно е да научим как да премахнем сайт от резултатите от търсенето от сървъра.

Опции на Google за нулиране на индексирането

Веднага след търсене на робот - програма за събиранеинформация за нови ресурси - сканира страницата на страница по страница, след което, ако отговаря на изискванията на правилата за анализ на Google, тя ще бъде индексирана. Но ще ви кажем и как да изтриете сайта си или отделни фрагменти за търсачките чрез robots.txt - показалец и в същото време ограничител на търсенето.

За да изключите от проблема с целия ресурс,Основната папка на сървъра, където се намира сайтът, създава специфична текстова зона - споменатия файл robots.txt. Тази област се обработва от търсачките и действа съгласно инструкциите.

Имайте предвид, че търсачката на Googleще индексира страницата, дори ако на потребителя му бъде отказан достъп до изгледа. Когато браузърът отговори с 401 или 403 "Достъпът не е валиден", то това важи само за посетителите, а не за програмите за събиране на тази търсачка.

За да разберете как да премахнете даден сайт от индексирането на търсене, в текстовия индекс трябва да въведете следните редове:

Потребителски агент: Googlebot

Забрана: /

Това инструктира търсещата машина да забрани индексирането на цялото съдържание на сайта. Ето как да премахнете сайта на Google, така че той да не кешира ресурса в списъка с откритите.

Опции за сканиране за различни протоколи

Ако трябва да посочите отделни стандартиВръзки, за които бихте искали да приложите конкретни правила относно индексирането на Google, например, отделно за http / https хипертекстовите протоколи. Това също трябва да бъде написано в robots.txt по следния начин (пример).

(http://yourserver.com/robots.txt) - името на домейна на вашия сайт (всяко)

Потребителски агент: * - за всяка търсачка

Позволява: / - позволи пълно индексиране

Как да премахнете напълно сайта от проблема за https протокола

(Https://yourserver.com/robots.txt):

Потребителски агент: *

Забрана: / пълна забрана на индексирането

Неотложно премахване на URL адреса на ресурса от резултатите от търсенето с Google

Ако не искате да чакате повторно индексиране, иСайтът трябва да бъде скрит възможно най-скоро, препоръчвам да използвате услугата http://services.google.com/urlconsole/controller. Предварително-robots.txt трябва вече да бъде поставен в основната директория на сървъра на сайта. Съответните инструкции трябва да бъдат написани в него.

Ако показалецът по някаква причина не е налицеза редактиране в основната директория, достатъчно е да го създадете в папката с обекти, които изискват скриване от търсачките. След като направите това и отидете на услугата за автоматично премахване на хипертекстовите адреси, Google няма да сканира папките, които са регистрирани за премахване в robots.txt.

Периодът на такава невидимост е 3 месеца. След този период директорията, изтеглена от проблема, отново ще бъде обработена от Google.

KКак да премахнете сайта за частично сканиране

Когато ботът за търсене прочита съдържанието на роботите.txt, тогава някои решения се вземат въз основа на съдържанието му. Да предположим, че трябва да изключите от показването цялата директория, наречена анатом. За да направите това, достатъчно е да напишете такива инструкции:

Потребителски агент: Googlebot

Забранете: / анатом

Или, например, искате всички изображения като .gif да не се индексират. За да направите това, добавете следния списък:

Потребителски агент: Googlebot

Забрана: /*.gif$

Ето още един пример. Нека бъде необходимо да се премахне информацията от динамично генерираните страници от анализа и след това да се добави запис на типа към показалеца:

Потребителски агент: Googlebot

Забрана: / *?

Така че, приблизително, и правилата затърсачки. Друго нещо е, че е много по-удобно да използвате META маркера за всичко това. И уебмастърите често използват точно такъв стандарт, който регулира действието на търсачките. Но ние ще говорим за това в следните статии.

  • Оценка: