Главное зеркало в вебмастере. Расширение настроек зеркал в вебмастере

Здравствуйте, уважаемые читатели моего блога! В этой статье я расскажу о файлах.htaccess и robots.txt — как их грамотно настроить. Это крайне важные файлы, которые позволяют задать главное зеркало сайта (склеить домены с www и без), настроить индексацию страниц, создать редирект 301. Дополнительно рассмотрим порядок действий при переезде со старого домена на новый.

Файл.htaccess и главное зеркало сайта

Каждый интернет ресурс имеет два зеркала — с приставкой www и без нее. Чтобы поисковики не воспринимали эти зеркала как два разных сайта с одинаковым контентом, необходимо выбрать из них главное и настроить редирект 301 на него, со второго зеркала. Тогда оба зеркала поисковиками будут восприниматься как единое целое и не будет играть роли, на какое из них ссылаются сторонние сайты — редирект позволит автоматически перекидывать пользователя на нужный адрес. Для этого необходимо создать и настроить файл.htaccess. Дополнительно можно указать основное зеркало в Яндекс Вебмастер и Google — инструменты для веб-мастеров. Для поисковиков все равно, какое зеркало вы выберете основным, поэтому исходите из своих личных предпочтений.

Зайдите на ftp в корневую папку и проверьте наличие файла.htaccess. Файл является скрытым, поэтому ftp клиенты могут его и не отображать. В ftp клиенте следует включит функцию «Принудительно отображать скрытые файлы» в разделе «Сервер».

Для редактирования или создания файла.htaccess можно воспользоваться любым текстовым редактором. Только при создании укажите имя.htaccess, не забыв про точку в начала. Пропишите в нем следующие строчки (или добавьте их к уже имеющимся):

Редирект 301 с зеркала www на без www:

Только не забудьте вписать свой URL адрес. После этого еще необходимо прописать директиву Host в фале robots.txt, о чем читайте в следующем пункте.

Robots.txt — настройка индексации страниц сайта

Файл robots.txt указывает поисковикам, какие страницы сайта им можно индексировать, а какие нельзя. Для его создания можно воспользоваться любым текстовым редактором, даже блокнотом. Так же как файл.htaccess, robots.txt следует загрузить на ftp в корневую папку. Теперь рассмотрим основные директивы, которые следует прописывать в robots.txt.

User-agent — в этой директиве прописываются поисковые боты, для которых действуют указанные ниже настройки. Если указать символ *, то настройки будут относится ко всем поисковикам:

После User-agent обязательно должна следовать директива Disallow или Allow .

Директива Disallow используется для запрета индексации всего сайта целиком или каких-то его страниц. Allow наоборот разрешает индексацию, в ней можно задавать исключения из правил, указанных в директиве Disallow.

Следует соблюдать следующие правила:

  • Недопустимо наличие пустых строк между директивами "User-agent" и "Disallow" ("Allow"), а также между самими директивами "Disallow" и "Allow".
  • Перед каждой новой директивой "User-agent" обязательно оставляйте пустую строку.
  • После названия директивы ставьте.
  • Allow и Disallow из соответствующего блока User-agent сортируются по длине URL (от меньшего к большему) и применяются последовательно. Если для данной страницы подходит несколько директив, то выбирается последняя в порядке появления в сортированном списке. Этот пункт будет более понятен после рассмотрения примеров, приведенных ниже.
  • при отсутствии параметров в директивах Allow и Disallow, индексация соответственно запрещается или разрешается для всех страниц сайта.

Теперь рассмотрим примеры, чтобы все стало более понятно.

User- agent: * Disallow:

Звездочка в директиве User-agent указывает на то, что приведенные ниже настройки относятся ко всем поисковикам. Отсутствие параметров в Disallow соответствует разрешению индексации всего сайта.

Это означает запрет индексации всех страниц, которые начинаются с «/indeksaciya», то есть /indeksaciya, /indeksaciya.html и другие. Символ $ позволяет отметить действие * , тем самым конкретизировать правило:

Для зеркала без www:

User- agent: Yandex Disallow: Host: vash_site. ru Sitemap: http: //vash_site.ru/sitemap.xml.gz Sitemap: http: //vash_site.ru/sitemap.xml

Порядок переезда со старого домена на новый

Переезд со старого домена на новый является частным случаем склейки зеркал сайта. Яндекс рекомендует два пути решения данной проблемы: через директиву Host в файле robots.txt или через настройку редиректа 301 со старого адреса на новый в.htaccess. Так как директиву Host понимает только Яндекс, то лучше подстраховаться и выполнить оба этих варианта.

1. Купите новый домен и хостинг.

2. Перенесите на новый сервер все содержимое своего интернет ресурса.

3. На старом сайте в файле robots.txt в директиве Host укажите новый URL адрес.

4. В файле.htaccess настройте редирект 301:

Options + FollowSymLinks RewriteEngine On RewriteCond % { HTTP_HOST} ^staryj_adres. ru$ RewriteRule (.* ) http: //novyj_adres.ru/$1

Не забывайте указывать именно главные зеркала — с приставкой www или без нее.

5. Склейка займет определенное время, на протяжении которого оба интернет портала должны быть доступны.

Когда только начинаешь заниматься сайтами, то не задумываешься, что, например, www..ru — разные адреса. Эти доменные имена являются зеркалами. На каждом из них могут отображаться разные сайты.

Какие сайты Яндекс считает зеркалами?

Яндекс считает зеркалами сайты, которые содержат одинаковый контент на страницах, находящихся на одинаковых адресах. Например, www..ru/yandex-webmaster/. У меня стоят , поэтому все зеркала ведут на один адрес.

Какие адреса могут являться зеркалами:

  • с префиксом www и без него - www.primer.ru и primer.com;
  • по протоколам HTTP и HTTPS - http://primer.com и https://primer.com;
  • находится в разных доменных зонах - primer.com и primer.ru;
  • настроен серверный 301 редирект с одного адреса на другой - primer.com перенаправляет на primer.ru.

Что такое главное зеркало?

Главное зеркало - это доменное имя сайта, по которому он индексируется в поисковике и показывается в результатах поиска, если доступен по нескольким доменам. Можно настроить в сервисе Яндекс Вебмастера.

Как указать главное зеркало в Яндекс Вебмастер?

Если изначально не было выбрано главное зеркало сайта, то робот выберет его самостоятельно в соответствии со своим алгоритмом.

Чтобы указать главное зеркало поисковику необходимо настроить переезд в Яндекс Вебмастере .

Зайдите в раздел «Индексирование» в пункт «Переезд сайта». Выберите новый домен, который будет главным зеркалом. Если в списке нет нужного адреса, то следует .

Если не планируете менять домен, а просто хотите сменить протокол или префикс, то для этого есть два пункта:

  • добавить https;
  • добавить www.

Чтобы выбрать главное зеркало нужно пройти несколько этапов:

  1. Добавить сайт в Яндекс Вебмастер;
  2. Отметить галочкой нужный пункт;
  3. Сделать 301-редирект со старого домена на соответствующие страницы нового.

Раньше это делалось довольно сложно и долго. На данный момент все проходит очень быстро и, обычно, без проблем.

И да, советую переходить на HTTPS , т.к. Google дает таким адресам чуть больше преимуществ за повышенную безопасность передачи данных по этому протоколу.

Если вы планируете сделать главным адрес с протоколом HTTPS (или с префиксом www), то добавляйте адрес именно с этим протоколом (префиксом), например, https://сайт.

Есть другой вариант перехода на главное зеркало — просто сделать 301-редирект. Но если сначала сделать настройки в Яндекс Вебмастере, то переезд пройдет быстрее. Яндекс пишет, что смена занимает от одной до трех недель. После этого сайт начинает участвовать в поиске под именем нового главного зеркала.

Индексируются ли зеркала?

Яндекс склеивает все домены и показывает в поиске только главное зеркало. Страницы неглавного зеркала будут в поиске до тех пора, пока страницы главного зеркала их не вытеснят. Вытесненные страницы будут исключены из поиска, но могут храниться в базе Яндекса.

Как проверить, является ли сайт чьим-нибудь зеркалом?

Проверить является ли сайт зеркалом, можно добавив его в Яндекс.Вебмастер.

  1. Если сайт признан неглавным зеркалом, он будет автоматически добавлен вместе со своим главным зеркалом.
  2. Если сайты не являются зеркалами, они будут отображаться в сервисе независимо друг от друга.

При необходимости зеркало может быть отклеено.

Учитываются ли характеристики неглавных зеркал на главном?

Да, учитываются. Например, это полезно, если интернет-ресурс переезжает на новый домен. Если старый домен станет неглавным зеркалом нового, это поможет сайту сохранить позиции в поиске.

Склеятся ли адреса, если настроить перенаправление со всех страниц одного сайта на главную страницу другого?

Да, робот склеит такие сайты, но использовать этот способ не рекомендуется. Вместо него лучше настроить перенаправление на соответствующие друг другу страницы.

Как расклеиваются зеркала?

Если сайты перестают являться зеркалами друг друга и отдают разное содержимое, в течение нескольких недель они расклеиваются роботом.

Вы можете сообщить роботу о необходимости расклейки сайтов с помощью специального инструмента в сервисе Яндекс.Вебмастер.

После того, как адреса расклеятся, они будут отображаться как отдельные, не связанные между собой ресурсы.

У меня часто спрашивали, лучше сделать домен с WWW или без. Я решил сделать небольшой пост-заметку по этому поводу, а так же пояснить — как сделать склейку зеркал с WWW и без.

Для начала давайте разберем, откуда вообще взялась приставка с тройным W (World Web Wide).

Дело было в 1989 году, когда Тим Бернерс-Ли придумал всемирную паутину. Гениальный был дядька, честно говоря. И фактически через год он издал первый в мире браузер с одноименным названием. Оттуда и пошла приставка с тройным WWW, чтобы было сразу видно — что это гипертекстовая ссылка. Если кто-то хочет почитать историю подробнее, то вот ссылка — Википедия .

Сейчас — 2014 год. Прошло уже более 20 лет и уже фактически каждый ребенок в мире имеющий смартфон/компьютер может понимать где ссылка. Т.е. по сути, WWW — это рудимент, который живет с 90-х годов. Многие знают, как я отношусь к подобным «динозаврам» — я их искореняю (аналогично и с IE 6, 7 и прочими старыми браузерами, и т.д.).

Я считаю, что все должно идти только вперед и развиваться. А значит — нельзя тащить за собой пережитки прошлого, просто потому что ты привык.

Поэтому ответ однозначен: Без WWW лучше, чем с ним! Не держите рядом хлам — это лишнее.

Как определить главное зеркало сайта

Бывают ситуации, когда сайт уже давно запущен, но оптимизацией занялись недавно. В таком случае неверно определенное главное зеркало может принести беду в виде переиндексации всего сайта. Поэтому я расскажу, как все правильно сделать:

  1. Самый очевидный способ — вбить URL Вашего сайта в поиск Яндекса или Google. Поисковая система сама подсказывает, какое зеркало она считает основным. Не будем ей перечить — и воспользуемся ее советом.
  2. Второй способ — всевозможные сервисы. Например — http://xseo.in/glue . Вбейте туда свой сайт и сервис укажет вам его основное зеркало.

Теперь мы уже определились что и с чем будем склеивать — приступим к практике.

Склейка зеркал сайта

Для того, чтобы объединить, нужно зайти в файл.htaccess в корневом каталоге вашего сайта. Если данного файла нет — создайте его. Откройте его программой Notepad ++ (она бесплатная) и допишите туда следующий код, в зависимости от того, что с чем нужно склеить.

Первые 2 директивы прописываются 1 раз на весь документ. Если они у вас уже прописаны в файле, писать заново не нужно. Вставьте лишь последние 2 строки, заменив «site.ru» на свой домен.

Основное зеркало без WWW

Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^www.site\.ru$ RewriteRule ^(.*)$ http://site.ru/$1 M/pre>

Основное зеркало с WWW

Options +FollowSymLinks RewriteEngine On RewriteCond %{HTTP_HOST} ^site\.ru$ RewriteRule ^(.*)$ http://www.site.ru/$1

После того, как вы склеите зеркала сайта, не забудьте

Дмитрий Дементий

Представьте, что настраиваете редирект с URL друпал-гуру.рф на www.drupal-guru.ru. В файл.htaccess необходимо добавить такой код:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^xn----7sbkb0bwgfvfb.xn--p1ai

RewriteRule (.*) http://www.drupal-guru.ru/$1

Чтобы настроить редирект с www.drupal-guru.ru на друпал-гуру.рф, укажите в.htaccess такой код:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www.drupal-guru.ru

RewriteRule (.*) http:// xn----7sbkb0bwgfvfb.xn--p1ai/$1

Обратите внимание, xn----7sbkb0bwgfvfb.xn--p1ai - это URL друпал-гуру.рф в кодировке punycode.

Как настроить редирект при переезде на новый домен

Как настроить редирект на сервере Nginx

Если ваш хостинг-провайдер использует сервер Nginx, для настройки редиректов необходимо внести изменения в конфигурационный файл. Это аналог файла.htaccess сервера Apache.

Чтобы настроить редирект с домена без префикса www на домен с префиксом, укажите следующий код:

server_name drupal-guru.ru;

rewrite ^/(.*)$ http://www.drupal-guru.ru/$1 permanent;

Перенаправление с URL с префиксом www на URL без префикса можно настроить с помощью такого кода:

server_name www.drupal-guru.ru;

rewrite ^/(.*)$ http://drupal-guru.ru/$1 permanent;

Вы можете получить код для конфигурационного файла Nginx с помощью htaccess-конвертеров, например, этого или этого . Действуйте так:

  • Создайте код для файла.htaccess сервера Apache с помощью одного из предложенных выше генераторов.
  • Конвертируйте код для файла.htaccess в код для конфигурационного файла Nginx.


Выбрать домен легко, сложнее реализовать выбор

Чтобы выбрать основной домен и сообщить об этом поисковым системам, необходимо настроить серверные редиректы. Также необходимо изменить настройки в кабинетах для вебмастеров «Яндекс» и Google. С этими задачами может справиться любой специалист без технической подготовки. Вам понадобится доступ к FTP или панели управления сайтом, умение пользоваться генераторами редиректов и немного времени. Кстати, перед редактированием файла.htaccess создайте резервную копию. Она может понадобится, если вы внесете в файл некорректные изменения.

kak-nastroit-zerkalo-sayta

Добрый день. В этой статье мы приступим к техническому аудиту сайта, которые вы должны проделывать, и, в частности, пропишем для сайта его главное зеркало.

Часто на продвижение приходят сайты, на которых, вроде, все делается – работа с контентом, ссылочное продвижение, но сайт очень плохо идет в ТОП.

В большинстве случаев – это именно техническая сторона вопроса.

В SEO сообществе ходят мифы о том, чем отличается хороший сеошник от плохого. Плохой SEO оптимизатор занимается правкой текста и покупкой ссылок, а нормальный сеошник качественно относится к первому и второму пункту, и, кроме этого, делает полный технический аудит.

Разумеется, это не полный спектр того, что делает сеошник, но, как правило, причиной плохого продвижения является то, что не сделана правильная техническая оптимизация.

Начнем мы с главного зеркала.

Главное зеркало – то, по которому откликается ваш сайт, с www, или без него..

Раньше это было более явно выражено, то есть в индекс попадали страницы и с www, и без него.

Эти страницы являются прямыми дубликатами. Это очень плохо, и, чтобы это все исправить, делается 301-й редирект (изначальная настройка зеркала – это 301-й редирект), указание директивы HOST в файле Robots.txt, и ручное задание главного зеркала в инструментах для вебмастера.

Давайте посмотрим, что нам надо подключить для главного зеркала, и как с этим всем работать.

Нам понадобятся Инструменты для вебмастера от Яндекса (webmaster.yandex.ru), и от Google (google.com/webmasters).

Для того, чтобы задать главное зеркало сайта в Яндексе, в правой колонке выбираем Настройка индексирования -> Главное зеркало.

В открывшемся поле выбираем, какой вариант написания мы выбираем в качестве главного зеркала – с www, или без него. После чего, нажимаем кнопку Применить.

В кабинете вебмастера Гугла, назначить главное зеркало немного сложнее.

После того, как вы подтвердили оба варианта домена, вы нажимаете в правом верхнем углу на значек шестеренко (настройки), и выбираете пункт «Настройки сайта». При этом, не важно, какое зеркало будет в данный момент отображаться в аккаунте – с www, или без него.

В открывшемся поле выбираете нужный вариант зеркала, и сохраняете его.

Все, в инструментах вебмастера обоих поисковых систем вы настроили свое главное зеркало.

И теперь, в соответствии со схемой, предложенной выше, вам осталось настроить 301-й редирект и файл Robots.txt, чтобы окончательно показать поисковикам главное зеркало вашего сайта.

В файле Robots.txt за это отвечает команда HOST. Вот как этот файл оформлен у меня:

Как видите, главным зеркалом моего сайта я назначил домен без www.

Редирект 301 мы будем настраивать в файле.htaccess. Если у вас на сайте такой файл отсутствует, то его легко сделать из текстового файла – кликаете правой кнопкой мышки: Создать -> Текстовый документ, и задаете ему название.htaccess.

Открываем этот файл в простом блокноте, и вносим туда нужный вам код, пример которого я привожу ниже (при этом, не забываем изменять название домена моего сайта на своё):

Все, как видите мы задали главное зеркало тремя возможными способами. Вообще то, для поисковых роботов достаточно и 301-го редиректа, однако, я советую для надежности использовать все три метода.