До недавнего времени я запрещал к индексации страницы с архивами и метками (labels). Причина простая - дублирование контента и, как следствие, сопли. А вывести сайт из соплей довольно муторная задача. А выводить надо: меньше сопли - больше трафика.
С другой стороны если разрешить индексацию страниц с архивами и метками то мы получим дополнительную внутреннюю перелинковку. А внутренняя перелинковка положительно сказывается и на нахождении сайта в выдаче, и на тех же соплях.
Можно ли решить данную проблему? Можно! Достаточно на указанных страницах отображать только заголовок поста и ссылку на него. В этом случае никакого дублирования не будет.
В blogspot можно задавать как будет отображаться блог на разных типах страниц. За это отвечает тег blog.pageType. Поддерживается четыре типа страниц: главная, одиночного поста, архива, и статичной страницы. Тип "Labels" не поддерживается. Увы!
Впрочем, это легко обходится и решение я нашел.
Переходим в настройки блога, Дизайн, Изменить HTML. Сохраняем шаблон на случай возможных косяков. Ставим галочку: "Расширить шаблоны виджета". Нажимаем Ctrl+F
и находим следующую строку: <b:include data='post' name='post'/>
Строку смело удаляем и вместо нее вставляем следующий код:
Сохраняем и шаблон и проверяем. Если все сделано правильно, то при нажатии на метку открывается окно в котором перечислены все посты с этой меткой, но текста самих постов быть не должно.
Теперь можете убрать запрет индексирования архивов и меток. Надеюсь, вам поможет эта информация
[update]
Немного поспешил с выводом о ненужности устанавливать запрет на индексацию архивных страниц. Нужно (. Имеются ввиду именно архивы постов, а не список постов за определенный месяц на который можно попасть через виджет архивы. Список индексировать можно и нужно, а архивный пост нет.
Иногда пишу что-то умное. Хочешь быть в курсе? Подпишись!
Получается, что через метки, уникальный текст становится не уникальным? У меня получилось поставить код, а вот куда нужно заходить в блоге, чтобы в архиве поставить запрет на индексацию. Спасибо, если я смогу справится с этой проблемой - простуда гам не нужна-)
Natalia, В данном случае речь идет не о уникальности, а о дублировании контента в рамках одного сайта. Это не есть хорошо. Чтобы запретить индексировать архивы, необходимо прописать следующий код <b:if cond='data:blog.pageType == "archive"'><meta content='noindex,follow' name='robots'/></b:if> в HEAD
2 Morskaia, Думаю, что никак. Но стоит учесть, что если метки не попадают в индекс, то это не значит, что поисковый робот по ним не проходит. Суть действа, описанного в посте, избавление от дублирующего контента.
Автор ответь пожалуйста ! очень надо ! ПОСЛЕ СОВЕРШЕНИЯ ВСЕХ ВЫШЕИЗЛОЖЕННЫХ МАНИПУЛЯЦИЙ СО СВОИМ БЛОГОМ - НУЖНО ЛИ УДАЛЯТЬ ВРУЧНУЮ ССЫЛКИ И ДУБЛИРОВАННЫЕ СТРАНИЦЫ ИЗ "ВЕБМАСТЕР" ГУГЛА И ЯНДЕКСА САМОМУ - ИЛИ ОНО ТАМ ВСЕ САМО САБОЙ НАСТРОИТЬСЯ ПОТОМ ? а то у меня 18 страниц в блоге и 98 ! проиндексированных страниц в вебмастере яши и гугела.
И второе - надо как то самому включать переиндексацию блога после всего этого или поисковики все сделают автоматом ?
Если нужно все побыстрее, то можно ручками. Обычно поисковики все сами делают. Я предпочитаю довериться поисковикам. А чтобы не было такой разницы: 18-98, надо добавить еще постов и вдумчиво распределять метки(теги, ярлыки). У поста не должно быть больше 3-х. Хотя и это много.
Игорь,- у меня блог на blogger , с ссылками понял что надо просто подождать теперь поисковики сами все сделают,- а вот скажи пожалуйста - вот ярлыки о которых ты говоришь - внутренние ярлыки которые у меня для навигации по блогу в "облако ярлыков" это об них ты сказал ? так я ж их запретил к индексации,- или эти ярлыки вообще только чисто для внутренней навигации по блогу а надо еще прописывать метки в html ? у меня прописаны метки в html на главной странице как и везде советуют и получается что они у меня для всех страниц одни и теже, а еще говорят что сейчас поисковики игнорируют теги meta keywords и просто их даже не читают ? что ж мне делать? я запутался немного - кто же прав и кому верить ?
Хм!? Чтобы понять, говорим мы об одних ярлыках или разных, надо видеть блог. Допустим, что об одних. Запрещать их индексировать не надо, они и так запрещены. Поисковики не игнорируют "meta keywords", они не уделяют ему большого внимания. Что понимаем под "метки в HTML"? Если это ключевики, записанные в meta keywords, то для blogger'а они не имеют значения. По той причине, что их нельзя прописать уникальными для каждой страницы. Поэтому, лучше их вообще не прописывать.
Благодарю Вас за содержательный пост (единственное - не смог сделать вышеописанную процедуру инсайт, пришлось качать шаблон и менять в редакторе). До этого создавал standalone блоги, все было понятно и просто. Сейчас решил попробовать blogspot...и немного растерялся: логика зачастую мне непонятна. Разрешите задать вопрос, который касается тематики индексирования. Имею ввиду robots. Пробовал менять его в админпанели блоггера - не прописывается (пишет, мол - неправильный формат роботса, хотя написан он по всем правилам, и на других платформах работает "влет"). Можно ли как-либо еще его прописать (или поменять стандартный), ведь там тоже можно прописать запреты индексации дублей. Заранее благодарен за ответ.
С уважением, Алексей, владелец блога genetika-talant.blogspot.com
Алексей, было бы неплохо указать, что Вы хотели указать в файле robots.txt. Закрыть от индексации страницы, архивы и др.? Какие строки хотели прописать? Приведите примеры на что ругается.
Добрый день, Ваша статья все еще актуальна? Если да, то почему в Вашем файле robots.txt не закрыты архивы? Если нет, тогда почему Вы не внесете изменения?
Строку смело удаляем и вместо нее вставляем следующий код: А что удалять код или текс внутри него
ОтветитьУдалитьУдаляем именно строку:
ОтветитьУдалить<b:include data='post' name='post'/>
СПС за информацию...
ОтветитьУдалитьИнтерестно..
ОтветитьУдалитьПолучается, что через метки, уникальный текст становится не уникальным? У меня получилось поставить код, а вот куда нужно заходить в блоге, чтобы в архиве поставить запрет на индексацию. Спасибо, если я смогу справится с этой проблемой - простуда гам не нужна-)
ОтветитьУдалитьNatalia, В данном случае речь идет не о уникальности, а о дублировании контента в рамках одного сайта. Это не есть хорошо.
ОтветитьУдалитьЧтобы запретить индексировать архивы, необходимо прописать следующий код <b:if cond='data:blog.pageType == "archive"'><meta content='noindex,follow' name='robots'/></b:if> в HEAD
А я отключаю (в настройках) архив и не пользуюсь"Labels" Соплей, почти нет!
ОтветитьУдалитьСпасибо вам, Игорь, все у меня получилось - подождем результата. Если еще знаете то, что может пригодиться - поделитесь:-)
ОтветитьУдалитьПоделиться то могу, вот бы еще знать, что может пригодиться. )
ОтветитьУдалитьА как убрать запрет индексирования меток?
ОтветитьУдалить2 Morskaia, Думаю, что никак. Но стоит учесть, что если метки не попадают в индекс, то это не значит, что поисковый робот по ним не проходит. Суть действа, описанного в посте, избавление от дублирующего контента.
ОтветитьУдалитьАвтор ответь пожалуйста ! очень надо !
ОтветитьУдалитьПОСЛЕ СОВЕРШЕНИЯ ВСЕХ ВЫШЕИЗЛОЖЕННЫХ МАНИПУЛЯЦИЙ СО СВОИМ БЛОГОМ - НУЖНО ЛИ УДАЛЯТЬ ВРУЧНУЮ ССЫЛКИ И ДУБЛИРОВАННЫЕ СТРАНИЦЫ ИЗ "ВЕБМАСТЕР" ГУГЛА И ЯНДЕКСА САМОМУ - ИЛИ ОНО ТАМ ВСЕ САМО САБОЙ НАСТРОИТЬСЯ ПОТОМ ? а то у меня 18 страниц в блоге и 98 ! проиндексированных страниц в вебмастере яши и гугела.
И второе - надо как то самому включать переиндексацию блога после всего этого или поисковики все сделают автоматом ?
Если нужно все побыстрее, то можно ручками. Обычно поисковики все сами делают.
УдалитьЯ предпочитаю довериться поисковикам. А чтобы не было такой разницы: 18-98, надо добавить еще постов и вдумчиво распределять метки(теги, ярлыки). У поста не должно быть больше 3-х. Хотя и это много.
Игорь,- у меня блог на blogger , с ссылками понял что надо просто подождать теперь поисковики сами все сделают,- а вот скажи пожалуйста - вот ярлыки о которых ты говоришь - внутренние ярлыки которые у меня для навигации по блогу в "облако ярлыков" это об них ты сказал ? так я ж их запретил к индексации,- или эти ярлыки вообще только чисто для внутренней навигации по блогу а надо еще прописывать метки в html ? у меня прописаны метки в html на главной странице как и везде советуют и получается что они у меня для всех страниц одни и теже, а еще говорят что сейчас поисковики игнорируют теги meta keywords и просто их даже не читают ? что ж мне делать? я запутался немного - кто же прав и кому верить ?
ОтветитьУдалитьХм!? Чтобы понять, говорим мы об одних ярлыках или разных, надо видеть блог. Допустим, что об одних. Запрещать их индексировать не надо, они и так запрещены.
УдалитьПоисковики не игнорируют "meta keywords", они не уделяют ему большого внимания.
Что понимаем под "метки в HTML"? Если это ключевики, записанные в meta keywords, то для blogger'а они не имеют значения. По той причине, что их нельзя прописать уникальными для каждой страницы. Поэтому, лучше их вообще не прописывать.
Добрый день, Игорь.
ОтветитьУдалитьБлагодарю Вас за содержательный пост (единственное - не смог сделать вышеописанную процедуру инсайт, пришлось качать шаблон и менять в редакторе).
До этого создавал standalone блоги, все было понятно и просто. Сейчас решил попробовать blogspot...и немного растерялся: логика зачастую мне непонятна. Разрешите задать вопрос, который касается тематики индексирования. Имею ввиду robots.
Пробовал менять его в админпанели блоггера - не прописывается (пишет, мол - неправильный формат роботса, хотя написан он по всем правилам, и на других платформах работает "влет"). Можно ли как-либо еще его прописать (или поменять стандартный), ведь там тоже можно прописать запреты индексации дублей. Заранее благодарен за ответ.
С уважением,
Алексей, владелец блога genetika-talant.blogspot.com
Алексей, было бы неплохо указать, что Вы хотели указать в файле robots.txt. Закрыть от индексации страницы, архивы и др.? Какие строки хотели прописать? Приведите примеры на что ругается.
УдалитьДобрый день, Ваша статья все еще актуальна?
ОтветитьУдалитьЕсли да, то почему в Вашем файле robots.txt не закрыты архивы?
Если нет, тогда почему Вы не внесете изменения?