Оптимизация wordpress (файл robots.txt)
Здравствуйте, меня очень интересует вопрос настройки robots.txt. На разных сайтах разная информация, интересует какие директории стоит закрывать, а какие лучше наоборот открыть. Расскажите кто что об этом вообще думает.
ZION,
тут и думать не нужно.
Берёшь, и закрываешь всё бесполезное для пользователя, и всё.
Например на ВП вообще много одинаковых страниц, со временем зайди в выдачу - посмотри страницы без контента, одинаковые, и откровенно говоря не оптимизированные.
У меня, к примеру, открыты лишь статьи, 1-3 страница в каждой категории, главная, и всё. Остальной шлак - к чёрту.
Flint, беда в том что гугл игнорит основную часть закрытых ссылок. Особенно теги. Мне в принципе все равно что он будет индексировать, важно только чтобы он стремился в топ попасть)
по умолчанию в ворпрес уже сделаны самые оптимальные настройки этого файла и ничего менять не нужно. Вы считаете себя умнее, тысячнего круга разработчиков опенсоурес ? Я так не думаю, так что не занимайтесь хуйней.
а тут уже не от робота зависит, а от количества уникального контента на сайте и числа запросов по этому контенту в поисковиках.
Слушай, не мог бы рассказать по подробнее про то как сайт попадает в топ, и как уходит оттуда. Какие действия нужно проделать (все что от меня зависит) чтобы для поисковиков сайт что-то значил? Заранее очень благодарен!
В вп хрен его знает какой там стандартный... но лучше закрыть все кроме тех страниц, какие тебе нужны (я так считаю), зачем поисковикам нужно индексировать страницу входа, регистрации и т.д. я хз как теперь они к этому относятся, думаю им пофигу, но все равно чтобы бяка не получилась лучше прикрыть.
Зависит, он например может нечаянно прописать запрет в роботсе на продвигаемую страницу, еще зависит самое главное то забыл, от конкурентов.
Кидай сайт в тему тс гляну если время будет
да я вроде на сайте все настроил, просто видел много споров о том что надо закрывать, а что не надо.
вот например я себе прописал вот такой код в роботе:
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /feed/
Disallow: /tag
Host: strakhovka-ua.ru
Sitemap: http://strakhovka-ua.ru/sitemap.xml
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /feed/
Disallow: /tag
User-agent: Googlebot
Disallow: /tag
Есть ли что-то лишнее?
ZION,
по факту, не стоит писать юзер агентов для Yandex и Googlebot (конкретно в твоём случае, т.к. страницы закрываемые у тебя - НЕ индивидуальны), ты итак для них всё закрыл в первой части. но некоторые сео-дрочеры так делают, так что каждый по своему.
Flint, короче как я понял, никто не знает как правильно создавать этот файл) И вот у меня еще беда, сайт с уникальным контентом частично попал под фильтр гугл http://www.cy-pr.com/analysis/strakhovka-ua.ru (пишет что 5% страниц под фильтром), нужно ли что-то предпринимать?
https://support.google.com/webmasters/answer/15618
4?hl=ru
https://support.google.com/webmasters/answer/18366
8?hl=ru
не сказал бы, что никто не знает...
никакого фильтра нет: гугл отображает больше страниц, чем яша. советую каждое значение с подобных сервеисов - проверять руками.
