Тема: Robots.txt для ImageCMS
Сейчас Robots.txt пустой. Как правильно настроить, что нужно закрывать?
Вы не вошли. Пожалуйста, войдите или зарегистрируйтесь.
Форум вебмастеров - сообщество ImageCMS → Оптимизация сайта на ImageCMS → Robots.txt для ImageCMS
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Сейчас Robots.txt пустой. Как правильно настроить, что нужно закрывать?
У меня вообще ржачный в бесплатной версии
User-agent: *
Disallow:
User-agent: Yandex
Disallow: /
#Host: site.com
http://www.imagecms.net/robots.txt
Постараемся подготовить хорошее описание на Вики по этой теме. Может пригодится
Закрывать ничего не нужно. Все можно закрыть с админки.
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.com
А я сделал вот так:
User-agent: *
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search
User-agent: Yandex
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search
Host: site.com
Т.е. закрыл теги и поиск
Можно посмотреть на сайт?
ну так скажите правильно такой роботс как выше указали?
User-agent: *
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search
User-agent: Yandex
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search
Host: site.com
Disallow: /ru/tags/search
Запрещает все, что начинается с /ru/tags/search
Чтобы запретить все варианты с tags, лучше написать
Disallow: /*tags
Страницы 1
Чтобы отправить ответ, вы должны войти или зарегистрироваться
Форум вебмастеров - сообщество ImageCMS → Оптимизация сайта на ImageCMS → Robots.txt для ImageCMS
Форум работает на PunBB, при поддержке Informer Technologies, Inc