Тема: Robots.txt для ImageCMS

Сейчас Robots.txt пустой. Как правильно настроить, что нужно закрывать?

Thumbs up Thumbs down

2

Re: Robots.txt для ImageCMS

У меня вообще ржачный в бесплатной версии

User-agent: *
Disallow:

User-agent: Yandex
Disallow: /
#Host: site.com
www.moiseenko.in.ua -всегда рад новым клиентам!!!

3

Re: Robots.txt для ImageCMS

http://www.imagecms.net/robots.txt
Постараемся подготовить хорошее описание на Вики по этой теме. Может пригодится wink

https://github.com/imagecms/ImageCMS - ночные сборки корпорейта
https://scrutinizer-ci.com/g/imagecms/ImageCMS/badges/quality-score.png?b=development https://codeclimate.com/github/imagecms/ImageCMS/badges/gpa.svg

Thumbs up Thumbs down

4

Re: Robots.txt для ImageCMS

Закрывать ничего не нужно. Все можно закрыть с админки.

User-agent: *
Disallow:

User-agent: Yandex
Disallow:
Host: site.com
Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

5

Re: Robots.txt для ImageCMS

А я сделал вот так:

User-agent: *
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search

User-agent: Yandex
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search

Host: site.com

Т.е. закрыл теги и поиск

Thumbs up Thumbs down

6

Re: Robots.txt для ImageCMS

Можно посмотреть на сайт?

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

7

Re: Robots.txt для ImageCMS

ну так скажите правильно такой роботс как выше указали?
User-agent: *
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search

User-agent: Yandex
Disallow: /ru/tags/search
Disallow: /ua/tags/search
Disallow: /tags/search

Host: site.com

Thumbs up Thumbs down

8

Re: Robots.txt для ImageCMS

Disallow: /ru/tags/search
Запрещает все, что начинается с /ru/tags/search
Чтобы запретить все варианты с tags, лучше написать
Disallow: /*tags

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!