Тема: Как отредактировать robots.txt

Дело в том что если зайти на site.ru/robots.txt с htaccess то он выдает какой-то не существующий роботс.тхт, если удалить htaccess то роботс.тхт будет работать тот что в корне, а так при рабочем htaccess хоть удаляй хоть что делай, роботс.тхт один

User-agent: *
Disallow:
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

Thumbs up Thumbs down

2

Re: Как отредактировать robots.txt

Здравствуйте. Роботс редактируется в админ панели
http://storage5.static.itmages.com/i/15/0914/h_1442213420_4239904_8f28261a9c.png

ImageCMS PHP Team Lead
https://github.com/imagecms/ImageCMS - ночные сборки корпорейта
https://scrutinizer-ci.com/g/imagecms/ImageCMS/badges/quality-score.png?b=development https://codeclimate.com/github/imagecms/ImageCMS/badges/gpa.svg

Thumbs up Thumbs down

3

Re: Как отредактировать robots.txt

Спасибо большое!

Thumbs up Thumbs down

4

Re: Как отредактировать robots.txt

Пожалуйста уточните, какие ветки лучше закрыть от индексирования робатами, тк после обновления с версии 4.6.1  до 4.11 стало индексироваться в два раза больше страниц, ощущение что они размножились.

возможно ли закрыть такие разделы и наоборот не повредит ли индексированию? дело в том что по этим разделам робот яндекса стал выдавать ошибки 404 каких то страниц.   особенно compare  compare_api  wishlist и auth 

User-agent: *
Disallow:
Disallow: /shop/search/
Disallow: /shop/compare/
Disallow: /shop/compare_api/
Disallow: /wishlist/
Disallow: /auth/
Disallow: /admin/

User-agent: Yandex
Disallow:
Disallow: /shop/search/
Disallow: /shop/compare/
Disallow: /shop/compare_api/
Disallow: /wishlist/
Disallow: /auth/
Disallow: /admin/
Host: https://sait.ru

Sitemap: https://sait.ru/sitemap.xml

Использую ImageCMS Shop 4.11 premium