Ruslan (Санмикс) пишет:dtools пишет:подскажите пожалйста что можно закрыть от гугла и яндекса на dtools.com.ua
сейчас
User-agent: *
Disallow:
Disallow: /admin/
Disallow: /rekomendatsii-po-ispolzovaniiu/nashi-partneri/
Disallow: /stock/
Disallow: /search/*
Disallow: /video-s-youtube/
Sitemap: http://www.dtools.com.ua/sitemap.xml
Host: www.dtools.com.ua
хочу сделать так
User-agent: *
Disallow:
Disallow: /index.php
Disallow: /search?text=*
Disallow: /shop/cart*
Disallow: /shop/product/*?
Disallow: /profile*
Disallow: /logout*
Disallow: /*order=*
Disallow: /*per_page=*
нужно ли закрывать именно категории 2я 3я 4я страница
shop/category/almaznye-diski
и когда перехожу на вторую страницу уже пишет
shop/category/almaznye-diski?per_page=18
Дал кто ответ??
проверьте это http://prntscr.com/dh7j07 (+ знает ли робот где находится ваш robots.txt - мне пришлось самому вписывать)
"/shop/product/*?" - вы блокируете от робота все что начинается с /shop/product/ и после него (*), т.е. товары у вас находятся по пути /shop/product/название_товара, и если вы ставите в файл robots.txt строку начинающуюся с /shop/product/ и знак "*" - вы закрываете от робота все товары!!! Строка с чего то начинается и чем то заканчивается....
User-agent: *
Disallow:
не оставляйте пустой - лучше убрать
Disallow: /index.php
закрываете конкретный файл - у меня
Disallow: /search?text=*
закрываете все что нач. с search?text=
Disallow: /shop/cart*
все что начинается с /shop/cart
Disallow: /shop/product/*?
все что начинается с /shop/product/* - знак "?" конец строки вроде не помню....
и т.д. -вам стоит порыться в google https://www.google.com.ua/search?q=%D0% … p;ie=UTF-8
- это как пример (+ есть google)
более подсказать не могу т.к. не знаю вашей версии....и что вы конкретно хотите закрыть от роботов