1 Тема от chab

  • chab
  • chab
  • продвинутый пользователь ImageCMS
  • Неактивен
  • Зарегистрирован: 13-12-2010
  • Сообщений: 148
  • User Karma: 12

Тема: robots.txt

Случайно увидел, сайт http://www.tn.ua заблокирован к индексации:

http://www.tn.ua/robots.txt
User-agent:   *
Disallow: /

http://www.tn.ua - большая корпорация!
Кто-то облажался smile

На такое нужно очень внимательно смотреть, иначе можно получить удаление с индекса Google.

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

Сайт chab

Thumbs up Thumbs down

2 Ответ от ArtemGladun

  • ArtemGladun
  • ArtemGladun
  • знакомлюсь с ImageCMS
  • Неактивен
  • Откуда: Львов
  • Зарегистрирован: 22-01-2013
  • Сообщений: 9
  • User Karma: 1

Re: robots.txt

При создании сайта без учета SEO программисты частенько допускают такие банальные ошибки, потому нежен контроль.

@byArtemGladun

Сайт ArtemGladun

Thumbs up Thumbs down

3 Ответ от BakteriA

  • BakteriA
  • BakteriA
  • начал пользоваться ImageCMS
  • Неактивен
  • Зарегистрирован: 30-08-2012
  • Сообщений: 22
  • User Karma: 1

Re: robots.txt

Возможно, это было сделано специально? Возможно они что-то тестируют? Не думаю, что такая компания делает такие серьезные ошибки.

Thumbs up Thumbs down

4 Ответ от chab

  • chab
  • chab
  • продвинутый пользователь ImageCMS
  • Неактивен
  • Зарегистрирован: 13-12-2010
  • Сообщений: 148
  • User Karma: 12

Re: robots.txt

Robots еще старый, я сегодня им написал в саппорт.

Баг в тексте:
https://dl.dropbox.com/u/62577143/FireShot%20Screen%20Capture%20%23110.png

Еще баг:
https://dl.dropbox.com/u/62577143/FireShot%20Screen%20Capture%20%23111.png

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

Сайт chab

Thumbs up Thumbs down

5 Ответ от BakteriA

  • BakteriA
  • BakteriA
  • начал пользоваться ImageCMS
  • Неактивен
  • Зарегистрирован: 30-08-2012
  • Сообщений: 22
  • User Karma: 1

Re: robots.txt

chab пишет:

Robots еще старый, я сегодня им написал в саппорт.

Баг в тексте:
https://dl.dropbox.com/u/62577143/FireShot%20Screen%20Capture%20%23110.png

Еще баг:
https://dl.dropbox.com/u/62577143/FireShot%20Screen%20Capture%20%23111.png

Мне кажется у них программист инвалид  lol . Или, есть еще такое возможно что их взламивають.

Thumbs up Thumbs down

6 Ответ от dtools

  • dtools
  • начал пользоваться ImageCMS
  • Неактивен
  • Зарегистрирован: 07-02-2016
  • Сообщений: 13

Re: robots.txt

подскажите пожалйста что можно закрыть от гугла и яндекса на dtools.com.ua
сейчас
User-agent: *
Disallow:
Disallow: /admin/
Disallow: /rekomendatsii-po-ispolzovaniiu/nashi-partneri/
Disallow: /stock/
Disallow: /search/*
Disallow: /video-s-youtube/

Sitemap: http://www.dtools.com.ua/sitemap.xml
Host: www.dtools.com.ua

хочу сделать так

User-agent: *
Disallow:
Disallow: /index.php
Disallow: /search?text=*
Disallow: /shop/cart*
Disallow: /shop/product/*?
Disallow: /profile*
Disallow: /logout*
Disallow: /*order=*
Disallow: /*per_page=*


нужно ли закрывать именно категории 2я 3я 4я страница
shop/category/almaznye-diski
и когда перехожу на вторую страницу уже пишет
shop/category/almaznye-diski?per_page=18

Thumbs up Thumbs down

  • Зарегистрирован: 06-07-2015
  • Сообщений: 11

Re: robots.txt

dtools пишет:

подскажите пожалйста что можно закрыть от гугла и яндекса на dtools.com.ua
сейчас
User-agent: *
Disallow:
Disallow: /admin/
Disallow: /rekomendatsii-po-ispolzovaniiu/nashi-partneri/
Disallow: /stock/
Disallow: /search/*
Disallow: /video-s-youtube/

Sitemap: http://www.dtools.com.ua/sitemap.xml
Host: www.dtools.com.ua

хочу сделать так

User-agent: *
Disallow:
Disallow: /index.php
Disallow: /search?text=*
Disallow: /shop/cart*
Disallow: /shop/product/*?
Disallow: /profile*
Disallow: /logout*
Disallow: /*order=*
Disallow: /*per_page=*


нужно ли закрывать именно категории 2я 3я 4я страница
shop/category/almaznye-diski
и когда перехожу на вторую страницу уже пишет
shop/category/almaznye-diski?per_page=18


Дал кто ответ??

Thumbs up Thumbs down

  • Зарегистрирован: 18-06-2016
  • Сообщений: 158
  • User Karma: 10

Re: robots.txt

Ruslan (Санмикс) пишет:
dtools пишет:

подскажите пожалйста что можно закрыть от гугла и яндекса на dtools.com.ua
сейчас
User-agent: *
Disallow:
Disallow: /admin/
Disallow: /rekomendatsii-po-ispolzovaniiu/nashi-partneri/
Disallow: /stock/
Disallow: /search/*
Disallow: /video-s-youtube/

Sitemap: http://www.dtools.com.ua/sitemap.xml
Host: www.dtools.com.ua

хочу сделать так

User-agent: *
Disallow:
Disallow: /index.php
Disallow: /search?text=*
Disallow: /shop/cart*
Disallow: /shop/product/*?
Disallow: /profile*
Disallow: /logout*
Disallow: /*order=*
Disallow: /*per_page=*


нужно ли закрывать именно категории 2я 3я 4я страница
shop/category/almaznye-diski
и когда перехожу на вторую страницу уже пишет
shop/category/almaznye-diski?per_page=18


Дал кто ответ??

проверьте это http://prntscr.com/dh7j07 (+ знает ли робот где находится ваш robots.txt - мне пришлось самому вписывать)

"/shop/product/*?" - вы блокируете от робота все что начинается с /shop/product/ и после него (*), т.е. товары у вас находятся по пути /shop/product/название_товара, и если вы ставите в файл robots.txt строку начинающуюся с /shop/product/ и знак "*" - вы закрываете от робота все товары!!! Строка с чего то начинается и чем то заканчивается....
User-agent: *
Disallow:

не оставляйте пустой - лучше убрать

Disallow: /index.php

закрываете конкретный файл - у меня 

*.php

Disallow: /search?text=*

закрываете все что нач. с search?text=

Disallow: /shop/cart*

все что начинается с /shop/cart

Disallow: /shop/product/*?

все что начинается с /shop/product/* - знак "?" конец строки вроде не помню....

и т.д. -вам стоит порыться в google https://www.google.com.ua/search?q=%D0% … p;ie=UTF-8

- это как пример (+ есть google)
более подсказать не могу т.к. не знаю вашей версии....и что вы конкретно хотите закрыть от роботов

Thumbs up Thumbs down