1

Тема: robots.txt

Добрый день.
Подскажите, пожалуйста, как можно в robots.txt закрыть от индексации мобильную версию сайта, если она находиться на поддомене?
то есть, сайт - www.site.ru
мобильная версия - m.site.ru

Thumbs up Thumbs down

2

Re: robots.txt

Здесь m.site.ru должен быть свой файл Robots.txt и там вставте:
User-agent: *
Disallow: /

И проверте m.site.ru/robots.txt

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

3 Отредактировано vladlen (25-04-2014 16:20:27)

Re: robots.txt

так поддомен m.site.ru ссылается на папку основного домена site.ru...  получается что robots.txt один и тот же как для site.ru так и для m.site.ru

Thumbs up Thumbs down

4

Re: robots.txt

В htaccess

RewriteCond %{HTTP_HOST} =m.site.ru
RewriteRule ^robots\.txt$ /robots_msite.txt [L]

Сейчас, что открывается m.site.ru/robots.txt ?

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

5 Отредактировано vladlen (25-04-2014 20:08:31)

Re: robots.txt

chab пишет:

В htaccess

RewriteCond %{HTTP_HOST} =m.site.ru
RewriteRule ^robots\.txt$ /robots_msite.txt [L]

в htaccess на основном домене прописал то что вы сказали! теперь если зайти на m.site.ru/robots.txt  -  открывается страница 404 (Страница не найдена)...
site.ru/robots.txt  -  открывается robots.txt
это так и должно быть? это поможет? или я что-то не так сделал...

и еще:
вот здесь:

RewriteCond %{HTTP_HOST} =m.site.ru

здесь понятно, вместо site.ru пишу свой домен!

а вот здесь?:

RewriteRule ^robots\.txt$ /robots_msite.txt [L]

msite.txt - здесь так и остается??? или нужно тоже домен указывать?

Thumbs up Thumbs down

6

Re: robots.txt

Нужно создать файл robots_msite.txt с:
User-agent: *
Disallow: /

Разработка и интернет-маркетинг для интернет-магазинов - подробнее!

7

Re: robots.txt

chab пишет:

Нужно создать файл robots_msite.txt с:
User-agent: *
Disallow: /

создал! положил его в папку основного домена... и:
m.site.ru/robots.txt  -  открывается страница 404 (Страница не найдена)...
m.site.ru/robots_msite.txt  -  открывается страница 404 (Страница не найдена)...
что-то наверное не так сделал

Thumbs up Thumbs down

8

Re: robots.txt

все, я разобрался!!! спасибо за помощь!!!

выкладываю решение, может кому-то пригодиться:

AddDefaultCharset UTF-8

Options +FollowSymLinks
Options -Indexes

RewriteEngine on

# RewriteCond %{HTTP_HOST} ^www.site.ru$ [NC]
# RewriteRule ^(.*)$ http://site.ru/$1 [L,R=301]

#apache2ctl -M && sudo a2enmod expires && sudo service apache2 restart (to enable mod_expires on ubuntu)
<IfModule mod_expires.c>
ExpiresActive On
ExpiresDefault "access 7 days"
ExpiresByType image/gif "access plus 1 year"
ExpiresByType image/jpeg "access plus 1 year"
ExpiresByType image/png "access plus 1 year"
ExpiresByType image/jpg "access plus 1 year"
ExpiresByType image/x-icon "access 1 year"
ExpiresByType application/x-shockwave-flash "access 1 year"
ExpiresByType application/javascript "access 1 year"
ExpiresByType application/x-javascript "access 1 year"
ExpiresByType text/css "access 1 year"
ExpiresByType text/html "access 1 year"
</IfModule>

RewriteRule ^(.*)\.tpl$ [R=404]
RewriteRule ^(.*)\.zip$ [R=404]

RewriteCond $1 !^(index\.php|test.php|user_guide|uploads/.*|favicon\.ico|favicon\.png|captcha/.*|application/modules/.*/templates|application/modules/.*/assets/js|application/modules/.*/assets/css|application/modules/.*/assets/images|CHANGELOG.xml|templates|js|robots\.txt|robots_msite\.txt|application/controllers/install/images/.*)
#RewriteRule ^(.*)$ /index.php/$1 [L]
####################################
# or
RewriteRule ^(.+)$ index.php?$1 [L]
# or
# RewriteRule ^(.*)$ /index.php?/$1 [L,QSA]

RewriteCond %{HTTP_HOST} =m.site.ru
RewriteRule ^robots\.txt$ /robots_msite.txt [L]

Thumbs up +1 Thumbs down