Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
SMOuk1570
Сообщений: 6
Репутация: 0

Сообщение # 1126 | 14:39:58
Здравствуйте, у меня возникла следующая проблема:
При регистрации в поисковиках Яндекс выдает следующую ошибку: 14.05.2013 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру. Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.
Хотя с файлом robots.txt все в порядки
Причем я регистрировал сайт 16.05.13, а пишет мол 14.05.13 получил робот запрет как такое может быть?
Дата создания сайта: 15.04.2013, 23:08
Файл robots.txt:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://gaid-dota2.ru/sitemap.xml
Sitemap: http://gaid-dota2.ru/sitemap-forum.xml
Sitemap: http://gaid-dota2.ru/sitemap-shop.xml

Помогите разобраться.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1127 | 16:38:38
Elena_Kravchenko,
Цитата
но можно ли еще вопрос: почему не стоит прописать фотоальбом там?
там это где? в карте сайта или в файле robots.txt? в любом случае ни там ни там прописывать не нужно. в роботсе не нужно, потому что там стоят директивы запрета и фотоальбом индексируется. а в карту сайта не нужно прописывать, потому что ссылки фотоальбома в карте сайта есть вот в этой sitemap.xml

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1128 | 16:45:09
SMOuk1570, вы по какому адресу смотрите информацию в яндекс вебмастере? по старому юкозовскому или по прикрепленному? юкозовский закрыт от индексации так как прикреплен домен и нет соответствующих настроек.

если по новому адресу смотрите, то и такое может быть. с вашего сайта только снят карантин, а по ссылке в вашем профиле в контакте яндекс мог подцепить ссылку на сайт, обработать её и теперь выдает ошибки

вот поэтому не стоит распространять ссылки на сайт под карантином. теперь ждите новой обработки и дальше как написано, если запрета нет. а у вас нет запрета по новому адресу, сайт начнет индексироваться через 2 недели

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
SMOuk1570
Сообщений: 6
Репутация: 0

Сообщение # 1129 | 17:19:40
Цитата (webanet)
сайт начнет индексироваться через 2 недели
Спасибо за помощь, оперативно =)
plaza-gelendzhik
Репутация: 0

Сообщение # 1130 | 13:38:31
Здравствуйте, услуга оплачена, сайт начал индексироваться Яндексом,

с Гугл проблемы:
http://plazagelendzhik.ucoz.ru/
Робот Google
Заблокировано по строке 2: Disallow: /
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения
Googlebot-Mobile
Заблокировано по строке 2: Disallow: /
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения

Добавлено (18 Май 2013, 09:36:01)
---------------------------------------------
как решить проблему7

Добавлено (18 Май 2013, 09:39:21)
---------------------------------------------
Для робота Google установлен запрет на http://plazagelendzhik.ucoz.ru/

Добавлено (18 Май 2013, 13:38:31)
---------------------------------------------
...все в порядке

medik
Сообщений: 65
Репутация: -9

Сообщение # 1131 | 21:50:12
Скажите пожалуйста все сайты снимаются с карантина?

Добавлено (18 Май 2013, 21:50:12)
---------------------------------------------
Скажите когда этот сайт http://electropeople.ucoz.com/ снимется с карантина? Сайт наполнен контентом

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1132 | 21:53:56
medik, читайте про карантин //forum.ucoz.ru/forum/21-38597-1 через 30 дней после создания сайта все снимаются. снимаются и раньше, если оплатите
наполнение контентом не повод снятия карантина

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Вагнер-Р[eng]AV
Сообщений: 52
Репутация: 57

Сообщение # 1133 | 22:27:28
Хочу запретить дубль страницы со сэшем в конце.
Код
Disallow: /dir/$
Allow: /dir
Каталог часом не закрою?

Drinko
Сообщений: 909
Репутация: 773

Сообщение # 1134 | 08:32:14
Вагнер-Р[eng]AV, не закроете. Только в Вашем случае правильно будет так:
Код
Disallow: /dir/$  
Allow: /dir$

Вагнер-Р[eng]AV
Сообщений: 52
Репутация: 57

Сообщение # 1135 | 10:31:30
Drinko, если правильно вас понял, в моём варианте директива
Код
Allow: /dir

открывает дубль, закрытый директивой
Код
Disallow: /dir/$

Т.е. директивы - взаимоисключающие?

Drinko
Сообщений: 909
Репутация: 773

Сообщение # 1136 | 10:43:06
Вагнер-Р[eng]AV, да, т.к. в конце всегда подразумевается знак *, если не указано иное см. http://help.yandex.ru/webmaster/?id=996567&ncrnd=435#996572

KeKs3326
Репутация: 0

Сообщение # 1137 | 15:27:30
Здравствуйте, у меня такая проблема: с момента создания сайта прошло более месяца, а в файле robots.txt стоит запрет, изменить я его ни как не могу-его нет в корне сайта,http://obedvam.ucoz.org/robots.txt . Так же я пробовал создавать свой "робот" но он не воспринимается. Что посоветуете?
INSIDERS
Сообщений: 3
Репутация: 22

Сообщение # 1138 | 17:31:34
KeKs3326, советую изучить предыдущие 70 страниц форума и возможно ваш вопрос отпадет сам по себе smile И что вас не устраивает в вашем роботсе? Он у вас стандартный, без карантина и прочих запретов.
pit12345
Сообщений: 24
Репутация: 0

Сообщение # 1139 | 16:05:24
Добрый день!В последнее время в поисковой системе гугл появляются не нужные страницы, к примеру http://www.haxs.ru/load/0-1-5-153-3 . Как мне сделать запрет на индексацию этих страниц? заранее спасибо
Сообщение отредактировал pit12345 - Среда, 29 Май 2013, 16:05:35
zifra
Репутация: 0

Сообщение # 1140 | 00:35:02
Уважаемые пользователи, помогите решить проблему. Я оплатила услугу отказа от баннеров (стоимость 2.99), т.е. сайт должен быть снят с карантина, я просмотрела файл робот. Показывается следующее:

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://geografia-sverd.ucoz.ru/sitemap.xml
Sitemap: http://geografia-sverd.ucoz.ru/sitemap-forum.xml
Sitemap: http://geografia-sverd.ucoz.ru/sitemap-shop.xml

Скажите, это значит, что сайт проиндексирован и снят с карантина?
Если да, то почему я не могу его найти в Юкозе? Я ввожу http://geografia-sverd.ucoz.ru, а он мне выдает ошибку "SITE NOT FOUND", говорит, что сайт не зарегистрирован в Юкозе. Пыталась найти его на нашем сайте вводя название: "География Свердловской области электронный учебник" и все без толку, как быть?
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!