Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 931 | 14:07:37
Thing-85, пишем в вебмастер яндекса и там спрашиваем почему не хочет индексировать. так читаем название темы несколько раз. тут нет места вопросам почему сайт не индексирует яндекс. это понятно? пишем в тех.поддержку яндекса
отсюда и далее все остальные ваши вопросы почему ваш сайт не индексируется яндексом будут удаляться вместе с ответами

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Sharapov317
Сообщений: 1
Репутация: 0

Сообщение # 932 | 16:00:00
Так как файл роботс так или иначе все пытаются изменить, то вопрос мой такой
Можно вкратце описать строки в нём и суть их запрета.
Другим думаю тоже полезно будет. Ну, например
Disallow: /panel/ - запрещает индексацию страниц панели управления администратора

И ещё вопрос запретит ли эта добавочная строка: Disallow: /go? индексацию проксированных ссылок???

Знаю, что мало знаю, но чем больше учусь - тем больше не знаю
iFace
Сообщений: 12
Репутация: 0

Сообщение # 933 | 11:17:18
Всем привет. У меня истекло время карантина на сайте краснодар-такелаж93.рф. Ввожу в url robots.txt и появляется
User-agent: *
Crawl-delay: 30

Disallow: /admin

Disallow: /img
Disallow: /a
.
и т.д.
Host: ���������-�������93.��
Sitemap: ���������-�������93.��/sitemap.xml

В данном случае он индексируется? Просто я раньше спрашивал что, индексировать сайт нужно самостоятельно. А тут робот сам изменился, я ничего не трогал.
И сколько примерно ждать пока зарегистрируется в поисковиках (примерно). Всем заранее спасибо))

Зло не дремлет...
Shеriff
Сообщений: 3187
Репутация: 2662

Сообщение # 934 | 11:54:30
iFace, нельзя прописывать кириллицей url в роботсе.
— Использование кириллицы запрещено в файлах robots.txt, http-заголовках сервера и файлах sitemap.
— Для указания имен доменов используется punycode. Адреса страниц записываются в кодировке, соответствующей кодировке текущей структуры сайта.

К изучению: http://help.yandex.ru/webmaster/?id=1115485

Цитата
Crawl-delay: 30

Это вам не нужно, удалите.

Профессиональный сервис опросов WebAsk
Raptor2388
Сообщений: 7
Репутация: 4

Сообщение # 935 | 18:22:42
Объясните пожалуйста, что значит это сообщение. Выскакивает второй день подряд.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 936 | 18:28:03
Raptor2388, где адрес сайта и как это связано с темой роботса? это серверная ошибка. пишите в бесплатную тех.поддержку из пу

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
elena6837
Сообщений: 11
Репутация: 0

Сообщение # 937 | 01:24:08
Добрый вечер! Подскажите, пожалуйста, куда подевался robots.txt? Хотели зарегестрировать сайт в Яндексе и выдало то, что нету robots.txt. Также обнаружили пропажу sitemap юкоза. Мы ничего не удаляли. Что делать? Как всё вернуть? Вот, ссылка на сайт http://sasha220379.ucoz.ru/

Спасибо!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 938 | 02:00:39
elena6837, http://sasha220379.ucoz.ru/robots.txt вот ваш роботс вы пока спешите с добавлением
сайт на карантине. подробнее //forum.ucoz.ru/forum/21-38597-1
про карту сайта читаем тут //forum.ucoz.ru/forum/21-38683-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Mihaliych70
Сообщений: 6
Репутация: 19

Сообщение # 939 | 03:06:34
Исключение Robots.txt Указанные ниже URL-адреса заблокированы в файле robots.txt сайта. URL-адреса, обозначенные !, считаются в Bing важными или значимыми для сайта. Убедитесь, что они заблокированы специально.




Такое выдаёт веб мастер Bing что это значит?
vad100vam
Репутация: 0

Сообщение # 940 | 17:16:18
А этот правильный роботекст
User-Agent: *Disallow: / /Disallow: / статистика /Disallow: / индекса / 1Disallow: / индекса / 2Disallow: / индекса / 3Disallow: / индекса / 5Disallow: / индекса / 7Disallow: / индекса / 8Disallow: / индекса / 9Disallow: / панели /Disallow: / admin /Disallow: / безопасный /Disallow: / Информер /Disallow: / mchatDisallow: / поискDisallow: / магазин / заказ /Disallow: / SSID =Карта сайта: http://vad100vam.pp.ua/sitemap.xmlКарта сайта: http://vad100vam.pp.ua/sitemap-forum.xmlКарта сайта: http://vad100vam.pp.ua/sitemap-shop.xmlПроверяю на ошибки они есть и как их исправить.
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 941 | 17:26:21
vad100vam, uде проверяете на ошибки и какие именно ошибки выдает?
я не знаю что вы копировали, но у вас стоит стандартный роботс http://vad100vam.pp.ua/robots.txt который не нужно трогать

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
vad100vam
Репутация: 0

Сообщение # 942 | 19:52:57
ошибка не в роботекст а на сайте проверяюhttp://www.cy-pr.com/
Kanvas
Репутация: 0

Сообщение # 943 | 21:41:35
Подскажите нубу.

Сайт www.guitarizm.at.ua

Не на карантине.

Посетителей не было ни одного с момента снятия карантина, Тиц - О до сих пор, PR -?

В каталог Гугла добавлял, в Яндекс - тоже, правда, про результат не знаю, взяли ли в каталоги его или нет
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 944 | 02:16:57
Kanvas, Зайдите смотрите , Яндекс вас не любит явно ...

www.cy-pr.com/analysis/guitarizm.at.ua

brodyaga30
Сообщений: 491
Репутация: 146

Сообщение # 945 | 04:14:50
Цитата (Kanvas)
в Яндекс - тоже, правда, про результат не знаю, взяли ли в каталоги его или нет

а там вроде только за бабло, и то если согласятся, но за деньги по любому

Понял тебя, тридцатый ...
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!