Индексирование сайта запрещено в файле robots.txt - Страница 23

Страница 23 из 31 « 1 2 … 21 22 23 24 25 … 30 31 »
Модератор форума: Yuri_G

Сообщество uCoz » Вебмастеру » Раскрутка сайта » Индексирование сайта запрещено в файле robots.txt (ошибки индексирования при снятом карантине)

Индексирование сайта запрещено в файле robots.txt

Модератор форума

Сообщение # 1 | 17:33:08 14 Янв 2012

Проблема
На сайте стандартный robots.txt карантин закончился, а в вебматере Яндекса есть запись "Ваш сайт не проиндексирован Яндексом.(Индексирование сайта запрещено в robots.txt? Если вы исправили robots.txt, необходимо заново добавить сайт в очередь на индексирование.)"

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Яндекса проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Яндекса и смотрите информацию по старому
3) Ошибки в файле robots.txt, если составлен и залит некорректный по содержанию файл. Во избежании ошибок, если вы не разбираетесь в этом, пользуйтесь стандартным.

Проблема
Вебмастер Google - ошибки сканирования - заблокирован файлом robots.txt. На сайте карантин закончился

Причины
1) Вы добавили сайт в вебмастер и на индексацию во время карантина, при добавлении сайта робот Google проверил сайт и выдал ошибку. Даже, если карантин уже закончился, информация об ошибке может ещё какое-то время провисеть, так как подобная информация изменяется с задержками
2) Если сайт давно проиндексирован и вы получили инфо о запрете проиндексированных страницах.
Вы прикрепили к сайту домен и у вас не стоит настройка индексации по двум доменам. Это значит, что старый юкозовский домен закрыт от индексации, а вы не добавили информацию о новом домене в вебмастер Google и смотрите информацию по старому
2) Если сайт снят с карантина давно и индексируется нормально, то смотрите список заблокированных страниц, которые выдает Google. Перейдите по ссылкам, которые указаны в списке как заблокированные. Это должны быть все страницы запрещенные в robots.txt и вебмастер выдает по ним техническую информацию. Реагировать на это не надо, даже если список большой

Проблема
Яндекс при обработке robots.txt выдает ошибку - "Обнаружена неизвестная директива"

Причина
1) Была прописана несуществующая директива
2) Ошибки синтаксиса и запрещенные символы и теги

Komar

Сообщений: 276

Репутация: 18

Сообщение # 331 | 01:44:25 24 Июн 2013

Цитата (NZT)

Komar, в роботс добавьте:
User-agent: Mediapartners-Google
Disallow:

Если можно тут по-подробней, а именно, как будет выглядеть мой конечный файл robots и для чего вносить эти изменения, что именно они мне дадут?
Заранее спасибо за помощь.

Сообщение отредактировал Komar - Понедельник, 24 Июн 2013, 01:44:42

NZT

Сообщений: 369

Репутация: 483

Сообщение # 332 | 01:52:36 24 Июн 2013

Komar, бот, который индексирует непостредственно страницы где установлен код рекламы adsense, благодаря этой команде сможет индексировать весь сайт, независимо от того, могут ли это делать другие боты. т.е полная свобода рекламному гуглоботу.

Код

Komar

Сообщений: 276

Репутация: 18

Сообщение # 333 | 13:01:14 25 Июн 2013

NZT,
А если у меня эти страницы закрыты от гостей, а соответственно и от ботов, обычными средствами ucoz т.е. закрыт доступ для гостей.
Ваше предложение поможет, как думаете?

NZT

Сообщений: 369

Репутация: 483

Сообщение # 334 | 14:04:56 25 Июн 2013

Цитата (Komar)

А если у меня эти страницы закрыты от гостей, а соответственно и от ботов, обычными средствами ucoz т.е. закрыт доступ для гостей. Ваше предложение поможет, как думаете?

Т.е, Вы хотите сказать, страницы, содержимое которых доступно только после авторизации?... Если да, то лично я бы не стал этого делать. Хотя тут можно покалдовать. И все же...
Ну а если просто закрыт доступ для сканирования содержимого средствами robots.txt или метатегом (страницы видно, но их нельзя индексировать), то этот метод полностью решает данную проблему.

Добавлено (25 Июн 2013, 14:04:56)
---------------------------------------------
Здесь читайте.

svetynya

Сообщений: 2

Репутация: 0

Сообщение # 335 | 14:34:19 25 Июн 2013

Добрый день.
Второй день мучаюсь. Сайт не индексируется.

Исключённые страницы Использовать одинаковые настройки для всех сайтов
Яндекс не включает в поисковый индекс страницы, которые явно запрещены к индексации

, а также страницы, при обходе которых у робота возникли проблемы

. В общем случае нельзя однозначно определить, является исключение страницы желательным для вебмастера. Для каждого типа исключения вы можете указать степень важности:
Ошибки клиента (4xx)Ошибки сервера (5xx)Ошибки загрузки Ошибки обработки

HTTP-статус: Неверный запрос (400)

Запрещено к индексированию или не существует

HTTP-статус: Неавторизованный запрос (401)

Запрещено к индексированию или не существует

HTTP-статус: Необходима оплата за запрос (402)

Запрещено к индексированию или не существует

HTTP-статус: Доступ к ресурсу запрещён (403)

Ошибка на стороне сервера или сайта

HTTP-статус: Ресурс не найден (404)

Запрещено к индексированию или не существует

HTTP-статус: Метод неприменим (405)

Запрещено к индексированию или не существует

HTTP-статус: Недопустимый тип ресурса (406)

Запрещено к индексированию или не существует

HTTP-статус: Требуется идентификация прокси, файервола (407)

Запрещено к индексированию или не существует

HTTP-статус: Время запроса истекло (408)

Запрещено к индексированию или не существует

HTTP-статус: Конфликт (409)

Запрещено к индексированию или не существует

HTTP-статус: Ресурс недоступен (410)

Запрещено к индексированию или не существует

HTTP-статус: Требуется длина (411)

Запрещено к индексированию или не существует

HTTP-статус: Сбой при обработке предварительного условия (412)

Запрещено к индексированию или не существует

HTTP-статус: Тело запроса превышает допустимый размер (413)

Запрещено к индексированию или не существует

HTTP-статус: Недопустимая длина URI запроса (414)

Запрещено к индексированию или не существует

HTTP-статус: Неподдерживаемый MIME тип (415)

Запрещено к индексированию или не существует

HTTP-статус: Диапазон не может быть обработан (416)

Запрещено к индексированию или не существует

HTTP-статус: Сбой при ожидании (417)

Запрещено к индексированию или не существует

HTTP-статус: Необрабатываемый элемент (422)

Запрещено к индексированию или не существует

HTTP-статус: Заблокировано (423)

Запрещено к индексированию или не существует

HTTP-статус: Неверная зависимость (424)

Запрещено к индексированию или не существует

HTTP-статус: Требуется обновление (426)

Запрещено к индексированию или не существует

User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://rostovtort.ucoz.ru/sitemap.xml
Sitemap: http://rostovtort.ucoz.ru/sitemap-forum.xml
Sitemap: http://rostovtort.ucoz.ru/sitemap-shop.xml

Используемые секции
Строка

1-18User-agent: *Disallow: /a/...Disallow: /?ssid=

20-22Sitemap: http://rostovtort.ucoz.ru/sitemap.xmlSitemap: http://rostovtort.ucoz.ru/sitemap-forum.xmlSitemap: http://rostovtort.ucoz.ru/sitemap-shop.xml

Добавлено (25 Июн 2013, 14:34:19)
---------------------------------------------
С первым сообщением разобралась сама мне выбило вот это

Проверка ответа сервера Проблемы с индексированием сайта могут быть связаны с тем, что ваш веб-сервер отвечает роботам Яндекса не так, как обычным пользователям. Чтобы увидеть, как веб-сервер отвечает роботу Яндекса, укажите URL и нажмите «Проверить». Поскольку проверка ответа сервера выполняется без учёта директивы Crawl-Delay, инструмент доступен только для подтверждённых сайтов. Роботы Яндекса делают запросы с различных ip-адресов. Данный инструмент может
не выявить проблему, если ваш веб-сервер отвечает по-разному в
зависимости от ip-адреса машины, выполняющей запрос.

URL добавить заголовок If-Modified-SinceUser-Agent: Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

Код статуса HTTP: "200 OK"

Время ответа сервера: 697мс
IP сайта: 213.174.157.194
Заголовки:

Vary: host
Transfer-Encoding: chunked
Date: Tue, 25 Jun 2013 10:31:07 GMT
Keep-Alive: timeout=15
Set-Cookie: 0rostovtortuCoz=; path=/; expires=Sun, 26-Jun-2011 10:31:08 GMT; domain=.rostovtort.ru;
Connection: keep-alive
Content-Type: text/html; charset=UTF-8
Server: uServ/3.2.2
Pragma: no-cache
Cache-Control: no-store
Cache-Control: no-cache
Cache-Control: private
Что это такое?

Komar

Сообщений: 276

Репутация: 18

Сообщение # 336 | 14:46:48 25 Июн 2013

Цитата (NZT)

содержимое которых доступно только после авторизации?

Именно, google ругается на профили пользователей, хочет к ним прорваться, хотя в них не стоит google adsense.

Цитата (NZT)

Если да, то лично я бы не стал этого делать. Хотя тут можно покалдовать.

Спасибо, глянул, уже как-то пробовал так доступ открыть, что-то не вышло... попробую еще раз... еще раз спасибо.

Nikan-Sega

Репутация: 0

Сообщение # 337 | 13:03:27 05 Июл 2013

Здравствуйте! У меня какая-то не понятная проблема... Вообщем создал сайт, немножко наполнил контентом. 30 дней не стал ждать, что запрет в robots.txt снимится, купил премиум. Через день гугл проиндексировал почти все страницы сайт. Все вроде бы нормально. Но еще через день все страницы выпали из индекса гугла. Говорит, что описание веб-страниц недоступно из-за ограничений в файле robots.txt. А в robots.txt все в порядке. Почему это так? Может кто знает...

Деееенчик

Сообщений: 190

Репутация: 116

Сообщение # 338 | 15:44:29 17 Июл 2013

Nikan-Sega, дайте ссылку на сайт.

Благодарности в репутацию и в награды!
P.S Плюс под аватаркой)

SOFTOLAB_COM

Сообщений: 1363

Репутация: 777

Сообщение # 339 | 20:07:29 17 Июл 2013

Nikan-Sega, если в роботсе не закрыто, то значит проблема у гугла возможно, у него тоже проблемы бывают, вернется, несколько дней и должен появится в поиске.
Хотя возможно ему что то у вас не понравилось, например галимый копипаст.

Благодарности можно оставить — в репутации.
Помощью в ЛС не занимаюсь, есть форум.
Занимаюсь сайтами на платной основе.
Шаманю на php и mysql с использованием бубна 80 lvl.

ADMIN0642

Репутация: 0

Сообщение # 340 | 21:24:09 18 Июл 2013

у меня тоже такое ошибка
http://bestinucoz.3dn.ru/

webanet

Сообщений: 24067

Репутация: 4985

Сообщение # 341 | 22:05:53 18 Июл 2013

ADMIN0642, читаем //forum.ucoz.ru/forum/21-38597-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/

Anna4091

Сообщений: 6

Репутация: 0

Сообщение # 342 | 21:50:24 23 Июл 2013

Возниклапроблема! Помогите решить!Я создал сайт,прицепил к нему доменное имя, после чего оплатил паке «Базовый» дабы снять
карантин и запустить сайт в индексирование поисковых систем.
ответ таков Запрещено в файле robots.txtВ службе поддержки написали «Для индексации сайта по обеимдоменам, Вам необходимо в панели управления Вашим сайтом войти в "Настройки" - "Общие настройки" и включить опцию "Разрешать индексацию по
обоим доменам.»Не помогает хотяделал как написано.

Деееенчик

Сообщений: 190

Репутация: 116

Сообщение # 343 | 21:53:01 23 Июл 2013

Anna4091, дайте адрес сайта

Благодарности в репутацию и в награды!
P.S Плюс под аватаркой)

Anna4091

Сообщений: 6

Репутация: 0

Сообщение # 344 | 22:08:22 23 Июл 2013

http://puteshestvuems.com/

Деееенчик

Сообщений: 190

Репутация: 116

Сообщение # 345 | 22:13:24 23 Июл 2013

Anna4091, все в порядке,google скоро изменит свое мнение вот Ваш robots.txt

Код

Добавлено (23 Июл 2013, 22:11:45)
---------------------------------------------
Деееенчик, просто ждите,а остальное google сделает все сам.

Добавлено (23 Июл 2013, 22:13:24)
---------------------------------------------
Anna4091, если хотите увеличить информативность сайта в поиске google,прочитайте и воспользуйтесь маркером

Благодарности в репутацию и в награды!
P.S Плюс под аватаркой)

Страница 23 из 31
«
1
2
…
21
22
23
24
25
…
30
31
»