• Страница 1 из 1
  • 1
Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Проблемы с индексацией / ошибка 403
Проблемы с индексацией / ошибка 403
tender1769
Репутация: 0

Сообщение # 1 | 18:43:51
Зарегистрировался на форуме, чтобы задать вопрос, и нашел возможность создать новую тему только в этой теме. Сразу прошу прощения за оффтопик и если кто-то из компетентных людей сможет перенести в тему "Раскрутка сайта" (предполагаю, по теме ближе всего к той ветке), буду благодарен.

Собственно, описание проблемы.

Сайт http://go2rest.ru/
Несколько дней назад на простую операцию по скармливанию новых страниц поисковикам (аддурилкам) впервые получил неожиданный ответ:
"Для заданной страницы (или страницы, полученной после перенаправления) сервер возвращает код статуса http 403 (ожидался код 200)"

Сначала на это внимания не обратил, счел, что ведутся какие-то работы на стороне Яндекса. По прошествии нескольких дней при попытке добавить новые страницы получил тот же ответ. Посмотрел, что выдает Гугл.Вебмастер - то же самое. Пытаюсь разобраться. В целом ситуация такая, что сайт для людей открывается норм, но машины видят 403.

Более того, вчера Яндекс.Вебмастер выдал сообщение:
"09.04.2014 не удалось проиндексировать главную страницу сайта по следующей причине: HTTP-статус: Доступ к ресурсу запрещён (403)"

Никаких изменений ни в файл robots.txt, ни в код на сайте перед появлением данной ошибки не вносил.

Когда проверяю ответ сервера, и Яндекс, и Гугл выдают фактически одно и то же:

URL:http://go2rest.ru/
Дата:четверг, 10 апреля 2014 г., 5:34:03 GMT-7
Тип робота Googlebot:Веб
Время загрузки (в миллисекундах):92

HTTP/1.1 403
ForbiddenServer: uServ/3.2.2

Date: Thu, 10 Apr 2014 12:34:06
GMTContent-Type: text/html; charset=UTF-8

Transfer-Encoding: chunked
Connection: keep-alive
Keep-Alive: timeout=15
Content-Encoding: gzip
<html><head>
<meta name="robots" content="noindex,nofollow">
<title>HTTP 403 Forbidden</title>
<style>
body, td {font-family:Tahoma,Arial;font-size:9pt;}
a:link {text-decoration:underline; color:#0000FF}
a:visited {text-decoration:underline; color:#0000FF}
a:hover {text-decoration:underline; color:#FF0000}
.copy {font-size:7pt;}
</style>
</head>
<body bgcolor="#FFFFFF">
<table height="100%" width="100%" border="0">
<tr height="100"><td valign="top" align="center">
<h2>You are not allowed to view this page</h2>
</td></tr>
<tr><td valign="top" align="center">
<p>Access to this page using your personal data is forbidden.</p>
</td></tr>
<tr><td valign="bottom" align="center" class="copy">
<a href="http://www.ucoz.com/"><b>uCoz Web Services</b></a><br>
</td></tr>
</table>
</body>
</html>

Напрягает, что откуда-то появились такие вещи:
<meta name="robots" content="noindex,nofollow">
и
<p>Access to this page using your personal data is forbidden.</p>

Повторюсь, никакие изменения не вносил, более того, все что Яндекс и Гугл перечисляют в ответе сервера у себя в коде нигде не вижу.
В поддержке ucoz пока толком ничего не подсказали.
В делах этих полных чайник, прошу помощи: что делать и как делать?
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 2 | 00:17:09
tender1769, сейчас все нормально должно быть. главная отдает 200

Код
HTTP/1.1 200 OK
Server: uServ/3.2.2
Date: Thu, 10 Apr 2014 20:15:11 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 2024
Last-Modified: Mon, 07 Apr 2014 13:59:28 GMT
Connection: keep-alive
Keep-Alive: timeout=15
ETag: "5342af40-7e8"
Accept-Ranges: bytes


сайт не был на тех.работах, блокировка когда вы проверяли?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
tender1769
Репутация: 0

Сообщение # 3 | 01:00:20
Цитата webanet ()
сайт не был на тех.работах, блокировка когда вы проверяли?
техработ и блокировки не было, более того сейчас и Яндекс.Вебмастер (вкладка "Проверка ответа сервера") и Гугл для веб-мастеров (меню "Посмотреть как Googlebot") до сих пор показывают, что ошибка в т.ч. и с главной страницей остается ((

аддурилки при попытке добавить новые ссылки также показывают ответ 403

вообще не приложу ума, что делать. прогуглил все, что смог, описания похожих проблем и их решения не нашел

пожалуйста, помогите словом и делом, кто понимает!
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 4 | 01:15:35
tender1769, давайте немного конкретики тогда. точно опишите как вы передаете гуглу урл через смотреть как гугль бот
лучше в картинках. как вы вставляете адрес на проверку и так далее, вплоть до окна подтверждения

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
tender1769
Репутация: 0

Сообщение # 5 | 10:10:13
Цитата webanet ()
как вы передаете гуглу урл через смотреть как гугль бот

Спасибо, что не бросили и помогаете разобраться.

Если смотреть изнутри из инструментов для вебмастеров, ситуация не изменилась. Более того, Яндекс, похоже, делал плановый обход и снова получил отказ, о чем и информирует на главной странице Вебмастера. Скрины по Яндексу выложу с следующем сообщении.

Теперь по Гуглу. Захожу в раздел "Посмотреть как Googlebot", основной урл соответствующего аккаунта прописан автоматически, жму "Получить содержание", гуглбот сканирует страницу и через некоторое время выдает в списке статусов ошибку. Это первый экран на скриншоте, ниже на скриншоте показал переход на страницу с ошибкой, какая информация отображается там. Вся инфа актуальная, сегодняшняя утренняя. Файл с изображением прикрепляю.

Ниже в списке сканированных страниц есть и другие ссылки, не только главная страница. Сейчас в ответ на проверку любой страницы сайта выдает одну и ту же ошибку HTTP/1.1 403 Forbidden
Ранее в этом разделе проверял различные страницы, и в списке ниже они у меня есть, просто на экране не уместились. Когда все было ок, статус на первой представленной странице показывается как "Успешно", а полученный ответ HTTP/1.1 200 OK, после чего на второй представленной странице идет код существующей страницы.

По Яндексу опишу в следующем сообщении. Еще раз спасибо.
Прикрепления: 0510825.jpg (342.8 Kb)
tender1769
Репутация: 0

Сообщение # 6 | 21:51:58
Теперь по Яндексу.

Как уже написал выше, сегодня в Вебмастере получил новое сообщение о невозможности индексации:

"11.04.2014 не удалось проиндексировать главную страницу сайта по следующей причине: HTTP-статус: Доступ к ресурсу запрещён (403). Если причина устранена, сообщение обновится в течение 2-3 дней".

- это первый экран на скриншоте, который прикрепляю ниже

Предыдущее подобное сообщение было 9 апреля, после чего снаружи вроде бы сайт отдавался без ошибок, а изнутри по-прежнему показывал 403. Была небольшая надежда, что глючит Яндекс.Вебмастер (хотя поскольку Гугл показывал то же самое, надежда, действительно, была очень уж небольшая), что просто ожидает нового прохода робота и т.д. Ну вот робот прошел и не сумел зайти.

На втором экране на скриншоте - свежий ответ Яндекса на попытку получить ответ сервера через http://webmaster.yandex.ru/server-response.xml
На третьем экране - развернутая информация с содержимым страницы, как ее сейчас видит робот. Не видит ее вообще. По-прежнему не понимаю, откуда взялись meta name="robots" content="noindex, nofollow" и строки <h2>You are not allowed to view this page</h2> и <p>Access to this page using your personal data is forbidden</p>
На третьем экране - как реагирует аддурилка Яндекса на попытку скормить ей новую ссылку со свежей страницей сайта.

Файл прикрепляю.

Добавлено (11 Апр 2014, 21:51:58)
---------------------------------------------
К вечеру и Яндекс.Вебмастер и Инструменты для вебмастеров Google стали показывать нормальный ответ по запросу на главную и остальные страницы! Код статуса HTTP: "200 OK"

Аддурилки тоже заработали в штатном режиме, начали принимать ссылки.
Так и не понял, что это было, и как исправилось. В любом случае, webanet, большое спасибо, что откликнулись, и позвольте обращаться, если вдруг будут такие или похожие засады. Спасибо!

Прикрепления: 0175028.jpg (113.9 Kb)
Вамп
Сообщений: 1
Репутация: 0

Сообщение # 7 | 10:47:36
Здравствуйте. У меня стали возникать проблемы 403 с поисковыми системами Гугл и Яндекс, список страниц с ошибками увеличивается с каждым сканированием, при это я зашел и посмотрел какие страницы были исключены и нашел ошибку в адресе по которому заходил робот на мой сайт, он почему то использует не правильный адрес, вот пример:
http://vvalgalla.ru/http....ttp
http://vvalgalla.ru/http....ttp
Он зачем то вводит два раза http://vvalgalla.ru/http://vvalgalla.ru/ и там конечно же нет нужной страницы .Подскажите в чем проблема и как её исправить.

Нашел похожую проблему здесь //forum.ucoz.ru/forum/31-47392-1 . Но применить решение к моей проблеме не могу.:) Подскажите умные дядьки и тетки, что мне делать.


Сообщение отредактировал webanet - Среда, 24 Сен 2014, 21:03:17
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 8 | 21:03:54
Вамп, прямо в вашем коде отметила красным то, что нужно удалить

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
yakubglick1
Репутация: 0

Сообщение # 9 | 15:59:15
<meta name="robots" content="noindex,nofollow">
вот ваша ошибка, контент не идексировать

аварии здесь
потрясающие факты здесь
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Проблемы с индексацией / ошибка 403
  • Страница 1 из 1
  • 1
Поиск: