Модератор форума: Yuri_G  
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Юра1980
Сообщений: 1
Репутация: -15

Сообщение # 1351 | 23:55:32
Google в течении недели не индексирует сайт sambir.co.ua
Даже авторские статти, нету в поиске. Почему он так долго индексирует? Старие статти появляются пожже)
яндекс новие статти индексировал за несколько часов. Что не так с гоогл?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 1352 | 03:49:26
dulinsuper, Есть проблема .. - User-agent: *

Сообщение отредактировал Miss_Esq - Суббота, 28 Сен 2013, 03:52:02
Никнейм5719
Репутация: 0

Сообщение # 1353 | 00:05:34
Как сделать, чтобы страница индексировалась?
Не индексируется страница http://psiholog-barnaul.ru/index/14_zabluzhdenij_o_psychology/0-4
Яндекс.Вебмастер.Исключенные страницы пишет Документ запрещен в файле robots.txt
Вот robots.txt http://psiholog-barnaul.ru/robots.txt:
User-agent: *
Disallow: /a/

Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/

Disallow: /?ssid=

Sitemap: http://psiholog-barnaul.ru/sitemap.xml
Sitemap: http://psiholog-barnaul.ru/sitemap-forum.xml
Sitemap: http://psiholog-barnaul.ru/sitemap-shop.xml
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1354 | 15:49:29
Никнейм5719,
Цитата
Как сделать, чтобы страница индексировалась?
переименовать её, то есть сменить отображение чпу в адресе. в чпу не должна быть единица в начале. других вариантов нет. или кроить роботс, но нежелательно

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Deagle_36
Сообщений: 32
Репутация: -1

Сообщение # 1355 | 23:17:55
Код
User-agent: *Disallow: /a/  
Disallow: /stat/  
Disallow: /index/1  
Disallow: /index/2  
Disallow: /index/3  
Disallow: /index/5  
Disallow: /index/7  
Disallow: /index/8  
Disallow: /index/9  
Disallow: /panel/  
Disallow: /admin/  
Disallow: /secure/  
Disallow: /informer/  
Disallow: /mchat  
Disallow: /search  
Disallow: /shop/order/  
Disallow: /?ssid=  

Sitemap: http://narutoportall.3dn.ru/sitemap.xml
Sitemap: http://narutoportall.3dn.ru/sitemap-forum.xml
Sitemap: http://narutoportall.3dn.ru/sitemap-shop.xml

вот мой robots,как сделать что бы Индексировало только модули (publ и load) cоставьте пожалуйста!
den722
Сообщений: 11
Репутация: 15

Сообщение # 1356 | 03:26:23
Подскажите пожалуйста. Нашел такую штуку у себя на сайте
моя главная страница - www.easysea.ru и походу она же - www.easysea.ru/index/1
а в файле robots вот такая инфа:
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=

Sitemap: http://www.easysea.ru/sitemap.xml
Sitemap: http://www.easysea.ru/sitemap-forum.xml
Sitemap: http://www.easysea.ru/sitemap-shop.xml

Получается что главная страница закрыта от индексирования!!!?????
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1357 | 11:49:13
Владимир4756, сообщение удалено. ваш сайт не относится к системе uCoz

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1358 | 11:51:29
den722,
Цитата
и походу она же - www.easysea.ru/index/1
нет. не она же. вы разлогиньтесь и посмотрите на неё как гость. эта страница должна быть закрыта
на будущее. проверяйте все страницы роботса как гость и смотрите что на них. роботы смотрят как гости наши сайты, логиниться они не умеют

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Tane4ka7495
Репутация: 0

Сообщение # 1359 | 00:46:05
Драсти, подскажите что может быть, почему все страницы сайта могли исчезнуть из поисковика яндекса и рамблера, при этом в гугле и мейле всё работает чётко. В вебмастере яндекса написано: Документ запрещен в файле robots.txt , /index/3 Что он хочет от меня можете подсказать?) Проверка robots.txt ошибок не выдаёт, может сайт забанили просто?
Раньше страницы были проиндексированы, а потом исчезли с индексации и с поисковика, адрес сайта: клац



Добавлено (10 Окт 2013, 00:46:05)
---------------------------------------------

Цитата Tane4ka7495; 1381350866
Документ запрещен в файле robots.txt Сорри, тут случайно ссылка получилась лишняя
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1360 | 00:57:40
Tane4ka7495, пишите в тех.поддержку яндекса

страница, которая вас волнует вот http://prazdnik-ot.tk/index/3 (смотреть как гость) это страница регистрации и она должна быть закрыта

вы понаставили скриптов и стилей с подгружением с чужих сайтов

Код
<script src="http://all-skripts.com/zarybezka/ssss/mobilyslider.js" type="text/javascript">
это надо было залить к себе на сайт, удалив перебитый копирайт из скрипта. по сути это уже не копирайт, а спам низкосортного сайта
не стоит там ничего собирать

далее картинки с чужих сайтов один пример, а картинок много http://delaisait.ucoz.ru/img/1/1/dsslider/bottom_shadow.png
это уже похоже на свалку, а не на сайт

домен давно прикрутили?

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Tane4ka7495
Репутация: 0

Сообщение # 1361 | 01:36:26
домен прикрутили 1.5 месяца назад

Добавлено (10 Окт 2013, 01:20:31)
---------------------------------------------

Цитата webanet; 1381352260
(смотреть как гость)
кнопка "выход" не работает на юкозе и как я понимаю не только у меня)

Добавлено (10 Окт 2013, 01:36:26)
---------------------------------------------

Цитата webanet; 1381352260
страница, которая вас волнует вот http://prazdnik-ot.tk/index/3 (смотреть как гость) это страница регистрации и она должна быть закрыта
мм, я прошу прощения, но разве она не закрыта в роботсе Disallow: /index/3
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1362 | 01:43:16
Tane4ka7495,
Цитата
В вебмастере яндекса написано: Документ запрещен в файле robots.txt , /index/3 Что он хочет от меня можете подсказать?)
я вам пыталась пояснить, что яндекс рассказывает вам, что страница регистрации закрыта. она и должна быть закрыта

Цитата
мм, я прошу прощения, но разве она не закрыта в роботсе Disallow: /index/3
закрыта

Цитата
домен прикрутили 1.5 месяца назад
а яндексу о новом домене сообщили?
у вас идет переиндексация сайта в связи со сменой адреса

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Tane4ka7495
Репутация: 0

Сообщение # 1363 | 01:58:03
Цитата webanet; 1381354996
у вас идет переиндексация сайта в связи со сменой адреса
дело в том, что индексация у нас уже была, пару десятков страниц было в поиске, а теперь их убрали будто ничего и не было. Как то недавно мы случайно меняли DNS сервера, но буквально в теч. 2 часов всё вернули назад, может поэтому яндекс решил заново всё проиндексировать? Но пока только он убрал все страницы, которые уже были проиндексированы. Лан, подожду ещё пару дней. А насчёт мусора на сайте спасибо что подсказали, правда я не знаю как эти скрипты правильно заливать на сайт, но будет пища к размышлению)
biznesmuzhik
Сообщений: 12
Репутация: 1

Сообщение # 1364 | 19:49:22
Здравствуйте. Я так понимаю мой сайт попал под карантин? User-agent: *Disallow: / Могло ли это произойти из-за прикрепления нового домена? Если да то сколько ждать выхода из карантина?

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1365 | 19:50:13
biznesmuzhik, прочитайте //forum.ucoz.ru/forum/21-38634-1

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Поиск:
Telegram
Будьте в курсе всех обновлений: подпишитесь на наш официальный Telegram-канал uCoz и задавайте вопросы в чате сообщества!