Чат сообщества
   | |
| Модератор форума: Yuri_G |
| Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта) |
| Robots.txt |
|
Нажмите на ссылку, чтобы перейти к ответу
Сообщение отредактировал webanet - Вторник, 27 Мар 2018, 20:08:42
|
|
Цитата webanet (  )после удаления файла robots.txt он автоматически заменяется системным. увидеть его можно по адресу ваш сайт/robots.txtсистемный файл robots.txt не показывается в файловом менеджере. в файловом менеджере файл появится только после того как вы зальете свой вариант файла и он заместит системный http://i11.pixs.ru/storage/8/5/4/333jpg_7584880_22823854.jpg Тут виден сайт и страницы которые вроде бы не должны индексироваться - а почему то индексируются в стандартном файле роботс! |
|
Atlantic, изображенные на картинке страницы не должны блокироваться стандарным роботсом
|
|
Подскажите пожалуйста как правильно настроить файл robots.txt, чтобы нечего лишнего не запретить, а весь не нужный хлам в запрет поставить, просто с каждым годом начинает юкоз добавлять новые возможности, и из-за этого потом бывают поисковые системы индексирует не нужный бред. И на каком анализе сайта можно посмотреть что у меня в запрете не стоит и на что лучше поставить запрет.
|
|
Сегодня решил зайти в роботс у меня вообще так
User-agent: * Sitemap: http://сайт/sitemap.xml Host: сайт это норм ? фиг знает или слетел или когда сайт создал у меня так и было но народ есть на сайте 6 к |
|
Ребята, что означает данная команда? Allow: /*?ref= прочитал, про нее, так нечего и не понял... дело в то что мне на сайте убирал человек дубли, их повыкидывало слава богу. Он прописывал в шаблоне кода и прописывал в robots.txt команды, одну сегодня уже убрал Disallow: /*? так как она на блокировала в google вебмастере, 760 файлов. Вот и спрашиваю на счет Allow: /*?ref=, может ее тоже убирать. Дубли мне снова не накидает на главной и на категориях сайта?
Сообщение отредактировал Kolbasa - Пятница, 11 Ноя 2016, 01:22:40
|
|
спасибо, я там и читал, я не понимаю слов "компонентов социальной регистрации" это что вообще ?
 у одних написано: Allow: /*?ref= нужна для правильной переиндексации компонентов социальной регистрации у других в интернете: Allow: /*?ref= — разрешить доступ к страницам соц. авторизации. наверно уберу данную строчку. У меня вопрос, дубли мне снова не накидает на главной и на категориях сайта? она на это как то влияет кто знает? Сообщение отредактировал Kolbasa - Пятница, 11 Ноя 2016, 02:15:05
|
|
Цитата @katy@ (  )User-agent: *Sitemap: http://сайт/sitemap.xml Host: сайт |
|
так я вопрос задал что у меня в роботе вот так это норм или нет
User-agent: * Sitemap: http://ucoz.ru/sitemap.xml Host: ucoz.ru сайт может быть любой |
|
Цитата DENIS5083 ( )так я вопрос задал что у меня в роботе вот так это норм или нет DENIS5083, это не нормально. Вверху все ссылки по созданию правильного robots.txt информация 道德經 Помощь по системе
|
|
Как бы убрать мусор на скриншоте ниже, при этом, чтобы страницы
/search/skyrim/ /search/steam/ и тд остались в поиске?  |
| |||