Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 121 | 21:52:56
Кинолог,
Quote
Или я не прав?
biggrin
А вы посмотрите что это за страницы ...

адрес сайта/index/X

Вместо Х ставьте цифры от 9 до 1 и смотрите ...
Если вам понравится , что такое будет у вас в индеске , ни кто особо не расстроится ...

Сообщение отредактировал Miss_Esq - Суббота, 31 Дек 2011, 00:55:11
fllop
Сообщений: 72
Репутация: 45

Сообщение # 122 | 11:43:50
Quote (weiss)
Вопрос: скажите, что сделать, что бы эти 2 страницы не индексировались:
http://сайт.ucoz.ru/index/0-4
http://сайт.ucoz.ru/index/0-5

Ответ: допишите в robots.txt:
/index/0-4
/index/0-5
Всё это можно сделать только если уже закончился карантин. Эти правила полностью запретят индексацию данных страниц.


Должно в итоге выглядеть так что ли?

http://сайт.ucoz.ru/index/0-5/index/0-5
http://сайт.ucoz.ru/index/0-4/index/0-4
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 123 | 12:03:31
fllop,
Quote
Должно в итоге выглядеть так что ли?


Примерно так

Сообщение отредактировал Miss_Esq - Понедельник, 02 Янв 2012, 12:04:08
L-win
Сообщений: 1
Репутация: 2

Сообщение # 124 | 12:32:25
Скажите пожалуйста, как исключить капчу из индекса в google? В robots.txt введен "Disallow: /secure/" но все равно google пишет, что заблокировано несколько сотен картинок по адресу ".../secure/?k=...". Или это так и должно быть?

картинка
fllop
Сообщений: 72
Репутация: 45

Сообщение # 125 | 13:01:32
Fox2, были и у меня проблемы с роботом, удалил через недельку две он восстановился самостоятельно (ну вернее по своему адресу открывался) и я сам его скопировал и впихнул в корень сайта. Сайт в индексе.
Хотя можно было и не копировать и не всовывать, сайт и без него в индекс попал, главное что бы по адресу робота открывался робот, как проверить смотри в теме.
InTeam
Сообщений: 81
Репутация: 16

Сообщение # 126 | 01:07:09
можно узнать правильно ли я сделал ? http://games-inteam.ru/robots.txt

User-agent: * .
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/

Sitemap: http://games-inteam.ru/sitemap.xml
Sitemap: http://games-inteam.ru/sitemap-forum.xml
Sitemap: http://games-inteam.ru/sitemap-shop.xml
Сообщение отредактировал InTeam - Среда, 04 Янв 2012, 01:08:19
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 127 | 01:09:18
InTeam, Прикреплённый домен ???

InTeam
Сообщений: 81
Репутация: 16

Сообщение # 128 | 01:10:16
ну в пу написано К сайту прикреплено доменное имя "games-inteam.ru" наверно да wink
Сообщение отредактировал InTeam - Среда, 04 Янв 2012, 01:10:25
resident
Сообщений: 17
Репутация: 2

Сообщение # 129 | 01:14:47
Для того чтобы запретить индексацию определенной категории в каталоге, правильно ли будет вписать эту строку или же в ней чего нехватает?
Code
Disallow: /load/35
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 130 | 01:16:46
InTeam, Что бы прикреплённый домен считался за основной ..

User-agent: * .
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Host: games-inteam.ru
Sitemap: http://games-inteam.ru/sitemap.xml
Sitemap: http://games-inteam.ru/sitemap-forum.xml
Sitemap: http://games-inteam.ru/sitemap-shop.xml

resident, Правильно

Сообщение отредактировал Miss_Esq - Среда, 04 Янв 2012, 01:17:22
InTeam
Сообщений: 81
Репутация: 16

Сообщение # 131 | 01:20:22
я так все сделал а это нормально что зашел в яндекс в проверку robots.txt и там вот так это типо в этих строках ошибка или так и должно быть
Сообщение отредактировал InTeam - Среда, 04 Янв 2012, 01:24:05
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 132 | 01:25:28
InTeam,
Quote
там вот так это типо в этих строках ошибка или так и должно быть
А что в яндексе так и написано что это ошибка ???

Сообщение # 242 - аналогичный вашему robots.txt

Сообщение отредактировал Miss_Esq - Среда, 04 Янв 2012, 01:26:45
InTeam
Сообщений: 81
Репутация: 16

Сообщение # 133 | 01:33:30
нет я просто не понимаю почему он их написал


Добавлено (04-Янв-2012, 01:33:30)
---------------------------------------------
и еще вопрос почему нету в поисковых запросах в яндекс ссылок на разделы и их содержание /load /publ /forum итд как на другом дамене а восновном ссылки только на главную страницу или нужно ждать пока проиндефицируют все

так было раньше


а сейчас так

как сделать что бы как раньше в яндексе искало по всем категориям
Сообщение отредактировал InTeam - Среда, 04 Янв 2012, 01:42:51
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 134 | 10:37:53
InTeam,
Quote
нет я просто не понимаю почему он их написал
Так и должно быть ...
Quote
как на другом дамене
Потому что индексируется по умолчанию только изначалный домен а не прикреплённый , после того как вы написали - Host: www.games-inteam.ru , яндекс будет считать прикркплённый домен основным и индекс буде производиться по новому прикреплённому домену ....
Quote
нужно ждать пока проиндефицируют все

Сообщение отредактировал Miss_Esq - Среда, 04 Янв 2012, 10:38:46
InTeam
Сообщений: 81
Репутация: 16

Сообщение # 135 | 16:00:16
А что дает в этой строке точка в конце

User-agent: * .

просто на некоторых сайтах видел robots.txt без точки User-agent: *
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: