Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
planetaD
Сообщений: 104
Репутация: 74

Сообщение # 1876 | 12:34:56
todkenanimda, с яндекса

Добавлено (19 Май 2015, 12:34:56)
---------------------------------------------
я понимаю, что robots.txt правильный, просто приложила его, чтобы было понятно, что не в нем дело (он обновлен и в яндексе вебмастере - т.е. отображается там в таком же виде)


Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 1877 | 18:27:32
Привет всем. Такой вопрос. Создал мобильную версию сайта. Теперь при переходе с мобильного устройства главная страница имеет вид простого меню с выбором страниц. Чтобы была возможность через мобильную версию посетить главную страницу сделал её копию. Дабы избежать повторного индексирования этой страницы ПС создал и загрузил свой robots. Пожалуйста поправьте если что не правильно сделал.


65 страница это и есть новая Главная
Заранее благодарен smile

Мой сайт РемДомТех
Сообщение отредактировал Amati5210 - Воскресенье, 24 Май 2015, 18:28:59
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1878 | 19:13:27
Amati5210, удалите строчку, которую вы добавили она неправильная и то что вам нужно надо делать через каноникал
панель управления - редактор страниц - управление страницами сайта - напротив дубля вашей главной 65 жмите на разводной ключ - страница откроется на редактирование - в опциях страницы поставьте галку на Использовать персональный шаблон для страницы - внизу сохраните
после этой процедуры страница появится в списке шаблонов. панель управления - дизайн - управление дизайном - список шаблонов (ищите свою страницу в списке) - откройте шаблон страницы - под тег </title>
вставьте строчку
<link rel="canonical" href="http://rem-dom-teh.at.ua/">
внизу сохраните

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
barocha69
Сообщений: 95
Репутация: 34

Сообщение # 1879 | 08:11:58
Добрейшее почтенная публика, сегодня в гугле стали появляться дубли вида:
мой сайт/news/2012-08-27
мой сайт/news/2012-8-27
и
мой сайт/news/2012-03-04
мой сайт/news/2012-3-4
Проверил пару ссылок на сайте (убирал нули) страницы открываются.
Собственно вопрос в роботсе или редиректе?
Спасибо если кто ответит.
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 1880 | 12:33:50
Цитата webanet ()
...удалите строчку, которую вы добавили она неправильная...
Не пришло уведомление о новом комментарии sad Спасибо за внимание к вопросу, но...
- у меня уже есть Главная страница со своим шаблоном
- я создал 65 страницу специально для мобильной версии. По адресу Главной страницы сайта находится меню мобильной версии. Для того чтобы попасть на Главную страницу мобильной версии и была создана 65 стр. полная копия канонической Главной страницы. Чтобы ПС не восприняли её за дубль или СПАМ я через robots.txt и запретил индексирование.
- трудность в том, что при переходе на мобильную (PDA) версию открывается страница меню сайта, но с адресом десктопной главной страницы, вот поэтому я ничего другого и не придумал, как создать копию.
Ещё такой вопрос - <link rel... > упомянутый в Вашем ответе приписывать обязательно, а то у меня уже много лет сайт без этого атрибута.
Заранее благодарен...

Мой сайт РемДомТех
rocker8604
Сообщений: 1
Репутация: 0

Сообщение # 1881 | 10:11:23
Можно ли в файле robots.txt указать главное зеркало, расположенное на другом хостинге?
_aleksey_
Маркетолог
Сообщений: 190
Репутация: 64

Сообщение # 1882 | 10:33:31
Цитата rocker8604 ()
Можно ли в файле robots.txt указать главное зеркало, расположенное на другом хостинге?

Да, можно. Основной домен и его зеркала не обязательно должны располагаться на одном хостинге.

Но вопрос в другом - сможете ли вы на другом хостинге поднять аналогичный сайт-зеркало, включая структуру урлов и т.д.

Мне можно задать любые вопросы по продвижению, внутренней оптимизации uCoz-сайтов и SEO-модулю.
rocker8604
Сообщений: 1
Репутация: 0

Сообщение # 1883 | 13:22:32
Цитата _aleksey_ ()
Да, можно. Основной домен и его зеркала не обязательно должны располагаться на одном хостинге.Но вопрос в другом - сможете ли вы на другом хостинге поднять аналогичный сайт-зеркало, включая структуру урлов и т.д.
Мой сайт переехал с Народа и состоит из одних лишь статичных страниц html. На локальном диске находится копия сайта. Насколько я понимаю, достаточно загрузить сайт на другой хостинг и получится зеркало...
Tatika
Сообщений: 85
Репутация: 0

Сообщение # 1884 | 13:33:14
Здравствуйте уважаемые! Такой вопрос: у меня на сайте http://potustorony.ru/ с 27 апреля 3000 страниц попали в Яндексе в категорию Исключенные роботом. На Яндексе пишут, что Индексирование страниц запрещено в вашем файле robots.txt. Но я ничего в robots.txt не меняла, до этого дня все было нормально, проблем не было. Очень прошу, подскажите в чем дело, в чем проблема!!! Буду очень благодарна!
MrSkuLL
Сообщений: 17
Репутация: 0

Сообщение # 1885 | 01:13:57
Создал месяц назад новый сайт, сегодня добавил в гугл и увидел такое сообщение "Сведения об ошибках: ошибок: 0, предупреждений: 275."
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
Пример
Значение: http://***/index/0-1 , http://***/index/0-3 , http://***/index/kak_kachat_cherez_torrent_/0-1
в robots.txt (ничего не менял)
User-agent: *Allow: /*?page
Allow: /*?ref=
Allow: /stat/dspixel
Disallow: /*?
Disallow: /stat/
Disallow: /index/1
Disallow: /index/3
Disallow: /register
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /index/sub/
Disallow: /panel/
Disallow: /admin/
Disallow: /informer/
Disallow: /secure/
Disallow: /poll/
Disallow: /search/
Disallow: /abnl/
Disallow: /*_escaped_fragment_=
Disallow: /*-*-*-*-987$
Disallow: /shop/checkout/
Disallow: /shop/user/
Disallow: /*0-*-0-17$
Disallow: /*-0-0-

Sitemap: http://***/sitemap.xml
Sitemap: http://***/sitemap-forum.xml

так и должно быть ?

На других моих сайтах другой robots.txt (тоже стандартный)
User-agent: *Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Disallow: /shop/order/
Disallow: /?ssid=
Disallow: /abnl/

Sitemap: http://***/sitemap.xml
Sitemap: http://***/sitemap-forum.xml
Sitemap: http://***/sitemap-shop.xml

Какой robots.txt лучше использовать ?
Сообщение отредактировал MrSkuLL - Вторник, 02 Июн 2015, 01:33:57
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1886 | 14:43:28
MrSkuLL, укажите адрес сайта. как предположение, сайт попал в индекс, когда был ещё на карантине, отсюда и ошибки. cистемный файл robots.txt не блокирует указанные вами страницы. проверить можете тут https://webmaster.yandex.ua/robots.xml
на втором сайте другой файл robots.txt потому что вы его залили в файловый менеджер. и он поэтому не обновляется у вас

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 1887 | 15:00:38
Доброго дня. Кто нибудь может ответить на мои вопросы заданные раньше тут .
Заранее благодарен...

Мой сайт РемДомТех
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1888 | 15:08:04
Amati5210,
Цитата
а то у меня уже много лет сайт без этого атрибута.
у вас два дубля главной. то есть главная и дубль. и это, если смотреть c пда версии, и если смотреть с пда версии. если вам нужны дубли главной, то ничего не делайте. если вам надо то, что вы заявили в первом вопросе, то сделайте то, что я сказала и в шаблонах пда версии и в нормальных шаблонах.

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Amati5210
Сообщений: 125
Репутация: 16

Сообщение # 1889 | 12:46:28
webanet, искренне благодарен за Вашу помощь, но не понимаю как сделать то, что советуете... На основном сайте у меня уже есть Главная страница с Персональным шаблоном. А если делать страницу Услуги с Персональным шаблоном, то она никак не добавляется в PDA шаблон. Как я уже раньше писал, по адресу Главной страницы в PDA версии открывается Меню сайта и Главная страница просто теряется.
Не обижайтесь, но не доходит до меня как сделать предложенное Вами... Обезболивающее своё дело делает...

Мой сайт РемДомТех
Сообщение отредактировал Amati5210 - Среда, 03 Июн 2015, 12:47:01
webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 1890 | 16:44:58
Amati5210, значит я не поняла структуру ваших построений со страницами. с ваших слов разобраться сложно. итак. вы хотите строчку в роботсе, которая будет блокировать страницу 65? если да, то в роботс просто пропишите это
Disallow: /index/uslugi/0-65
если я опять неправильно все поняла. то поясните четко и внятно что требуется

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: