Модератор форума: Yuri_G  
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Robots.txt
Модератор форума
Сообщение # 1 | 16:57:58
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 136 | 16:13:20
InTeam,
Quote
А что дает в этой строке точка в конце
Не должно быть её ... просмотрели ..

InTeam
Сообщений: 81
Репутация: 16

Сообщение # 137 | 16:15:09
а что если она будет ?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 138 | 16:26:00
InTeam,
Quote
а что если она будет ?
biggrin Ну оставьте , а если сайт вылетит из индекса , хоть узнаете чего эта точка стоит ... biggrin

А вообще то почитайте правила написания файла в Web мастерах поисковиков ...

Сообщение отредактировал Miss_Esq - Среда, 04 Янв 2012, 16:27:24
resident
Сообщений: 17
Репутация: 2

Сообщение # 139 | 16:35:51
Quote (resident)
Для того чтобы запретить индексацию определенной категории в каталоге, правильно ли будет вписать эту строку или же в ней чего нехватает?
Code
Disallow: /load/35

Помогите правильно написать, а то мало ли что не так сделаю
Сообщение отредактировал resident - Среда, 04 Янв 2012, 16:36:17
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 140 | 16:43:49
resident, Правильно написано ...

rv64
Сообщений: 13
Репутация: 1

Сообщение # 141 | 22:36:04
Добрый день.
Подскажите что нужно заменить в robots.txt , чтобы запретить его к индексации гуглом
вот стандартный
Quote
User-agent: *
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
скорпик
Сообщений: 6
Репутация: 5

Сообщение # 142 | 07:20:01
Мой сай Новая Амазония
Сайт вообще то открывается, но ...!!!
Яндекс написал:

Код статуса HTTP: "404 Not Found"
Время ответа сервера: 17мс
IP сайта: 217.199.217.9
Заголовки:
Vary: host
Transfer-Encoding: chunked
Date: Thu, 05 Jan 2012 01:16:20 GMT
Keep-Alive: timeout=15
Set-Cookie: 0femdom-omskuCoz=; path=/; expires=Tue, 05-Jan-2010 01:16:21 GMT; domain=.bdsm-femdom.ru;
Connection: keep-alive
Content-Type: text/html; charset=UTF-8
Server: uServ/1.5.4
Pragma: no-cache
Cache-Control: no-store
Cache-Control: no-cache
Кодировка: utf-8
Размер страницы: 2.96Кб

И еще вот это:
31.12.2011 наш робот получил полный запрет на индексирование сайта в Вашем файле robots.txt. Пожалуйста, воспользуйтесь формой проверки. Если запрет все еще присутствует, то по вопросу устранения этой проблемы Вам нужно обратиться к администратору Вашего сайта или хостеру.Если сейчас запрет отсутствует, то сообщение обновится в течение 2–3 дней.
________

Прошу помочь разобраться!!!

Добавлено (05-Янв-2012, 06:08:46)
---------------------------------------------
а когда пытаюсь зайти под своим ником, то пишет:

<?xml version="1.0" encoding="UTF-8"?>
-<ajax>-<cmd t="blk549485" p="innerHTML">
<![CDATA[<div align="left" style="padding:10px;"><div class="myWinLoadSD"></div></div>]]>
</cmd>-<cmd p="js">
<![CDATA[var ad=window.location.href.replace(/#(.*)?/,''); setTimeout("window.location.href='"+ad+"?l8E53X'",'1000')]]>
</cmd></ajax>
Добавлено (05-Янв-2012, 06:56:13)
---------------------------------------------
Самым крутым методом: методом ТЫКА и части ума поблему наше кажется)))
ПОЧЕМУ ТО текст файла робота ИЗМЕНИЛСЯ((((
Сейчас пытаюсь написать новый!
А вот ПОЧЕМУ это произошло? ((

_______
Не плучилось поменять файл РОБОТ((
Загрузил в крневую, но всё равно выскакивает стандартный робот(((
Почем у? Подскажите, пожалуйста.

p/s. И вообще...( зачем прикреплял я домен((( после этого так и не могу всстаноиь и индексацию, и всё остальное(((
А раньше ...сколько лет! сайт был на первых страницах яндекса по всем ключевым словам. Я рыдаю...(((!!!

Сайт о красоте и Божественности Женщин !
ФемДом и Матриархат в России!
http://bdsm-femdom.ru
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 143 | 09:35:02
rv64,
Quote
чтобы запретить его к индексации гуглом
Загляните в WEB мастер Google , там уточните конкретнкую форму строки ... Только что то подсказывает что ни чего у вас не получится . Google как проиндексировал страницы , так эти страницы и останутся у него , сомневаюсь что деректива запрета подействует эффективно , во всяком случае так быстро как бы вам этого хотелось бы ...

rv64
Сообщений: 13
Репутация: 1

Сообщение # 144 | 11:46:45
Quote (Miss_Esq)
Загляните в WEB мастер Google , там уточните конкретнкую форму строки ... Только что то подсказывает что ни чего у вас не получится . Google как проиндексировал страницы , так эти страницы и останутся у него , сомневаюсь что деректива запрета подействует эффективно , во всяком случае так быстро как бы вам этого хотелось бы ...

попробую, хотя в вебмастере гугла черт ногу сломит. Да мне без разницы остануться страницы у него или нет. Все что мне нужно, это чтобы две страницы на время исчезли из топ10 гугла. Думаю если каким либо образом забанить бота гугла, то это получиться
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 145 | 11:49:59
rv64,
Quote
ногу сломит.
Это точно , проще по роботу Google найти информаацию на стороне чем у него самого ... Опять же часто пишут что 100% гарантии ни кто не даёт . Это всё это больше пожоже не на " политику " поведения робота , а на недоработку , баг , ни каких правил ...

Сообщение отредактировал Miss_Esq - Четверг, 05 Янв 2012, 11:51:57
InTeam
Сообщений: 81
Репутация: 16

Сообщение # 146 | 20:52:53
Почему на сайте ucoz раньше было так что все эти ссылки попадали в поисковики


а щас но другом домене только форум попадает и то не весь?


Или просто нужно время что бы яндекс бот все проверил и обновил и потом все будет норм?
Miss_Esq
Сообщений: 13859
Репутация: 4159
Уровень замечаний:

Сообщение # 147 | 22:17:47
InTeam, просто нужно время что бы яндекс бот все проверил и обновил и потом все будет норм

скорпик,
Quote
Я рыдаю...(((!!!
С заглушкой + 18 это вряд ли ..

Сообщение отредактировал Miss_Esq - Четверг, 05 Янв 2012, 22:19:47
SPAUN5
Сообщений: 3
Репутация: 15

Сообщение # 148 | 23:57:25
А могу я попросить одну вещь:

Напишите мне в лоб что должен содержать этот robots.txt?

Оформление подписи нарушает правила форума Сообщества uCoz. Подробнее. / webanet.
o_Lisovenko
uProduct
Сообщений: 4704

Сообщение # 149 | 00:32:54
SPAUN5, в идеале - его лучше не трогать. Все полезные ссылки в шапке темы.

webanet
Сообщений: 24067
Репутация: 4985

Сообщение # 150 | 17:22:59
никак не исправить. лучше прописать запрет на индексирование

ТУТ можно оставить своё мнение по любому вопросу
https://webanetlabs.net/
Сообщество uCoz » Вебмастеру » Раскрутка сайта » Robots.txt (индексация сайта)
Поиск: