robots.txt , sitemap.xml , Мета-теги

Поделиться130.09.2015 21:33

Автор: Zhorik
Проверенный
Сообщений: 228
Уважение: +18

Есть три вопроса - robots.txt , sitemap.xml , Мета-теги ?
1) Не давно где то прочитал, что Мета-теги можно прописать в текстовом файле и кинуть в корень сайта....в связи с этим хочется узнать,насколько это будет эффективно,и как в таком случае его прописать на сайте в html ?
2) Уже несколько дней читаю как правильно прописать robots.txt ,но у всех мнения разные....по поводу Яндекса и Google....может вы подскажите как правильно прописать для сайта html (одностраничника) - robots.txt ?
3) То же самое касается и sitemap.xml ?
Пробовал различные онлайн-генераторы sitemap.xml и robots.txt , но Google постоянно выдаёт ошибку;
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
В начале когда загружаю новые два файла sitemap.xml и robots.txt с Добавление/проверка файла Sitemap и Инструмент проверки файла robots.txt....то Google показывает что ошибок он не обнаружил!....но проходит пару часов и высвечивает что;
Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
Что то я запутался уже......

0

Поделиться222.10.2015 07:19

Автор: Артем
Администратор
Сообщений: 5077
Уважение: +358

1. Мета-теги необходимо прописывать исключительно в страницах сайта между <head> и </head>, которые выводят содержимое сайта. В зависимости от предназначения мета-тега зависит его местоположение в структуре сайта. Допустим, нам надо указать описание страницы about.html. Соответственно, открываем её в текстовом редакторе и прописываем между <head> и </head> следующую строчку

Код:

<meta name="description" content="Описание отдельной страницы About">

Теперь поисковые роботы при нахождении ссылки на эту страницу будут выводить её описание. То же самое касается и остальных мета-тегов, но стоит отметить, что некоторые мета-теги стоит размещать исключительно на главной странице сайта, в частности говорится о сервисах, где требуется подтвердить, что вы являетесь владельцем сайта.

2. На самом деле, для индексации сайта можно вовсе не создавать файл robots.txt. Файл robots.txt создается для того, чтобы указать поисковым роботам какие страницы сайта следует индексировать, а какие нет. То есть, на какие страницы пересылать пользователя в случае нахождения им искомой информации на этой странице. Естественно, большинству пользователей будут не интересны системные страницы, такие как: админка, статистика, обработчики и т.д. К таким страницам следует запретить доступ к индексации. В остальном, как я выше писал, сайт успешно может существовать без файла robots.txt. Если же есть острая необходимость использовать файл robots.txt, то в нем достаточно всего одной строчки

Код:

User-Agent: *

Если же надо полностью скрыть сайт от поисковиков, то к строчке выше дописываем Disallow: /

Код:

User-Agent: * Disallow: /

Если требуется запретить индексацию определенной страницы, к примеру админку, расположенную по пути вида site.ru/admin, то в файле с новой строчки прописываем

Код:

Disallow: /admin/

В самом низу файла, после всех правил, можно указать поисковым роботам ссылку на карту сайта

Код:

Sitemap: http://site.ru/sitemap.xml

Таким образом, поисковые работы быстрее прошестерят все указанные в карте сайта ссылки на страницы.
Всё о файле robots.txt можно почитать на специализированном сайте, посвященному этому файлу - http://robotstxt.org.ru
Вообще, на uCoz'e стандартный файл robots.txt содержит все нужные правила для правильной индексации, запрещая доступ к системным страницам сайта.

3. Почти все известные онлайн-генераторы карты сайта имеют ограничения. В uCoz'e карта сайта создается автоматически (если мне не изменяет память, раз в сутки) и не имеет ограничений. Возникновение такой ошибки как-раз гласит о том, что я говорил выше о запрете доступа поискового робота к определенным страницам сайта, прописанным в файле robots.txt. Здесь нет ничего плохого, просто он сообщает о том, что он не смог проиндексировать страницу, прописанную в файле sitemap.xml, но запрещенную к индексации в файле robots.txt. Попробуйте самостоятельно убрать из файла sitemap.xml ссылку на запрещенную (или запрещенные) страницу сайта, после чего заново сделать проверку в Google или Яндексе.

ps: чуть не забыл - у нас есть генератор мета-тегов: Метатег-генератор Если в дальнейшем будет нужен, то на днях отредактирую под стиль форума, так что им приятно будет пользоваться