
Доброго времени суток уважаемые читатели, сегодня я хотел бы поговорить о
robots.txt и тем каким он должен быть для
DataLife Engine ( далее по тексту просто
DLE ).
Сначала хочу кратко разъяснить
для чего нужен robots.txt.
Файл robots.txt позволяет сообщить поисковой системы о том какие страницы сайта или блога не надо индексировать (
наглядный пример как это работает приведен на картинке).
И зачем закрывать страницы от индексации? А затем что чем больше однотипных, бесполезных и ненесущих не какой полезной информации страниц проиндексировано поисковой системой, тем больше мы для неё становимся бесполезным ресурсом.
А бесполезных и однотипных страниц везде хватает, к ним относятся профили пользователей, регистрации, правила использования ресурса, расширенный поиск, обратная связь и т.д.
Хватит предисловий, переходим к делу.
Метки к статье: robots.txt, DLE