По состоянию на 2.01.2012  призовой фонд конкурса "Lady-title 2012 " составляет 162 евро и будет расти

Правильный файл robots txt

Автор: Тамара · Дата: 17 Январь 2012 · Есть 17 коммент.

И снова я хочу вернуться к теме про правильный файл robots txt.

После того, как Светлана Алликас в своем обновленном курсе Как создать прибыльный блог, даже если Вы- абсолютная Блондинка дала нам новый правильный файл robots txt, я, как и все примерные ученицы, заменила старые файлы этого самого роботса, на новые и благодушно стала ждать «улучшения уже сегодня».

Но чуда не произошло. Увеличения посетителей на наблюдалось. А даже на оборот.

Начав поиски проблемы, как это я обычно делаю, я обнаружила досадную ошибку. Как я с ней боролась в статье Правильный файл robots txt

Как ее найти и как отнее избавится я обнаружила. Правда, от чего она появляется, я так и не поняла.

Искренне Ваша, надеюсь, что прилежная курсантка курса «Секреты успешного блога для Леди. Как создать прибыльный блог, даже если Вы- абсолютная Блондинка» , Тамара Карновска.

Рубрика: Решение различных проблем ·  

Комментарии

  1. Да уж, придирчивый парень этот Яндекс…
    Спасибо, Тамара, попробую исправить, хотя я,вроде , проблем с индексацией после установки нового роботса не заметила. Ну кроме того,что посты долго индексируются, хотя это общая тенденция.

  2. Я тоже столкнулась с подобным. Пробел этот появляется, когда файл сохраняется в неправильной кодировке. Он должен быть сохранен в кодировке ANSI

  3. Тамар, когда сохраняеь любой текстовый файл, делаешь «save as», то рядом с кнопкой «save» слева стоит кодировка. Если открываешь файл в Notepad++ там кодировка в меню. Вот она и должна быть ANSI чтобы никаких лишних пробелов не появлялось

  4. тоже не пойму про кодировку, объясните пожалуйста подробнее. А по поводу пробела, Светлана вроде бы отвечала, что пробел не имеет особого значения…

  5. Ирина, напишите пожалуйста подробнее про кодировку, как её проверить? А вот по поводу пробела, Светлана писала, что это не столь важно…

  6. Про кодировку выше я написала. Этот пробел в блоке Яндекса важен. В машинном коде вообще важен любой значок. Робот просто не видит последующие строчки. В начальном варианте этого пробела нет, он может появиться именно при неправильном сохранении.

  7. Милые дамы)) Ну хватит уже наводить панику))
    Зайдите на страницу блога авторитетного гуру интернета Калинина Ивана, также известного как Lecactus (кто не в курсе, именно с его блога многие хостеры берут дистрибутив движка WP).
    Вот на этой странице с ответами есть стандартный пример файла робота (скрольте мышкой вниз)
    http://lecactus.ru/wordpress/moj-faq-po-wordpress/
    Да и вообще там много ещё интересного))

    • Светлана Алликас:

      Маша, в то то и дело, что он там не стандартный.
      там есть вот такая оговорочка :

      Для Яндекса может быть полезно еще это

      1
      2
      User-agent: Yandex
      Crawl-delay: 5

      только не написано, куда же это вставлять.

      И когда я попробовала поэкспериментировать и вставить кусочек для яндекса НИЖЕ кусочка для гугла – мой блог ТУТ же вылетел из Яндекса, хотя до этого он там прекрасно индексировался. когда вернула все на место – яндекс снова все вернул тоже.
      Так что в том роботсе, что я дала, яндекс стоит на первом месте – и он правильно там стоит. Только вот с пробелами да, надо быть внимательнее. не понятно почему они появляются при копировании. и это нужно исправлять.

      • Маш, вот я именно про этот пробел и написала. У меня пару недель стояли блоги с неправильным роботсом. Вот и сообщила.
        Может жеж не я она такая)))))

  8. Девочки, у меня пробелов нет, но вебмастер выдает тоже самое, что и у Томы. Я посмотрела индексацию по яндексу 27шт.- Документ содержит мета-тег noindex, что это за мета- тег?

  9. Света, я согласна, что только методом тыка можно самому научиться разбираться в тонкостях этой системы)) Но поднялся вопрос именно в «досадной ошибке» с пробелом перед картой блога.
    Если сейчас набрать в поисковике общий запрос типа «файл роботс на ворпресс» и т.п. , и просмотреть роботы первых 10-20 сайтов, то такая «ошибка» встречается в большинстве случаев, а ведь блоги стоят в топе…

    • Светлана Алликас:

      да, Маш, с этим я согласна. у меня у самой в нескольких роботсах были пробелы . и ничего особенного не происходило.
      похоже, все же не в этом пробеле дело. я пока не пойму в чем..

  10. Пробел не перед картой блога, а после первой директивы

    User-agent: Yandex

    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    После указания для Яндекса расстояние между строками чуть больше, чем все остальные.

    И яндекс дальше не читает этот роботс.

  11. Панику никто не наводит, делимся опытом просто. Про кодировку можно найти у Евгения Попова. У меня было именно так, Яндекс выдавал ошибку, пока не исправила кодировку. В топах, конечно, разные блоги и сайты попадаются, некоторым уже столько лет, что им ничего не страшно. А наши молоденькие из-за таких ошибок, иногда вообще не индексируются.

  12. Так вот именно Евгений и советует взять файл робота у Лекактуса))



Оставить комментарий или два


   

Я не робот.
сделано dimoning.ru


Besucherzahler russian marriage
счетчик для сайта
Счетчик фолловеров Twitter Twitter Index