Проверка Robots.txt
В сети можно найти массу чекеров файла robots.txt. Такую же услугу предлагает и ПС Яндекс и Google Webmaster Tool. Надо знать о них но использовать и принимать их выводы с большой осторожностью. Очень много ошибок и недоразумений возникает при интепретации выводов чекеров. Ошибки же в применяемом файле весьма негативно могут сказаться на видимости вашего сайта в сети, ведь поисковые системы придерживаются в своей логике первоначальных докумментов по файлу robots.txt, стандартов исключения для роботов, спецификаций и изменений.
Недавно натолкнулся на очень занятный чекер проверки файла. Я нашел, что его целесообразно использовать для самообразования, в первую очередь, и проверки.
Проверка ведется на базе основополагающих документов предъявляемых к файлу международными организациями и учтены практически все изменения последних лет. При проверочном тестировании не было выявлено отклонений в полученных результатах.
Инструмент позволяет запускать как общие проверки и User-Agent конкретного анализа. Не будем долго ходить вокруг да около — представляю Чекер robots.txt
P.S. Маленькое не тематическое продолжение. Сервис представляет и еще одну интересную возможность с главной страницы — создание флеш слайдшоу для сайтов.
Пингуем все подряд или все же вдумчиво.Дело ведь в чем — пинг сервисы способствуют более быстрой индексации контента на ваших сайтах, сообщая практически моментально о появлении в вашем блоге новой статьи. Плюс к этому существенно помогают бороться с воровством вашего контента. О чем это мы? Скажем прямо — не все сервисы полезны. Круг задач, которые мы предполагаем к выполнению будут актуальны к выполнению по основным поисковым системам. Значит и выбирать сервисы пинга первого эшелона мы должны именно из этих задач и выбирая сервисы пинга поисковых систем.
Ранее мы уже останавливались на вопросе реорганизации на блоге вкладок "Архивы". Например в статьях
Awtor работает, отдыхает, немного пишет.
Новые отзывы