# Обращение ко всем поисковикам
User-agent: *
# Делать задержку в обращении (но многие её все таки игнорируют)
Crawl-delay: 10
# Исключить из индекса ссылки вида /что-то-там/trackback/
Disallow: /*/trackback/
# Исключить из индекса файлы и разделы начинающиеся на
Disallow: /download-manager
Disallow: /wp-admin
Disallow: /wp-login
Disallow: /search
# Исключить из индекса раздел feed
Disallow: /feed/
Disallow: /go.php


User-Agent: Googlebot
Disallow: /2008/05/
Disallow: /2008/06/
Allow: /
# start (J)ExR

User-Agent: *
Disallow: /jexr/

# end (J)ExR
# start (J)ExR

User-Agent: *
Disallow: /jexr/

# end (J)ExR