User-agent: Yandex
Disallow: /
Allow: /cgi-bin
# запрещает скачивать весь сайт