Что делает такой код и какой правильный надо прописать первый или второй в robots.txt? надо заблокировать в robots.txt всех ботов, кроме нужных(yandex, google). User-agent: * Disallow: / User-agent: Yandex Allow: / User-agent: Google Allow: / ________________________________________ User-agent: * Disallow: / User-agent: YandexBot Allow: / User-agent: GoogleBot Allow: /
Просто User-agent: YandexBot Allow: / User-agent: GoogleBot Allow: / После этого только 2 робота будут индексировать твой сайт, остальные делать этого не смогут, т.к. не найдут свою директиву и/или директиву User-Agent: *