## Allow All
##############################################################################
User-agent: *
Disallow:

## Block WP-ADMIN BUT ALLOW ADMIN-AJAX
##############################################################################
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

## Allow Googlebot access to JS and css
##############################################################################
User-Agent: Googlebot
Allow: .js
Allow: .css

## block these user agents
###############################################################################
User-agent: MJ12bot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-agent: rogerbot
Disallow:/
User-agent: dotbot
Disallow:/
User-agent: AhrefsBot
Disallow: /
User-agent: Alexibot
Disallow: /
User-agent: SurveyBot
Disallow: /
User-agent: Xenu’s
Disallow: /
User-agent: Xenu’s Link Sleuth 1.1c
Disallow: /