RewriteEngine on

SetEnvIfNoCase User-Agent .*nutch.* bad_bot
SetEnvIfNoCase User-Agent .*blexbot.* bad_bot
SetEnvIfNoCase User-Agent .*ezooms.* bad_bot
SetEnvIfNoCase User-Agent .*scoutjet.* bad_bot
SetEnvIfNoCase User-Agent .*majestic-12.* bad_bot
SetEnvIfNoCase User-Agent .*majestic-seo.* bad_bot
SetEnvIfNoCase User-Agent .*dsearch.* bad_bot
SetEnvIfNoCase User-Agent .*blekkobo.* bad_bot
SetEnvIfNoCase User-Agent .*screaming frog seo spider/*.* bad_bot
SetEnvIfNoCase User-Agent .*PHPCrawl.* bad_bot
SetEnvIfNoCase User-Agent .*gocrawl.* bad_bot
SetEnvIfNoCase User-Agent .*DigExt.* bad_bot
SetEnvIfNoCase User-Agent .*DomainSONOCrawler.* bad_bot
SetEnvIfNoCase User-Agent .*TweetmemeBot.* bad_bot
SetEnvIfNoCase User-Agent .*OpenHoseBot/2.1.* bad_bot
SetEnvIfNoCase User-Agent .*Kraken/0.1.* bad_bot
SetEnvIfNoCase User-Agent .*-Java-.* bad_bot
SetEnvIfNoCase User-Agent .*ubermetrics.* bad_bot
SetEnvIfNoCase User-Agent .*best-seo.* bad_bot
SetEnvIfNoCase User-Agent .*Synapse.* bad_bot
SetEnvIfNoCase User-Agent .*Harvest.* bad_bot
SetEnvIfNoCase User-Agent .*exabot.* bad_bot
SetEnvIfNoCase User-Agent .*isWebCEO.* bad_bot
SetEnvIfNoCase User-Agent .*WebCEO.* bad_bot
SetEnvIfNoCase User-Agent .*JamesBOT .* bad_bot
SetEnvIfNoCase User-Agent .*SemrushBot.* bad_bot
SetEnvIfNoCase User-Agent .*seranking bot.* bad_bot
SetEnvIfNoCase User-Agent .*CCBot.* bad_bot
SetEnvIfNoCase User-Agent .*rogerbot.* bad_bot
SetEnvIfNoCase User-Agent .*mj12bot.* bad_bot
SetEnvIfNoCase User-Agent .*dotbot.* bad_bot
SetEnvIfNoCase User-Agent .*gigabot.* bad_bot
SetEnvIfNoCase User-Agent .*ahrefsbot.* bad_bot
SetEnvIfNoCase User-Agent .*sitebot.* bad_bot
Deny from env=bad_bot

ErrorDocument 404 https://*404-URL*/