最近良く見かけるBOTについて調べてみました。

Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
Mozilla/5.0 (compatible; SemrushBot/1.1~bl; +http://www.semrush.com/bot.html)
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 (compatible; DotBot/1.1; http://www.opensiteexplorer.org/dotbot, help@moz.com)
Mozilla/5.0 (compatible; MJ12bot/v1.4.5; http://www.majestic12.co.uk/bot.php?+)
Mozilla/5.0 (compatible; Steeler/3.5; http://www.tkl.iis.u-tokyo.ac.jp/~crawler/)
Mozilla/5.0 (compatible; AhrefsBot/5.1; +http://ahrefs.com/robot/)
Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)

bingbot、Googlebot、Yahoo! Slurpについては有名ドコロなので割愛。

SemrushBot

ドミニカ連邦（ドミニカ国）のボットのようです。

http://shinji.ti-da.net/e8912589.html

http://www.protect4comp.com/2016/08/17/access-denied-semrushbot/

DotBot

アメリカ、シアトルから電子商取引のウェブサイトを調べているようです。

http://shinji.ti-da.net/e7653834.html

MJ12bot

イギリスにあるホームページ解析サイトの分析用クローラ

http://oxynotes.com/?p=9056

Steeler

東京大学が研究目的に情報を収集しているようです。

http://www.tkl.iis.u-tokyo.ac.jp/~crawler/index.html.ja

AhrefsBot

フランスにあるホームページ解析サイトの分析用クローラ

https://ahrefs.com/robot