最近運維發現有幾個蜘蛛貌似沒事啥用還瘋狂爬取，經常導致服務器卡頓。網上搜了一圈普遍認為可以直接禁掉。

把禁用的蜘蛛放在robots里即可

User-Agent: MJ12bot

Disallow: /

User-Agent: SemrushBot

Disallow: /

User-Agent: AhrefsBot

Disallow: /

User-Agent: DotBot

Disallow: /

這些都是沒用的蜘蛛,可以直接屏蔽。