nginx封禁垃圾爬虫，例如SemrushBot

一些网站，特别是放在国外的VPS上面的网站，经常被一些垃圾爬虫骚扰，比较典型的例子就是semrush,总是几十个IP不停
后来找到一个比较好的办法，直接在nginx的location模块中添加if判断header，返回410错误，如下：

if ($http_user_agent ~* (SemrushBot|Semrush) ) {
    return 410;
}

下文是国外github上面的源文，国内的搜索引擎基本全覆盖，所以不要按源文添加：

https://gist.github.com/hans2103/733b8eef30e89c759335017863bd721d