Pages

▼

Monday, 6 May 2013

简单防盗链技术：判断referer来源



很多个站以及商业站点都为一些盗链都事情烦恼，尤其是一些图片或者mp3歌曲之类的，搜索引擎以及迅雷占用了若干可怜的带宽，甚至服务器不堪重负。根据自己的经验整理出一些可用都方案出来，希望能有所帮助。

首先从最简单的判断referer开始，假设web服务器为apache(lighttpd/nginx也有相应referer配置)

修改apache/conf/httpd.conf，添加以下一段配置：

SetEnvIfNoCase Referer "^http://www.abc.com" local_ref=1
SetEnvIfNoCase Referer "^http://a.abc.com" local_ref=1
<filesmatch "\.(txt|doc|mp3|zip|rar|jpg|gif|swf)">
    Order Allow,Deny
    Allow from env=local_ref
</filesmatch>

重启下apache，简单都防盗链就OK了。你可用尝试下在别的网站引用下自己网站里都图片。

referer原理很简单，就是判断从哪个页面到你现在的文件。上面都配置只是简单的判断下，也可以在里面加上rewrite功能，referer不正确的重新转到另外的页面或图片，这样显得更为友好。

当然判断referer并不是最有效的方法，只是过滤掉一些简单都盗链，很容易伪造.

SetEnvIfNoCase Referer "^http://www.pcpob.com" local_ref=1
SetEnvIfNoCase Referer "^http://pcpob.com" local_ref=1
<filesmatch "\.(txt|doc|mp3|zip|rar|jpg|gif|swf)">
Order Allow,Deny
Allow from env=local_ref
</filesmatch> 

 注意：不要漏了上面的\ 

将上述代码，放入apache的配置文件（需重启apache)或 .htaccess 文件即可。
-----------

nginx设置referer, 防盗链

nginx referer简介

nginx模块ngx_http_referer_module通常用于阻挡来源非法的域名请求.我们应该牢记，伪装Referer头部是非常简单的事情，所以这个模块只能用于阻止大部分非法请求。我们应该记住，有些合法的请求是不会带referer来源头部的，所以有时候不要拒绝来源头部（referer）为空的请求.

图片防盗链配置示例如下

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
valid_referers none blocked *.mydomain.com  mydomain.com ~\.google\. ~\.baidu\.;
    if ($invalid_referer) {
    return 403;
    #rewrite ^/ https://www.mydomain.com/403.jpg;
    }
}

以上所有来至mydomain.com域名中包含google和baidu的站点都可以访问到当前站点的图片,如果来源域名不在这个列表中，那么$invalid_referer等于1，在if语句中返回一个403给用户，这样用户便会看到一个403的页面,如果使用下面的rewrite，那么盗链的图片都会显示403.jpg。如果用户直接在浏览器输入你的图片地址,那么图片显示正常，因为它符合none这个规则.

示例解析

  • 第一行： location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$

    其中“gif|jpg|jpeg|png|bmp|swf”设置防盗链文件类型，自行修改，每个后缀用“|”符号分开！

  • 第二行：valid_referers none blocked *.mydomain.com  mydomain.com ~\.google\. ~\.baidu\.;

    就是白名单，允许文件链出的域名白名单，自行修改成您的域名！ *.mydomain.com指的是子域名，域名与域名之间使用空格隔开！baidu和google是搜索引擎。

  • 第五行：rewrite ^/ https://www.mydomain.com/403.jpg;

    这个图片是盗链返回的图片，也就是替换盗链网站所有盗链的图片。这个图片要放在没有设置防盗链的网站上，因为防盗链的作用，这个图片如果也放在防盗链网站上就会被当作防盗链显示不出来了，盗链者的网站所盗链图片会显示X符号；当然你也可以直接返回403

扩展

这样设置差不多就可以起到防盗链作用了，但并不是彻底地实现真正意义上的防盗链！

我们来看第三行：valid_referers none blocked *.mydomain.com mydomain.com server_names ~\.google\. ~\.baidu\.;

valid_referers 里多了“none blocked”

我们把“none blocked”删掉，改成

valid_referers *.mydomain.com mydomain.com server_names ~\.google\. ~\.baidu\.;

  • none
    “Referer” 来源头部为空的情况
  • blocked
    “Referer”来源头部不为空，但是里面的值被代理或者防火墙删除了，这些值都不以http://或者https://开头.

nginx彻底地实现真正意义上的防盗链完整的代码应该是这样的：

location ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
valid_referers *.mydomain.com mydomain.com server_names ~\.google\. ~\.baidu\.;
    if ($invalid_referer) {
    return 403;
    #rewrite ^/ https://www.mydomain.com/403.jpg;
    }
}

这样您在浏览器直接输入图片地址就不会再显示图片出来了，也不可能会再右键另存什么的。

但是有些合法的请求是不会带referer来源头部的，所以有时候不要拒绝来源头部（referer）为空的请求.

-----------------------------------------------------
借助Referers,实现Nginx及Apache防盗链

Nginx防盗链

图片外链作为小网站的流量杀手不禁是不行的。在使用 Nginx 的情况下，我们可以在配置文件中定义一个 location ，用正则表达式匹配常用的图片文件后缀，随后的重点在于如何过滤掉非法访客。
方案一：

    location  ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
        access_log   off;
        expires      1d;
        valid_referers none blocked *.easonyang.com server_names ~\.google\. ~\.baidu\. ~\.bing\. ~\.so\. ~\.sogou\.;
        if ($invalid_referer) {
            rewrite ^/ https://ooo.0o0.ooo/2016/09/10/57d379576fee1.jpg;
        }
        root /var/www/hexo;                   
    }

第四行的 valid_referers 顾名思义，指的是对合法来源的定义，随后的值含义如下（翻译自：Nginx Docs- https://nginx.org/en/docs/http/ngx_http_referer_module.html）：

    none ：请求头中来源为空
    blocked ：请求头中有来源，但其内容被防火墙或代理代理服务器删除。这样的值不能以 “http://” or “https://”开头
    *.easonyang.com ：任意的字符串，可以使用 * 通配符，这里我指定为本站所有来源
    server_names 后面接 ~\.google\. 等：正则匹配常用搜索引擎域名，以放行搜索引擎的爬虫。除了搜索引擎，也可以按需添加。

随后用 Nginx 的 if 判断当前请求来源是否合法，不合法则将所访问的内容重写到一个403图片中。此处需要注意的是这个图片最好放在站外的图床中，比如上面这张就放在了 sm.ms 中，这样做并不是为了节省流量，而是为了避免请求403图片时又来到了如上的验证中，出现循环验证与重写。如果不使用外部图床，其实还有两个方案：
方案二

不重写到403图片，而是直接返回404或403：


    location  ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
        access_log   off;
        expires      1d;
        valid_referers none blocked *.easonyang.com server_names ~\.google\. ~\.baidu\. ~\.bing\. ~\.so\. ~\.sogou\.;
        if ($invalid_referer) {
            #return 404;
            return 403;
        }
        root /var/www/hexo;                   
    }

方案三

为403图片单独定义一个 location （两个 location 的顺序不能颠倒）：
    
    location ~ ^/403\.jpg$ {
        root    /var/www;
    }

    location  ~ .*\.(gif|jpg|jpeg|png|bmp|swf)$ {
        access_log   off;
        expires      1d;
        valid_referers none blocked *.easonyang.com server_names ~\.google\. ~\.baidu\. ~\.bing\. ~\.so\. ~\.sogou\.;
        if ($invalid_referer) {
            rewrite ^/ https://easonyang.com/403.jpg;
#            rewrite ^/ https://ooo.0o0.ooo/2016/09/10/57d379576fee1.jpg;
        }
        root /var/www/hexo;                   
    }

注意事项

不要对再定义其他 location 来复写图片相关的格式的匹配，否则不能保证实现本需求。

Apache防盗链

对于 Apache 来说，自然就要用到 .htaccess 了，实现原理与 Nginx 是类似的。我们只需保证 mod_rewrite 已开启后（终端中执行 a2enmod rewrite 命令开启 mod_rewrite ），在这个网站上按需选择生成 .htaccess 后拷贝到服务器上的 .htaccess 中即可。
后记

这种使用 referer 过滤非法访客的方法简单实用，能防止所有直接复制图片链接到自己网站进行使用的盗链方式，但是由于 referer 是从请求头中获取的，修改请求头是件再容易不过的事情了，因此只能说无法防住更高级的盗链，同时对爬虫也是束手无策。这时就要用些相对高级的方法，例如对不同的请求生成不同的 key ，从而杜绝非法请求，Nginx 有一个现成的模块实现了这种方式：nginx-accesskey-
http://wiki.nginx.org/images/5/51/Nginx-accesskey-2.0.3.tar.gz （此模块似乎已经很久没有更新过了，只找到了几年前的2.0.3版）。



at