Total Pageviews

Friday 2 September 2016

Squid中文权威指南

译者序:
本人在工作中维护着数台Squid服务器,多次参阅Duane Wessels(他也是Squid的创始人)的这本书,原书名是”Squid: The Definitive Guide”,由O’Reilly出版。我在业余时间把它翻译成中文,希望对中文Squid用户有所帮助。对普通的单位上网用户,Squid可充当代理服 务器;而对Sina,NetEase这样的大型站点,Squid又充当WEB加速器。这两个角色它都扮演得异常优秀。窗外繁星点点,开源的世界亦如这星空 般美丽,而Squid是其中耀眼的一颗星。

第1章 介绍

第1章是Squid的介绍性描述,与技术关联不多,我不准备多翻译。

1.1 Web缓存
这节里需要明白3个概念:
cache命中在squid每次从它的缓存里满足HTTP请求时发生。cache命中率,是所有HTTP请求中命中的比例。Web缓存典型的cache命中率在30%到60%之间。另一个相似的度量单位叫做字节命中率,描绘了cache提供服务的数据容量(字节数)。
cache丢失在squid不能从它的缓存里满足HTTP请求时发生。cache丢失的理由有很多种。最明显的,当squid第一次接受到对特殊资 源的请求时,就是一个cache丢失。类似的情况是,squid会清除缓存以释放空间给新对象。另外的可能是资源不可到达。原始服务器会指示cache怎 样处理响应。例如,它会提示数据不能被缓存,或在有限的时间内才被重复使用,等等。
cache确认保证squid不对用户返回过时数据。在重复使用缓存对象时,squid经常从原始服务器确认它。假如服务器指示squid的拷贝仍然有效,数据就发送出去。否则,squid升级它的缓存拷贝,并且转发给客户。

1.2 Squid的简明历史

对本节感兴趣的读者请阅读英文原文档。

1.3 硬件和操作系统要求

Squid运行在所有流行的Unix系统上,也可以在Microsoft Windows上运行。尽管squid的Windows支持在不断改进,但也许在Unix上容易一些。假如你有一个喜欢的操作系统,我建议你使用那个。否 则,假如你找人推荐,我很喜欢FreeBSD。
squid对硬件要求不算高。内存是最重要的资源。内存短缺会严重影响性能。磁盘空间也是另一个重要因素。更多的磁盘空间意味着更多的缓存目标和更 高的命中率。快速的磁盘和驱动器也是有利的。如果你舍得花钱,SCSI磁盘比ATA的执行性能好。当然快速的CPU也是好的,但它并不是提高性能的关键因 素。
因为squid对每个缓存响应使用少数内存,因此在磁盘空间和内存要求之间有一定联系。基本规则是,每G磁盘空间需要32M内存。这样,512M内 存的系统,能支持16G的磁盘缓存。你的情况当然会不同。内存需求依赖于如下事实:缓存目标大小,CPU体系(32位或64位),同时在线的用户数量,和 你使用的特殊功能。
人们经常问如此问题:“我的网络有X个用户,需要配备什么样的硬件给squid?”因为许多理由,这样的问题好难回答。特别的,很难说X个用户将产 生多少流量。我告诉人们去建立一个有足够磁盘空间,可存储3-7天web流量数据的系统。例如,假如你的用户每天8小时耗费1M流量(仅仅HTTP和 FTP传输),那就是每天大约3.5G。所以,我可以说,每兆web传输你需要10到25G的磁盘空间。

1.4 squid是开源的

Squid是自由软件和合作项目。假如你觉得squid有用,请考虑以下面一种或几种方法来回报该项目:
  • 1.参与squid用户讨论列表,回答问题和帮助新用户。
  • 2.测试新版本,报告bug或其他问题。
  • 3.致力于在线文档和FAQ。假如你发现错误,将它报告给维护者。
  • 4.将你的局部修改提交给开发者。
  • 5.对开发者提供财政支持。
  • 6.告诉开发者你想要的新功能。
  • 7.告诉你的朋友和同学,Squid非常Cool。
Squid是在GNU公用许可证(GPL)下发行的自由软件。关于GPL的更多信息请见: http://www.gnu.org/licenses/gpl-faq.html

1.5 Squid的Web主页

Squid的主页在http://www.squid-cache.org 你自己阅读该站点吧。

1.6 获取帮助


1.6.1 FAQ

Squid的FAQ文档在http://www.squid-cache.org/Doc/FAQ/FAQ.html,是对新用户的好信息资源。

1.6.2 邮件列表

Squid有三个邮件列表可用。邮件列表主页在: http://www.squid-cache.org/mailing-lists.html
1.6.2.1 Squid用户
订阅该邮件列表,发邮件到 squid-users-subscribe@squid-cache.org
1.6.2.2 Squid公告
订阅该邮件列表,发邮件到 squid-announce-subscribe@squid-cache.org
1.6.2.3 Squid开发
加入该邮件列表有所限制。它的内容发布在 http://www.squid-cache.org/mail-archive/squid-dev/

1.6.3 职业支持

即付费的支持。 职业支持服务提供商列表,请见http://www.squid-cache.org/Support/services.html

1.7 启动Squid

请按下面的章节一步一步来吧。

引述 http://home.arcor.de/pangj/squid/chap01.html#a0
 ----------

第2章 获取Squid

2.1 版本和发布

Squid开发者定期发布源代码。每一个发布版有一个版本号,例如2.5.STABLE4。版本号的第三部分以STABLE或DEVEL(短期开发版本)开头。
也许你能猜到,DEVEL版本倾向于拥有更新,更试验性的功能。但也许它们有更多的bugs。无经验的用户不应该运行DEVEL版本。假如你选择运行一个DEVEL版本,并且遇到了问题,请将问题报告给Squid维护者。
在一段时间的开发期后,Squid版本号变为STABLE。该版本适合于普通用户。当然,即使稳定版可能也有一些bugs。高的稳定版本(例如STABLE3,STABLE4)应该bugs更少。假如你特别关心稳定性,你应该使用这些最近发布版本中的一个。

2.2 使用源代码

为什么你不能copy一份预编译的二进制代码到你的系统中,并且期望它运行良好呢?主要理由是squid的代码需要知道特定操作系统的参数。实际 上,最重要的参数是打开文件描述符的最大数量。Squid的./configure脚本在编译之前侦察这些值。假如你获取一个已编译的使用某个参数值的 squid到另一个使用不同参数值的系统中,可能会遇到问题。
另一个理由是许多squid功能在编译时必须被激活。假如你获取一个别人已编译的squid文件,它不包含你所需要的功能,那么你又得再编译一遍。
最后,共享库的问题可能使得在系统之间共享可执行文件困难。共享库在运行时被装载,如已知的动态链接一样。squid在编译时会侦察你系统中的C库 的某些功能(例如它们是否被提供,是否能运行等)。尽管库功能不常改变,但两个不同的系统的C库之间可能有明显的区别。如果两个系统差别太大,就会对 Squid造成问题。
获取squid的源代码是非常容易的。请访问squid的首页:http://www.squid-cache.org。 首页有链接指向不同的稳定版和开发版。假如你不在美国,那么请访问squid的众多镜像站点中的一个。镜像站点通常以”wwwN.CC.squid- cache.org”命名,N是数字,CC是国家的两位代码。例如,www1.au.squid-cache.org是澳大利亚的镜像站点,在主页上有链 接指向不同的镜像站点。
每一个squid发布版分支(例如Squid-2.5)有它自己的HTML页面。该页面有链接指向源代码,以及与其他发布版的差别。假如你从一个发 布版升级到下一个,你应该下载这些差别文件,并且打上补丁,请见3.7章节中的描述。每个版本的发布页描述新功能和重要的改进,也有链接指向已经修正的 bugs。
如果web访问不可行,你能从ftp://ftp.squid-cache.org的FTP服务器获取源代码,或者使用其他FTP镜像。要获取当前 版本,请访问pub/squid-2/DEVEL 或 pub/squid-2/STABLE 目录。FTP镜像也在许多国家有,你能用同样的国家代码去猜测一些FTP镜像站点,例如ftp1.uk.squid-cache.org。
当前的Squid发布版本大约1M大小。在下载完压缩的打包文件后,你能继续第3章。

2.3 预编译的二进制文件

一些Unix发布版可能预包含了Squid的编译版。对Linux系统,你可以找到Squid的RPM包。通常squid RPM包含在你所买的Linux光碟里。Freebsd/Netbsd/OpenBSD也在它们的ports或者packages里面包含了squid。
虽然RPM或者预编译的packages能节省你一些时间,但它们也有一些弊端。就像我提过的一样,在你开始编译squid之前,某些功能必须被激 活或禁止。而你安装的预编译的包可能不包含你想要的特定功能。而且,squid的./configure脚本侦察你系统中的特定参数,这些在你系统中的参 数可能与编译它的机器的参数不同。
最后,假如你想对squid打补丁,你必须等某个人编译更新的RPM或packages,或者你还得自己找源代码编译。
我强烈建议你从源代码编译squid,当然怎样选择由得你。

2.4 匿名CVS

你能匿名访问squid的CVS文件(只读)以保持你的源代码同步更新。使用CVS的有利面是你能轻易获取当前运行版本的补丁。这样就容易发现近来改变了什么。
将这些补丁打到你所运行的版本中,有效的保持你的源代码和官方版本的同步。
CVS使用树型索引系统,树干叫做头分支。对Squid而言,这里也是所有的新改变和新功能的存放之地。头分支通常包含试验性的,也许不太稳定的代码。稳定的代码通常在其他分支上。
为了有效的使用squid的匿名CVS,你首先应知道版本和分支是怎样被标明不同的。例如,版本2.5分支被命名为SQUID_2_5。具体的发布 有长的命名,例如SQUID_2_5_STABLE4。为了得到squid版本2.5.STABLE4,请使用SQUID_2_5_STABLE4标签; 使用SQUID_2_5得到最近的2.5分支的代码。
为了使用squid匿名CVS服务,你首先必须设置CVSROOT环境变量:
csh% setenv CVSROOT :pserver:anoncvs@cvs.squid-cache.org:/squid
或者,对Bourne shell用户:
sh$ CVSROOT=:pserver:anoncvs@cvs.squid-cache.org:/squid
	      
sh$ export CVSROOT
然后你就可以登陆到服务器:
% cvs login
	      
(Logging in to anoncvs@cvs.squid-cache.org)
	      
CVS password:
在提示符下,敲入anoncvs作为密码。现在你可以用这个命令检查源代码树:
% cvs checkout -r SQUID_2_5 -d squid-2.5 squid
-r选项指定获取修订标签。省略-r选项你将获得头分支。-d选项改变存放文件的顶级目录名。假如你省略-d选项,顶级目录名就与模块名字一样。最后的命令行参数(squid)是要检查的模块名字。
一旦你检查完squid源代码树,你能运行cvs update命令去升级你的文件,和保持文件同步。其他命令包括:cvs diff, cvs log, 和 cvs annotate。
想获取更多CVS知识,请访问:http://www.cvshome.org

2.5 devel.squid-cache.org

Squid的开发者维持一个独立的站点,当前运行在SourceForge,提供了试验性的squid功能。请检查它们在 http://devel.squid-cache.org.在这里你能发现许多正在开发的工程,它们还未集成到squid的官方源代码里。你能通过 SourceForge的匿名CVS服务来访问这些工程,或者下载与标准版本不同的差别文件。
-------

第3章 编译和安装


3.1 安装之前

假如你使用unix有一段时间,并且已编译过许多其他软件包,那么只需快速的扫描本章。编译安装squid的过程与安装其他软件相似。
为了编译squid,你需要一个ANSI C编译器。不要被ANSI字眼吓倒。假如你已经有一个编译器,它顺从ANSI指令,那么也一样。GNU C编译器(gcc)是很好的选择,它被广泛使用。大部分操作系统在其标准安装中附带了C编译器,不过Solaris和HP-UX除外。假如你使用这样的操 作系统,那可能没有安装编译器。
理论上你应该在即将运行squid的机器上编译squid。安装过程侦察你的操作系统以发现特定的参数,例如可用文件描述符的数量。然而,假如你的 系统没有C编译器存在,你也许会在其他机器上编译squid,然后把二进制代码copy回来。如果操作系统不同,那么squid可能会遇到问题。假如操作 系统有不同的内核配置,squid会变得混乱。
除了C编译器,你还需要perl和awk。awk是所有unix系统的标准程序,所以你不必担心它。perl也是相当普及的,但它也许没有默认安装在你的系统上。你需要gzip程序来解压源代码发布文件。
对Solaris用户,请确认/usr/ccs/bin包含在你的PATH环境变量里,即使你使用gcc编译器。为了编译squid,make和ar程序需要在这个目录找到。

3.2 解开源代码包

在下载完源代码后,你需要在某个目录解开它。具体哪个目录无关紧要。你能解开squid在你的家目录或任何其他地方,大概需要20M的自由磁盘空间。我个人喜欢用/tmp。使用tar命令来展开源代码目录:
% cd /tmp

% tar xzvf /some/where/squid-2.5.STABLE4-src.tar.gz
一些tar程序不支持z选项,该选项自动解压gzip文件。如果这样,你需要运行如下命
令:
% gzip -dc /some/where/squid-2.5.STABLE4-src.tar.gz | tar xvf -
一旦源代码被展开,下一步通常是配置源代码树。然而,假如这是你第一次编译squid,你应确认特定的内核资源限制足够高。怎样发现,请继续。

3.3 调整内核

Squid在高负载下,需要大量的内核资源。特别的,你需要给你的系统配置比正常情况更高的文件描述符和缓存。文件描述符的限制通常很恼人。你最好在开始编译squid之前来增加这些限制的大小。
因为这点,你可能为了避免重建内核的麻烦,而倾向于使用预编译的二进制版本。不幸的是,不管如何你必须重建一个新内核。squid和内核通过数据结 构来交换信息,数据结构的大小不能超过设置的文件描述符的限制。squid在运行时检查这些设置,并且使用最安全的(最小的)值。这样,即使预编译的二进 制版本有比你的内核更高的文件描述符,但还是以你系统内核的实际数值为主。
为了改编一些参数,你需要重建新内核。这个过程在不同的操作系统之间不同。假如需要,请参阅Unix系统管理员手册(Prentice Hall出版)或者你的操作系统文档。假如你正使用Linux,可能不必重建内核。

3.3.1 文件描述符

文件描述符是一个简单的整数,用以标明每一个被进程所打开的文件和socket。第一个打开的文件是0,第二个是1,依此类推。Unix操作系统通常给每个进程能打开的文件数量强加一个限制。更甚的是,unix通常有一个系统级的限制。
因为squid的工作方式,文件描述符的限制可能会极大的影响性能。当squid用完所有的文件描述符后,它不能接收用户新的连接。也就是说,用完 文件描述符导致拒绝服务。直到一部分当前请求完成,相应的文件和socket被关闭,squid不能接收新请求。当squid发现文件描述符短缺时,它会 发布警告。
在运行./configure之前,检查你的系统的文件描述符限制是否合适,能给你避免一些麻烦。大多数情况下,1024个文件描述符足够了。非常忙的cache可能需要4096或更多。在配置文件描述符限制时,我推荐设置系统级限制的数量为每个进程限制的2倍。
通常在你的Unix shell中能找到系统的文件描述符限制。所有的C shell及其类似的shell有内建的limit命令。更新的Bourne shell及其类似的shell有一条叫做ulimit的命令。为了发现你的系统的文件描述符限制,试运行如下命令:
csh% limit descriptors unlimited
        
csh% limit descriptors
        
descriptors    4096
或者
sh$ ulimit -n unlimited

sh$ ulimit -n

4096
在Freebsd上,你能使用sysctl命令:
% sysctl -a | grep maxfiles

kern.maxfiles: 8192

kern.maxfilesperproc: 4096
如果你不能确认文件描述符限制,squid的./configure脚本能替你做到。当你运行./configure时,请见3.4章节,观察末尾这样的输出:
checking Maximum number of file descriptors we can open... 4096
假如其他的limit,ulimit,或者./configure报告这个值少于1024,你不得不在编译squid之前,花费时间来增加这个限制值的大小。否则,squid在高负载时执行性能将很低。
增加文件描述符限制的方法因系统不同而不同。下面的章节提供一些方法帮助你开始。
3.3.1.1 Freebsd,NetBSD,OpenBSD
编辑你的内核配置文件,增加如下一行:
options       MAXFILES=8192
在OpenBSD上,使用option代替options。然后,configure,编译,和安装新内核。最后重启系统以使内核生效。
3.3.1.2 Linux
在Linux上配置文件描述符有点复杂。在编译squid之前,你必须编辑系统include文件中的一个,然后执行一些shell命令。请首先编辑/usr/include/bits/types.h文件,改变_ _FD_SETSIZE 的值:
#define _ _FD_SETSIZE    8192
下一步,使用这个命令增加内核文件描述符的限制:
# echo 8192 > /proc/sys/fs/file-max
最后,增加进程文件描述符的限制,在你即将编译squid的同一个shell里执行:
sh# ulimit -Hn 8192
该命令必须以root运行,仅仅运行在bash shell。不必重启机器。使用这个技术,你必须在每一次系统启动后执行上述echo和ulimit命令,或者至少在squid启动之前。假如你使用某个rc.d脚本来启动squid,那是一个放置这些命令的好地方。
3.3.1.3 Solaris
增加该行到你的/etc/system文件:
set rlim_fd_max = 4096
然后,重启机器以使改动生效。

3.3.2 Mbuf Clusters

BSD基础的网络代码使用一个叫做mbuf(参阅W.R.Stevens的TCP/IP描述卷2)的数据结构。Mbuf典型的是小块内存(例如 128字节)。较大的网络包的数据存储在mbuf clusters里。内核可能给系统可用的mbuf clusters的总数量强加一个最高限制。你能使用netstat命令来发现这个限制:
% netstat -m

196/6368/32768 mbufs in use (current/peak/max):

        146 mbufs allocated to data

        50 mbufs allocated to packet headers

103/6182/8192 mbuf clusters in use (current/peak/max)

13956 Kbytes allocated to network (56% of mb_map in use)

0 requests for memory denied

0 requests for memory delayed

0 calls to protocol drain routines
在这个例子里,有8192个mbuf clusters可用,但是永远不会同时用到6182个。当系统用尽mbuf clusters时,I/O机制例如read()和write()返回“无缓存空间可用”的错误信息。
NetBSD和OpenBSD使用netstat -m不会显示mbuf的输出。代替的,它们在syslog里报告:”WARNING: mclpool limit reached” 。
为了增加mbuf clusters的数量,你必须在内核配置文件里增加一个选项:
options         NMBCLUSTERS=16384

3.3.3 临时端口范围

临时端口是TCP/IP栈分配给出去连接的本地端口。换句话说,当squid发起一条连接到另一台服务器,内核给本地socket分配一个端口号。这些本地端口号有特定的范围限制。例如,在FreeBSD上,默认的临时端口范围是1024-5000。
临时端口号的短缺对非常忙的代理服务器(例如每秒数百个连接)来说,会较大的影响性能。这是因为一些TCP连接在它们被关闭时进入TIME_WAIT状态。当连接进入TIME_WATI状态时,临时端口号不能被重用。
你能使用netstat命令来显示有多少个连接进入这个状态:
% netstat -n | grep TIME_WAIT

Proto Recv-Q Send-Q  Local Address          Foreign Address        (state)

tcp4       0      0  192.43.244.42.19583    212.67.202.80.80       TIME_WAIT

tcp4       0      0  192.43.244.42.19597    202.158.66.190.80      TIME_WAIT

tcp4       0      0  192.43.244.42.19600    207.99.19.230.80       TIME_WAIT

tcp4       0      0  192.43.244.42.19601    216.131.72.121.80      TIME_WAIT

tcp4       0      0  192.43.244.42.19602    209.61.183.115.80      TIME_WAIT

tcp4       0      0  192.43.244.42.3128     128.109.131.47.25666   TIME_WAIT

tcp4       0      0  192.43.244.42.3128     128.109.131.47.25795   TIME_WAIT

tcp4       0      0  192.43.244.42.3128     128.182.72.190.1488    TIME_WAIT

tcp4       0      0  192.43.244.42.3128     128.182.72.190.2194    TIME_WAIT
注意这个例子中既有客户端连接又有服务器端的连接。客户端连接有3128作为临时端口号,服务器端连接有80作为远程主机的端口号。临时端口号出现在本地地址栏里。在该例子里,它们是19000秒。
如果你没有看到数千个临时端口在TIME_WAIT状态,那也许不必增加这个端口范围。在Freebsd上,用如下命令增加临时端口范围:
 # sysctl -w net.inet.ip.portrange.last=30000
在OpenBSD上,命令类似,但sysctl变量有不同的名字:
# sysctl -w net.inet.ip.portlast=49151
在NetBSD上,事情稍有不同。默认的值是49152-65535.为了增加这个范围,需改变最低限制:
# sysctl -w net.inet.ip.anonportmin=10000
在Linux上,简单的写一对数字到下列指定文件:
# echo "1024 40000" > /proc/sys/net/ipv4/ip_local_port_range
不要忘记将这些命令加到你的系统启动脚本中,以使机器每一次重启后都生效。

3.4 Configure脚本

象许多其他Unix软件一样,squid在开始编译之前使用./configure脚本来了解操作系统信息。./configure脚本由流行的 GNU autoconf程序产生。当script运行时,它用不同的方法来侦察系统,以发现关于库,函数,类型,参数,和有没有功能被提供 等。./configure所做的第一件事情是去找一个C编译器。假如C编译器没有找到,或者编译一个简单的测试程序失败,./configure脚本不 能继续。.
/configure脚本有大量的选项。最重要的是安装prefix。在运行./configure之前,你需要决定squid被安装在哪里。 prefix选项指定squid日志,二进制文件,和配置文件的默认位置。你可以在安装之后改变这些文件的位置,但假如你现在决定,事情更容易。
默认的安装位置是/usr/local/squid.squid将文件放在prefix指定目录下面的7个子目录:
% ls -l /usr/local/squid

total 5

drwxr-x---  2 wessels  wheel  512 Apr 28 20:42 bin

drwxr-x---  2 wessels  wheel  512 Apr 28 20:42 etc

drwxr-x---  2 wessels  wheel  512 Apr 28 20:42 libexec

drwxr-x---  3 wessels  wheel  512 Apr 28 20:43 man

drwxr-x---  2 wessels  wheel  512 Apr 28 20:42 sbin

drwxr-x---  4 wessels  wheel  512 Apr 28 20:42 share

drwxr-x---  4 wessels  wheel  512 Apr 28 20:43 var
Squid使用bin,etc,libexec,man,sbin,和share目录存放一些相对较小的文件(或其他目录),这些文件不经常改变。 但var目录的文件别有洞天。这里你可以发现squid的日志文件,它增长得非常大(数十或数百兆)。var也是实际磁盘cache的默认位置。你也许想 将var目录放在磁盘空间足够的位置,这样做较容易的方法是使用–localstatedir选项:
% ./configure --localstatedir=/bigdisk/var
当配置squid时,你不必对这些路径名称担心太多。你以后可以在squid.conf文件里改变这些路径名。

3.4.1 configure选项

./configure脚本有大量的不同选项,它们以-开始。当你敲入./configure –help时,能看到选项的完整列表。一些选项对所有configure脚本是通用的,还有一些是squid专有的。下面是你可能用得到的标准选项:
--perfix =PREFIX
如前面描述的一样,这里设置安装目录。安装目录是所有可执行文件,日志,和配置文件的默认目录。在整本书中,$prefix指你选择的安装目录。
--localstatedir =DIR
该选项允许你改变var目录的安装位置。默认是$prefix/var,但也许你想改变它,以使squid的磁盘缓存和日志文件被存储在别的地方。
--sysconfdir =DIR
该选项允许你改变etc目录的位置。默认的是$prefix/etc.假如你想使用/usr作为安装位置,你也许该配置–sysconfdir为/etc. 以下是squid的专有./configure选项:
--enable-dlmalloc[=LIB]
在一些系统上,内建的内存分配机制(malloc)在使用squid时表现不尽人意。使用–enable-dlmalloc选项将squid源代码包中的dlmalloc包编译和链接进来。假如你的系统中已安装dlmalloc,你能使用=LIB参数指定库的路径。请见http://g.oswego.edu/dl/html/malloc.html更多关于dlmalloc的信息。
--enable-gnuregex
在访问控制列表和其他配置指令里,squid使用正则表达式作为匹配机制。GNU的正则表达式库包含在squid的源代码包里;它可以在没有内建正 则表达式的操作系统中使用。./configure脚本侦察你系统中的正则表达式库,假如必要,它可以激活使用GNU正则表达式。如果因为某些理由,你想 强制使用GNU正则表达式,你可以将这个选项加到./configure命令后。
--enable-carp
Cache数组路由协议(CARP)用来转发丢失的cache到父cache的数组或cluster。在10.9章有更多关于CARP的细节。
--enable-async-io[=N_THREADS]
异步I/O是squid技术之一,用以提升存储性能。aufs模块使用大量的线程来执行磁盘I/O操作。该代码仅仅工作在linux和solaris系统中。=N_THREADS参数改变squid使用的线程数量。aufs和异步I/O在8.4章中被讨论。
请注意–enable-async-io是打开其他三个./configure选项的快捷方式,它等同于:
 --with-aufs-threads=N_THREADS
     
--with-pthreads
    
--enable-storeio=ufs,aufs
    
--with-pthreads
该选项导致编译过程链接到你系统中的P线程库。aufs存储模块是squid中唯一需要使用线程的部分。通常来说,如果你使用–enable-saync-io选项,那么不必再单独指定该选项,因为它被自动激活了。
--enable-storeio=LIST
Squid支持大量的不同存储模块。通过使用该选项,你告诉squid编译时使用哪个模块。在squid-2.5中,支持ufs,aufs,diskd,和null模块。通过查询src/fs中的目录,你能得到一个模块列表。
LIST是一个以逗号分隔的模块列表,例如:
% ./configure --enable-storeio=afus,diskd,ufs
ufs模块是默认的,看起来问题最少。不幸的是,它性能有限。其他模块可能在某些操作系统中不必编译。关于squid存储模块的完整描述,请见第8章。
--with-aufs-threads=N_THREADS
指定aufs存储机制使用的线程数量(见8.4章)。squid默认根据缓存目录的数量,自动计算需要使用多少线程。
--enable-heap-replacement
该选项不再使用,但被保留用于向后兼容性。你该使用–enable-removal-policies来代替。
--enable-removal-policies=LIST
排除策略是squid需要腾出空间给新的cache目标时,用以排除旧目标的机制。squid-2.5支持3个排除策略:最少近期使用(LRU), 贪婪对偶大小(GDS),最少经常使用(LFU)。然而,因为一些理由,./configure选项使指定的替代策略和需要执行它们的基本数据结构之间的 差别模糊化。LRU是默认的,它以双链表数据结构执行。GDS和LFU使用堆栈的数据结构。
为了使用GDS或LFU策略,你指定:
% ./configure --enable-removal-policies=heap
然后你在squid的配置文件里选择使用GDS或LFU。假如你想重新使用LRU,那么指定:
% ./configure --enable-removal-policies=heap,lru
更多的关于替换策略的细节请见7.5章。
--enable-icmp
如在10.5章中描述的一样,squid能利用ICMP消息来确定回环时间尺寸,非常象ping程序。你能使用该选项来激活这些功能。
--enable-delay-pools
延时池是squid用于传输形状或带宽限制的技术。该池由大量的客户端IP地址组成。当来自这些客户端的请求处于cache丢失状态,他们的响应可能被人工延迟。关于延时池的更多细节请见附录C。
--enable-useragent-log
该选项激活来自客户请求的HTTP用户代理头的日志。更多细节请见13.5章。
--enable-referer-log
该选项激活来自客户请求的HTTP referer日志。更多细节请见13.4章。
--disable-wccp
Web cache协调协议(WCCP)是CISCO的专有协议,用于阻止或分发HTTP请求到一个或多个caches。WCCP默认被激活,假如你愿意,可以使用该选项来禁止该功能。
--enable-snmp
简单网络管理协议(SNMP)是监视网络设备和服务器的流行方法。该选项导致编译过程去编译所有的SNMP相关的代码,包括一个裁切版本的CMU SNMP库。
--enable-cachemgr -hostname[=hostname]
cachemgr是一个CGI程序,你能使用它来管理查询squid。默认cachemgr的hostname值是空的,但你能使用该选项来指定一个默认值。例如:
% ./configure --enable-cachemgr-hostname=mycache.myorg.net
    
--enable-arp-acl
squid在一些操作系统中支持ARP,或者以太地址访问控制列表。该代码使用非标准的函数接口,来执行ARP访问控制列表,所以它默认被禁止。假如你在linux或solaris上使用squid,你可能用的上这个功能。
--enable-htcp
HTCP是超文本缓存协议–类似于ICP的内部缓存协议。更多细节请见10.8章。
--enable-ssl
使用该选项赋予squid终止SSL/TLS连接的能力。注意这仅仅工作在web加速器中用以加速请求。更多细节请见15.2.2章节。
--with-openssl[=DIR]
假如必要,你使用该选项来告诉squid到哪里找到OpenSSL库或头文件。假如它们不在默认位置,在该选项后指定它们的父路径。例如:
% ./configure --enable-ssl --with-ssl=/opt/foo/openssl
在这个例子中,你的编译器将在/opt/foo/openssl/include目录中找头文件,在/opt/foo/openssl/lib中找库文件。
--enable-cache-digests
Cache消化是ICP的另一个替代,但有着截然不同的特性。请见10.7章。
--enable-err-languages="lang1 lang2 ..."
squid支持定制错误消息,错误消息可以用多种语言报告。该选项指定复制到安装目录($prefix/share/errors)的语言。假如你 不使用该选项,所有可用语言被安装。想知道何种语言可用,请见源代码包里errors目录下的目录列表。如下显示如何激活多种语言:
% ./configure --enable-err-languages="Dutch German French" ...
    
--enable-default-err-language=lang
该选项设置error_directory指令的默认值。例如,假如你想使用荷兰语,你能这样指定:
% ./configure --enable-default-err-language=Dutch
你也能在squid.conf里指定error_directory指令,在附录A中有描述。假如你忽略该选项,英语是默认错误语言。
--with-coss-membuf-size=N
循环目录存储系统(coss)是squid的试验性存储机制。该选项设置coss缓存目录的内存缓冲大小。注意为了使用coss,你必须在–enable-storeio选项里指定存储类型。
该参数以字节形式赋值,默认是1048576字节或1M。你能指定2M缓冲如下:
% ./configure --with-coss-membuf-size=2097152
    
--enable-poll
unix提供两个相似的函数用以在I/O事件里扫描开放文件描述符:select()和poll()./configure脚本通常能非常好的计算出何时使用poll()来代替select().假如你想强制使用poll(),那么指定该选项。
--desable-poll
类似的,如果不使用poll(),那么指定该选项。
--disable-http-violations
squid默认可以被配置成违背HTTP协议规范。你能使用该选项来删除违背HTTP协议的代码。
--enable-ipf-transparent
在第9章中,我将描述如何配置squid来拦截缓存。一些操作系统使用IP Filter包来协助拦截缓存。在这些环境下你应该使用该./configure选项。如果你使用了该选项,但是编译器提示src /client_side.c文件出错,那是因为IP Filter包没有或没有正确的安装在你的系统中。
--enable-pf-transparent
你可能需要指定该选项,使用PF包过滤器在操作系统中拦截HTTP。PF是OpenBSD的标准包过滤器,也可能被发布到其他系统中。假如你使用该选项,但是编译器提示src/client_side.c文件出错,那是因为PF没有实际安装到你的系统中。
--enable-linux-netfilter
Netfilter是linux 2.4系列内核的包过滤器名字。假如你想在linux2.4或以后的版本中使用HTTP拦截功能,那么激活该选项。
--disable-ident-lookups
ident是一个简单的协议,允许服务器利用客户端的特殊TCP连接来发现用户名。假如你使用该选项,编译器将把执行这些查询的代码排除出去。即使你在编译时保留了这些代码,除非你在squid.conf文件里指定,squid不会执行ident查询。
--disable-internal-dns
squid源代码包含两个不同的DNS解决方案,叫做“内部的”和“外部的”。内部查询是默认的,但某些人可能要使用外部技术。该选项禁止内部功能,转向使用旧的方式。
内部查询使用 squid自己的DNS协议执行工具。也就是说,squid产生未完成的DNS查询并且将它们发送到一个解析器。假如超时,它重新发送请求,你能指定任意数量的解析器。该工具的有利处之一是,squid获得准确无误的DNS响应的TTLs。
外部查询利用C库的gethostbyname()和gethostbyaddr()函数。squid使用一个外部进程池来制造并行查询。使用外部 DNS解析的主要弊端是你需要更多的辅助进程,增加squid的负载。另一个麻烦是C库函数不在响应里传输TTLs,这样squid使用 postive_dns_ttl指令提供的一个常量值。
--enable-truncate
truncate()系统调用是unlink()的替代品。unlink()完全删除cache文件,truncate()将文件大小设为零。这样 做释放了分配给该文件的磁盘空间,但留下适当的目录接口。该选项存在的理由是,某些人相信(或希望)truncate()比unlink()性能表现更 好。然而,压力测试显示两者有很少的或根本没有区别。
--disable-hostname-checks
默认的,squid要求URL主机名在一定程度上遵守古老的RFC 1034规范:
标签必须遵循下列ARPANET主机名规则。它们必须以字母开始,以字母或数字结尾,仅仅包含字母,数字和下划线。
这里字母意味着ASCII字符,从A到Z。既然国际域名日益流行,你可能希望使用该选项来移除限制。
--enable-underscores
该选项控制squid针对主机名里下划线的行为。通用的标准是主机名里不包含下划线字符,尽管有些人不赞成这点。squid默认会对URL主机名里 带下划线的请求产生一条错误消息。你能使用该选项,让squid信任它们,把它们当作合法的。然而,你的DNS解析器也许强迫使用非下划线请求,并且对带 下划线的主机名解析失败。
--enable-auth[=LIST]
该选项控制在squid的二进制文件里支持哪种验证机制。你能选择下列机制的任意组合:basic,digest,ntlm.假如你忽略该选 项,squid仅仅支持basic验证。假如你使用不带参数的–enable-auth选项,编译进程将增加对所有验证机制的支持。你可以使用以逗号分隔 的验证机制列表:
% ./configure --enable-auth=digest,ntlm
我在第六章和第十二章里会谈得更多。
--enable-auth-helpers=LIST
这个旧选项现在已舍弃了,但为了保持向后兼容性仍保留着。你可以使用–enable-basic-auth-helperes=LIST来代替。
--enable-basic-auth-helpers=LIST
使用该选项,你能将helpers/basic_auth目录的一个或多个HTTP Basic验证辅助程序编译进来。请见12.2章找到它们的名字和描述。
--enable-ntlm-auth-helpers=LIST
使用该选项,你能将helpers/ntlm_auth目录的一个或多个HTTP NTLM验证辅助程序编译进来。请见12.4章找到它们的名字和描述。
--enable-digest-auth-modules=LIST
使用该选项,你能将helpers/digest_auth目录的一个或多个HTTP Digest验证辅助程序编译进来。请见12.3章找到它们的名字和描述。
--enable-external-acl-helpers=LIST
使用该选项,你能编译一个或多个扩展ACL辅助程序,这些在12.5章中讨论。例如:
% ./configure --enable-external-acl-helpers=ip_user,ldap_group
    
--disable-unlinkd
unlinkd是另一个squid的外部辅助进程。它的基本工作是对cache文件执行unlink()或truncate()系统调用。通过在外部进程里执行文件删除工作,能给squid带来明显的性能提升。使用该选项来禁止外部unlink进程功能。
--enable-stacktrace
某些系统支持在程序崩溃时,自动产生数据追踪。当你激活该功能后,如果squid崩溃,数据追踪信息被写到cache.log文件。这些信息对开发和程序bug调试有用。
--enable-x-accelerator-vary
该高级功能可能在squid被配置成加速器时使用。它建议squid在响应请求时,从后台原始服务器中寻找X-Accelerator-Vary头。请见15.5章。

3.4.2 运行configure

现在我们准备运行./configure脚本。进入源代码的顶级目录敲入./configure,后面跟上前面提到过的任意选项,例如:
% cd squid-2.5.STABLE4
    
% ./configure --enable-icmp --enable-htcp
./configure的工作就是侦察你的操作系统,以发现什么东西可用,什么不可用。它首先做的事情之一就是确认你的C编译器可用。假如./configure检测到你的C编译器有问题,脚本会退出,返回如下错误:
configure: error: installation or configuration problem: C compiler
    
cannot create executables.
很可能你从不会看到这个消息。假如看到了,那意味着你的系统中没有C编译器存在,或者编译器没有正确安装。请见config.log文件找到解决问 题的建议。假如你的系统中有多个C编译器,你可以在运行./configure之前设置CC环境变量,来告诉./configure使用哪个:
% setenv CC /usr/local/bin/gcc
    
% ./configure ...
在./configure检查完该编译器后,它查找头文件,库文件和函数的长列表。通常你不必担心该部分。在某些实际情况中,. /configure会终止以引起你的注意,某些事情可能有问题,例如没有足够的文件描述符。假如你指定不完整的或不合理的命令行选项,它也会终止。假如 有错误发生,请检查config.log输出。./configure的最终任务是创造Makefiles和其他文件,这些文件基于squid从你系统中 了解到的知识。到此为止,你准备做编译工作。

3.5 编译

一旦./configure完成了它的工作,你简单的敲入make开始编译源代码:
%make
正常来说,该过程很顺利,你可以见到大量的滚动行。
你也许见到一些编译器警告。大多数情况下,可以安全的忽略这些。假如这些警告非常多,并且一些看起来非常严重,请将它们报告给开发者,在第16.5章中有描述。
假如编译过程没有错误,你可以转移到下一节,描述如何安装你刚才编译的程序。
为了验证编译是否成功,你可以再次运行make。你将看到如下输出:
% make
      
Making all in lib...

Making all in scripts...

Making all in src...

Making all in fs...

Making all in repl...

'squid' is up to date.

'client' is up to date.

'unlinkd' is up to date.

'cachemgr.cgi' is up to date.

Making all in icons...

Making all in errors...

Making all in auth_modules...
因为许多理由,编译步骤也许会失败,包括:
源代码bugs
通常squid源代码是完整的调试过的。然而,你也许会遇到某些bugs或问题从而阻止你编译。这种问题在新的开发版本中更容易出现,请将它们报告给开发者。
编译器安装问题
不正确安装的C编译器不能够编译squid或其他软件包。通常编译器随着操作系统预安装,所以你不必担心它。然而,假如你在操作系统安装完后,试图 升级编译器,那么可能会犯错误。绝对不要把已经安装好的编译器从一台机器拷贝到另一台,除非你绝对清楚你在做什么。我觉得在每台机上独立的安装编译器总是 最好的。
请确认你的编译器的头文件总是与库文件同步。头文件通常在/usr/include目录,而库文件在/usr/lib目录。Linux的流行RPM系统允许它去升级其中之一,但并非另一个。假如库文件基于不同的头文件,squid不能编译。
假如你想在开源BSD变种之一中升级编译器,请确认在/usr/src目录中运行make world,这好过从/usr/src/lib或/usr/src/include中运行。
如下是一些通用的编译器问题和错误消息:
Solaris: make[1]: *** [libmiscutil.a] Error 255
这意味着./configure不能发现ar程序。请确认/usr/ccs/bin位于你的PATH环境变量里。假如你没有安装Sun的编译器,那么需要GNU的工具。(http://www.gnu.org/directory/binutils.html).
Linux: storage size of 'rl' isn't known
这是因为头文件和库文件不匹配所致,象前面描述的一样。请确认同时升级两者。
Digital Unix: Don't know how to make EXTRA_libmiscutil_a_SOURCES. Stop.
Digital Unix的make程序不能兼容automake包产生的Makefile文件。例如,lib/Makefile.in包含如下行:
noinst_LIBRARIES = \
        
        @LIBDLMALLOC@ \
        
        libmiscutil.a \
        
        libntlmauth.a \
        
        @LIBREGEX@
在替换后,当lib/Makefile被创建时,它看起来如下:
noinst_LIBRARIES = \
      
        \
             
        libmiscutil.a \
            
        libntlmauth.a \
            
        <TAB>
象上面显示的一样,最后一行包括一个不可见的TAB字符,它阻止了make。通过安装和使用GNU make,或者手工编辑lib/Makefile如下,来解决这个问题:
noinst_LIBRARIES = \
      
        \
             
        libmiscutil.a \
            
        libntlmauth.a
假如你在编译squid时遇到问题,请先检查FAQ。你也许该在Squid的web站点上搜索(使用主页里的搜索栏)。最后,假如你仍有问题,请发邮件到squid-users@squid-cache.org列表。

3.6 安装

在编译完后,你需要把程序安装到指定的目录。可能需要超级用户权限来把它们放置到安装目录。所以,请先切换到root:
%su
password:
#make install
假如你通过使用–enable-icmp选项,激活了squid的ICMP衡量功能,那么必须安装pinger程序。pinger程序必须以超级用户权限安装,因为仅仅允许root来发送和接受ICMP消息。下列命令以相应的许可来安装pinger程序:
#make install-pinger
在安装完后,你将在squid的安装目录里(默认是/usr/local/squid)见到下列目录和文件:
sbin
sbin目录的程序正常只能被root启动
sbin/squid
Squid的主程序
bin
bin目录包含对所有用户可用的程序
bin/RunCache
RunCache是一个shell脚本,你能用它来启动squid。假如squid死掉,该脚本自动重启它,除非它检测到经常的重启。 RunCache是一个时间遗留的产物,那时Squid还不是后台服务进程。在最近的版本里,RunCache很少用到,因为Squid自动重启它自身, 当你不使用-N选项时。
bin/RunAccel
RunAccel与RunCache几乎一致,唯一的不同是它增加了一个命令行参数,告诉squid在哪里侦听HTTP请求。
bin/squidclient
squidclient是个简单的HTTP客户端程序,你能用它来测试squid。它也有一些特殊功能,用以对运行的squid进程发起管理请求。
libexec
libexec目录传统的包含了辅助程序。有一些命令你不能正常的启动。然而,这些程序通常被其他程序启动。
libexec/unlinkd
unlinkd是一个辅助程序,它从cache目录里删除文件。如你后面看到的一样,文件删除是个性能瓶颈。通过在外部进程里执行删除操作,Squid提升了一些执行性能。
libexec/cachemgr.cgi
cachemgr.cgi是Squid管理功能的CGI接口。为了使用它,你需要拷贝该程序到你的WEB服务器的cgi-bin目录。在14.2章中有更多描述。
libexec/diskd(optional)
假如你指定了–enable-storeio=diskd,你才能看到它。
libexec/pinger(optional)
假如你指定了–enable-icmp,你才能看到它。
etc
etc目录包含squid的配置文件。
etc/squid.conf
这是squid的主要配置文件。初始的该文件包含了大量的注释,用以解释每一个选项做什么。在你理解了这些配置指令后,建议你删除这些注释,让配置文件更小和更容易阅读。注意假如该文件存在,安装过程不会覆盖该文件。
etc/squid.conf.default
这是从源代码目录中拷贝过来的默认配置文件。在升级了squid安装后,你也许发现有一份当前默认配置文件的拷贝是有用的。可能会增加新的配置指令,一些存在的旧指令可能有所改变。
etc/mime.conf
mime.conf文件告诉squid对从FTP和Gopher服务器获取的数据使用何种MIME类型。该文件是一个关联文件名扩展到MIME类型的表。正常而言,你不必编辑该文件。然而,你可能需要增加特殊文件类型的接口,它们在你的组织内使用。
etc/mime.conf.default
这是从源代码目录里拷贝过来的默认mime.conf文件。
share
share目录通常包括squid的只读数据文件。
share/mib.txt
这是squid的SNMP管理信息基础(MIB)文件。squid自身不使用该文件,然而,你的SNMP客户端软件(例如snmpget和多路由走向图(MRTG))需要该文件,用以理解来自squid的SNMP对象可用。
share/icons
share/icons目录包含大量的小图标文件,squid用在FTP和Gopher目录列举里。正常而言,你不必担心这些文件,但如果需要,你可以改变它们。
share/errors
share/errors目录包含了squid显示给用户看的错误消息模板。这些文件在你安装squid时,从源代码目录拷贝而来。如果需要你可以 编辑它们。然而,在每次运行make install时,安装过程总会覆盖它们。所以假如你想定制错误消息,建议你把它们放在不同的目录。
var
var目录包含了不是很重要的和经常变化的文件。这些文件你不必正常的备份它们。
var/logs
var/logs目录是squid不同日志文件的默认位置。当你第一次安装squid时,它是空的。一旦squid开始运行,你能在这里看到名字为access.log,cache.log和store.log这样的文件。
var/cache
假如你不在squid.conf文件里指定,这是默认的缓存目录(cache_dir)。第七章有关于缓存目录的所有细节。

3.7 打补丁

在你运行squid一段时间后,你可能发现需要打源代码补丁,用以修正bug或者增加试验性的功能。在squid-cache.org站点上,对重 要的bug修正会发布补丁。假如你不想等到下一个官方发布版本,你能下载补丁,并且打到你的源代码中。然后你需要重新编译squid。
为了打补丁-或者有时候叫差别文件-你需要一个叫做”patch”的程序。你的操作系统必须有该程序。如果没有,你可以从GNU工具集里下载(http://www.gnu.org/directory/patch.html). 注意假如你在使用匿名CVS(见2.4节),你不必担心补丁文件。当你升级源代码树时,CVS系统自动升级了补丁。
为了打补丁,你必须把补丁文件存放在系统中某处。然后进入到squid的源代码目录,运行如下命令:
% cd squid-2.5.STABLE4
% patch < /tmp/patch_file
默认的,在patch程序运行时,它告诉你它正在做什么。通常输出滚动非常快,除非有问题。你能安全的忽略它输出的offset NNN lines警告。假如你不想见到所有这些输出,使用-s选项选择安静模式。
当补丁更新了源代码后,它创造了原始文件的拷贝。例如,假如你对src/http.c打一个补丁,备份文件名就是src/http.c.orig. 这样,假如你在打了补丁后想撤销这个操作,简单的重命名所有的.orig文件到它们以前的格式。为了成功的使用该技术,建议你在打补丁之前删除所有 的.orig文件。
假如patch程序遇到问题,它停止运行并且给出建议。通常问题如下:
  • 在错误的目录运行patch程序。解决的方法是,进入到正确的目录,或者使用patch的-p选项。
  • 补丁已打过。patch会告诉你是否已打过补丁文件。在这样的情况下,它会问你是否撤销这个文件的补丁。
  • patch程序不能理解你赋给它的文件。补丁文件通常有三个风格:正常的,context的和unified的。旧版本的patch程序可能不理解后两者的差异输出。从GNU的FTP站点获取最近的版本能解决该问题。
  • 损坏的补丁文件。假如你在下载和存储补丁文件时不小心,它有可能被损坏。有时候人们以email消息发送补丁文件,在新的窗口里,它们被简单的剪切和粘贴。
  • 在这样的系统中,剪切和粘贴能将Tab字符改变为空格,或者不正确的捆绑长行。这些改变混乱了patch。-l选项也许有用,但最好是正确的拷贝和存储补丁文件。
某些时候patch不能应用部分或所有的差别文件。在这样的情况下,你能见到类似于Hunk 3 of 4 failed的消息。失败的部分被存储在命名为.rej的文件里。例如,假如在处理src/http.c时失败,patch程序将该差别文件片断存为 src/http.c.rej.在这样的情况下,你也许能手工修正这些问题,但它通常不值得这么做。假如你有大量的”failed hunks”或者.rej文件,建议你去下载最近源代码版本的完整新拷贝。
在你打完补丁后,你必须重新编译squid。make的先进功能之一就是它仅仅编译改变了的文件。但有时候make不能理解错综复杂的依赖关系,它没有完整的重编译所需文件。为了安全起见,通常建议你去重编译所有文件。最好的方法是在开始编译之前清除源代码树:
%make clean

%make

3.8 重运行configure

有时候你可能发现有必要重新运行./configure。例如,假如你调整了内核参数,你必须再次运行./configure以使它能发现新设置。当你阅读本书时,你也发现你必须使用./configure选项来激活所需的功能。
以相同的选项重运行./configure,使用如下命令:
%config.status --recheck
另一个技术是`touch config.status`文件,它更新了该文件的时间戳。这导致make在编译源代码之前,重新运行./configure脚本:
% touch config.status
      
% make
如果增加或删除./configure选项,你必须重新敲入完整的命令行。假如你记不住以前的选项,请查看config.status文件的顶部。例如:
% head config.status
    
#! /bin/sh

# Generated automatically by configure.

# Run this file to recreate the current configuration.

# This directory was configured as follows,

# on host foo.life-gone-hazy.com:

#

# ./configure  --enable-storeio=ufs,diskd --enable-carp \

#   --enable-auth-modules=NCSA

# Compiler output produced by configure, useful for debugging

# configure, is in ./config.log if it exists.
在运行./configure之后,你必须再次编译和安装squid。安全起见,建议先运行make clean:
%make clean
      
%make
请回想一下,./configure会缓存它在你系统中发现的东西。在这样的形式下,你可能想清除这些缓存,从头开始编译过程。假如喜欢,你可以简 单的删除config.cache文件。然后,下一次./configure运行时,它不会使用以前的数值。你也能恢复squid源代码树到它的 configure之前的状态,使用如下命令:
%make distclean
这将删除所有的目标文件和其他被./configure和make程序产生的文件。
--------

第4章 快速配置向导


4.1 squid.conf语法

Squid的配置文件相对规范。它与其他许多unix程序相似。每行以配置指令开始,后面跟着数字值或关键字。在读取配置文件时,squid忽略空行和注释掉的行(以#开始)。如下是一些配置行示例:
cache_log /squid/var/cache.log
        
# define the localhost ACL
    
acl Localhost src 127.0.0.1/32
    
connect_timeout 2 minutes
    
log_fqdn on
某些指令取唯一值。在这些情形下,重复赋予该指令不同的值,将覆盖前面的值。例如,下面是一个连接超时值。第一行无效,因为第二行覆盖了它:
connect_timeout 2 minutes
    
connect_timeout 1 hour
另外,某些指令取列表值。在这些情形下,每一个新增的值都有效。”扩展方式”指令以这种方法工作:
extension_methods UNGET

extension_methods UNPUT

extension_methods UNPOST
对这些基于列表的指令,你通常能在同一行中赋予多个值:
extension_methods UNGET UNPUT UNPOST
许多指令有通用类型。例如,连接超时值是一个时间规范,在数字后面跟着时间单元。例如:
connect_timeout 3 hours
    
client_lifetime 4 days
    
negative_ttl 27 minutes
类似的,大量的指令指向文件大小或者内存额度。例如,你可以这样编写大小规范:十进制数字后面跟bytes,KB,MB或GB.例如:
minimum_object_size 12 bytes
    
request_header_max_size 10 KB
    
maximum_object_size 187 MB
另一种值得提起的类型是触发器,它的值是on或者off。许多指令使用该类型。例如:
server_persistent_connections on
    
strip_query_terms off
    
prefer_direct on
通常,配置文件指令能以任何顺序出现。然而,如果某个指令指向的值被其他指令所定义,那么顺序就很重要。访问控制列表是个好的例子。acl被用在http_access规则之前必须被定义:
acl Foo src 1.2.3.4
    
http_access deny Foo
squid.conf文件里的许多东西是大小写敏感的,例如指令名。你不能将http_port写成HTTP_port。
默认的squid.conf文件包含了对每个指令的大量注释,以及指令的默认值。例如:
#  TAG: persistent_request_timeout

#       How long to wait for the next HTTP request on a persistent

#       connection after the previous request completes.
    
#
    
#Default:
    
# persistent_request_timeout 1 minute
每次安装squid后,当前默认配置文件存放在$prefix/etc目录下的squid.conf.default。既然指令每次都有所改变,你能参考该文档,以获取最近的更新。
该章剩下的部分是关于在开始运行squid之前,你必须知道的少数指令。

4.2 User ID

你可能知道,unix进程和文件拥有文件和组属主的属性。你必须选择某个用户和组给squid。该用户和组的组合,必须对大部分squid相关的文件和目录有读和写的权限。
我高度推荐创建名为”squid”的用户和组。这避免了某人利用squid来读取系统中的其他文件。假如不止一个人拥有对squid的管理权限,你可以将他们加到squid组里。
unix进程继承了它们父进程的属主属性。那就是说,假如你以joe用户来启动squid,squid也以joe来运行。假如你不想以joe来运行squid,你需要预先改变你的用户ID。这是su命令的典型功能。例如:
joe% su - squid
    
squid% /usr/local/squid/sbin/squid
不幸的是,运行squid并非总是如此简单。在某些情况下,你必须以root来启动squid,这依赖于你的配置。例如,仅仅root能绑定TCP 套接字到特权端口上,如80。假如你必须以root来启动squid,你必须设置cache_effective_user指令。它告诉squid,在执 行完需要特别权限的任务后,变成哪个用户。例如:
cache_effective_user squid
你提供的该名字必须是有效用户(在/etc/passwd文件里)。请注意仅仅当你以root来启动squid时,你才需要用到该指令。仅仅root有能力来随意改变用户身份。假如你以joe来启动squid,它不能改变到squid用户。
你可能尝试不设置cache_effective_user,直接以root来运行squid。假如你试过,你会发现squid拒绝运行。这违背了 安全规则。假如外部攻击者有能力危及或利用squid,他能获取对系统的全部访问权。尽管我们努力使squid安全和少bug,但还是稳重点好。
假如你没有设置cache_effective_user,以root来启动squid,squid使用nobody作为默认值。不管你选择什么用 户ID,请确认它有对下面目录的读访问权:$prefix/etc,$prefix/libexec,$prefix/share.该用户ID也必须有对 日志文件和缓存目录的写访问权。
squid也有一个cache_effective_group指令,但你也许不必设置它。默认的,squid使用cache_effective_user的默认组(从/etc/passwd文件读取)。

4.3 端口号

http_port指令告诉squid在哪个端口侦听HTTP请求。默认端口是3128:
http_port 3128
假如你将squid作为加速器运行(见15章),你也许该将它设为80。
你能使用附加的http_port行,来指示squid侦听在多个端口上。假如你必须支持客户组(它们被配置得不一致),这点就经常有用。例如,来自某个部门的浏览器发送请求到3128,然而另一个部门使用80端口。简单的将两个端口号列举出来:
http_port 3128
   
http_port 8080
你也能使用http_port指令来使squid侦听在指定的接口地址上。当squid作为防火墙运行时,它有两个网络接口:一个内部的和一个外部的。你可能不想接受来自外部的http请求。为了使squid仅仅侦听在内部接口上,简单的将IP地址放在端口号前面:
http_port 192.168.1.1:3128

4.4 日志文件路径

我将在第13章讨论所有squid的日志细节。你现在你关注的唯一事情是,squid将它的日志放在何处。默认的日志目录是squid安装位置下的 logs目录。例如,假如你在./configure时没有使用–prefix=选项,那么默认的日志文件路径是/usr/local/squid /var/logs.
你必须确认日志文件所存放的磁盘位置空间足够。在squid写日志时如果接受到错误,它会退出和重启。该行为的主要理由应引起你的注意。squid想确认你不会丢失任何重要的日志信息,特别是你的系统被滥用或者被攻击时。
squid有三个主要的日志文件:cache.log,access.log,store.log.第一个文件即cache.log,包含状态性的 和调试性的消息。当你刚开始运行squid时,你应密切的关注该文件。假如squid拒绝运行,理由也许会出现在cache.log文件的结尾处。在正常 条件下,该文件不会变得很大。也请注意,假如你以-s选项来运行squid,重要的cache.log消息也可被送到你的syslog进程。通过使用 cache_log指令,你可以改变该日志文件的路径:
cache_log /squid/logs/cache.log
access.log文件包含了对squid发起的每个客户请求的单一行。每行平均约150个字节。也就是说,在接受一百万条客户请求后,它的体积约是150M。请使用cache_access_log指令来改变该日志文件的路径:
cache_access_log /squid/logs/access.log
假如因为某些理由,你不想squid记录客户端请求日志,你能指定日志文件的路径为/dev/null. store.log文件对大多数cache管理员来说并非很有用。它包含了进入和离开缓存的每个目标的记录。平均记录大小典型的是175-200字节。然 而,squid不在store.log里对cache点击创建接口,所以它比access.log包含少得多的记录。请使用 cache_store_log指令来改变它的位置:
cache_store_log /squid/logs/store.log
通过指定路径为none,你能轻易的完全禁止store.log日志:
cache_store_log none
假如你不小心,squid的日志文件增加没有限制。某些操作系统对单个文件强制执行2G的大小限制,即使你有充足的磁盘空间。超过该限制会导致写错 误,这样squid就会退出。为了保证日志文件大小合理,你应创建任务来有规律的重命名和打包日志。squid有内建功能来使这个容易做到。请见13.7 章关于日志轮循的解释。

4.5 访问控制

在第6章里有更多的关于访问控制的描述。现在,我只讲述少量的访问控制方法,以使热心的读者能快速开始使用squid。
squid默认的配置文件拒绝每一个客户请求。在任何人能使用代理之前,你必须在squid.conf文件里加入附加的访问控制规则。最简单的方法 就是定义一个针对客户IP地址的ACL和一个访问规则,告诉squid允许来自这些地址的HTTP请求。squid有许多不同的ACL类型。src类型匹 配客户IP地址,squid会针对客户HTTP请求检查http_access规则。这样,你需要增加两行:
acl MyNetwork src 192.168.0.0/16
    
http_access allow MyNetwork
请将这些行放在正确的位置。http_access的顺序非常重要,但是acl行的顺序你不必介意。你也该注意默认的配置文件包含了一些重要的访问控制,你不应该改变或删除它们,除非你完全理解它们的意义。在你第一次编辑squid.conf文件时,请看如下注释:
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
在该注释之后,以及”http_access deny all”之前插入你自己的新规则。为了彻底说明,如下是一个合理的初始访问控制配置,包括推荐的默认控制和早先的例子:
acl All src 0/0
        
acl Manager proto cache_object
    
acl Localhost src 127.0.0.1/32
    
acl Safe_ports port 80 21 443 563 70 210 280 488 591 777 1025-65535
    
acl SSL_ports 443 563
    
acl CONNECT method CONNECT
    
acl MyNetwork src 192.168.0.0/16
    
    
    
http_access allow Manager Localhost
    
http_access deny Manager
    
http_access deny !Safe_ports
    
http_access deny CONNECT !SSL_ports
    
http_access allow MyNetwork
    
http_access deny All

4.6 可见主机名

希望你不必担心visible_hostname指令。然而,假如squid不能发现它所运行的机器的主机名,你就必须设置它。如果发生这样的事,squid抱怨和拒绝运行:
% squid -Nd1
    
FATAL: Could not determine fully qualified hostname.  Please set 'visible_hostname'
有大量的理由使squid需要知道主机名:
  • 主机名出现在squid的错误消息里,这帮助用户验证潜在问题的源头。
  • 主机名出现在squid转发的cache单元的HTTP Via头里。当请求到达原始主机时,Via头包含了在传输过程中涉及的代理列表。squid也使用Via头来检测转发环路。我将在第10章里讨论转发环路。
  • squid对特定事务使用内部URL,例如FTP目录列表的图标。当squid对FTP目录产生HTML页面时,它插入小图标用以指明该目录中的文件类型。图标URL包含了cache的主机名,以便web浏览器能直接从squid请求它们。
  • 每个从squid响应的HTTP回复包含了X-Cache头。这并非官方HTTP头。它是一个扩展头,用以指明该响应是cache点击还是 cache丢失。既然请求和响应可能经过多个cache,每个X-Cache头包含了cache报告点击或丢失的名字。如下是一个通过2个cache的响 应示例:
  • HTTP/1.0 200 OK
        
    Date: Mon, 29 Sep 2003 22:57:23 GMT
    
    Content-type: text/html
    
    Content-length: 733
    
    X-Cache: HIT from bo2.us.ircache.net
    
    X-Cache: MISS from bo1.us.ircache.net
  • squid在启动时试图自动获取主机名。首先它调用gethostname()函数,这通常能返回正确的主机名。接着,squid调用 gethostbyname()函数尝试对主机名进行DNS查询。该函数典型的返回IP地址和系统的规范名。假如gethostbyname()成 功,squid在错误消息里,Via头里等地方使用这个规范名。
  • 因为大量的理由,squid可能不能检测到它的规范主机名,包括:
  • 主机名可能未设置。
  • 主机名可能从DNS区域或/etc/hosts文件里丢失。
  • squid系统的DNS客户端配置可能不正确或丢失。在unix系统上,你该检查/etc/resolv.conf和/etc/host.conf文件。
假如你看到上述的致命错误,你必须修正主机名和DNS信息,或者显式的给squid指明主机名。在大多数情况下,请确认”hostname”命令返 回一个完全规范的主机名,并且在/etc/hosts文件里增加这个接口。假如这样不成功,请在squid.conf里设置可见主机名:
visible_hostname squid.packet-pushers.net

4.7 管理联系信息

你应该设置cache_mgr指令作为对用户的帮助。它是一个email地址,假如问题发生,用户能写信给它。cache_mgr地址默认出现在squid的错误消息里。例如:
cache_mgr squid@web-cache.net

4.8 下一步

在创建了初步的配置文件后,你多少准备首次运行squid了。请遵循下面章节的建议。当你掌握了启动和停止squid后,你该花费一些时间来改善配 置文件。你可能想增加更高级的访问控制,这在第6章里有描述。既然我在这里没有讨论磁盘cache,你该花些时间阅读第7和第8章。