Total Pageviews

Thursday 19 December 2019

google开发的压缩工具brotli

git clone https://github.com/google/brotli
cd brotli
cmake
make
(在当前目录下，会生成可执行文件brotli)
./brotli -h

项目地址：https://github.com/google/brotli
--------------------------------------------------------
 

Brotli 压缩是一种由 Google 开发的数据压缩算法，最初用于 Web 页面的压缩。它是一种无损压缩算法，可将文本、图片、视频等各种类型的数据压缩到更小的体积，从而提高网站的加载速度。

Brotli 的优势

  1. 更高的压缩率：Brotli 压缩算法可以将数据压缩到更小的体积，平均压缩率可以比 Gzip 高出 20%-26%；

  2. 更好的多线程处理：Brotli 压缩算法可以同时使用多个 CPU 核心进行压缩，因此可更快地完成压缩任务。

与 Gzip 对比

  1. 压缩速度：Brotli 需要更多计算来压缩和解压缩文件，因此比 Gzip 更慢。这在一些情况下可能会影响性能，尤其是在较慢的设备上；

  2. 兼容性能：Brotli 是与现代浏览器和服务器兼容的新技术，因此在一些较旧的浏览器和服务器可能不支持。Gzip 则更为广泛支持。

应用场景

  1. Web 服务器：在 Web 服务器上使用 Brotli 压缩可以大大减少网站的带宽使用，加速页面加载速度，减轻服务器的负载压力；

  2. 移动应用程序：移动应用程序的体积往往比较大，使用 Brotli 压缩可以将应用程序的体积压缩到更小，从而降低用户下载应用程序所需的时间和流量。

写在最后

Brotli 压缩算法是一种高效数据压缩算法，它的优势在于更高的压缩率、更好的多线程处理。Brotli 压缩最适合用于 Web 服务器和移动应用程序中，可提高网站的加载速度，并降低用户下载数据时所需的时间和流量。

Gzip 是一种数据压缩格式，它可以将文本、图像、脚本、样式表等各种类型文件压缩成较小的文件大小，从而在网络上传输更快。Gzip 压缩使用一种被称为 Lempel-Ziv 编码的算法。在该算法中重复出现的子字符串被替换为相应指针，从而减少了文件的大小，同时保留了相同内容的副本。在 Web 开发中 Gzip 通常用于压缩网站的 HTML/CSS 和 JavaScript 文件，提高页面加载速度。多数 Web 服务器和现代浏览器都支持 Gzip 压缩。

总的来说，Brotli 比 Gzip 更先进，可以提供更好的压缩率，但需要更高的计算能力。如果您需要快速加载的文件，则 Gzip 可能更为适合。

-----------------

为Nginx启用Brotli压缩算法

什么是 Brotli 压缩算法

Brotli最初发布于2015年，用于网络字体的离线压缩。Google软件工程师在2015年9月发布了包含通用无损数据压缩的Brotli增强版本，特别侧重于HTTP压缩。其中的编码器被部分改写以提高压缩比，编码器和解码器都提高了速度，流式API已被改进，增加更多压缩质量级别。新版本还展现了跨平台的性能改进，以及减少解码所需的内存。

与常见的通用压缩算法不同，Brotli使用一个预定义的120千字节字典。该字典包含超过13000个常用单词、短语和其他子字符串，这些来自一个文本和HTML文档的大型语料库。预定义的算法可以提升较小文件的压缩密度。

使用brotli替换deflate来对文本文件压缩通常可以增加20%的压缩密度，而压缩与解压缩速度则大致不变。使用Brotli进行流压缩的内容编码类型已被提议使用“br”。

摘自：https://zh.wikipedia.org/wiki/Brotli

另附 Brotli 算法和其他算法的性能比较：

兼容性

  • Google Chrome supported Brotli from version 49.
  • Microsoft Edge has Brotli in Development.
  • Mozilla Firefox implemented Brotli in version 44. 
  • Opera supports Brotli since version 36.
  • Safari, no public commitment as of October 2016.

摘自：https://en.wikipedia.org/wiki/Brotli

安装 Brotli 所需模块

首先安装 bagder/libbrotli

在 Shell 中依次执行如下命令：

1
2
3
4
5
6

git clone https://github.com/bagder/libbrotli
cd libbrotli

./autogen.sh
./configure
make && make install

注意：上面安装 Brotli 的方法只适用于 bfd2885 这个 commit 前的 ngx_brotli ，对于此后的版本，请直接使用下文的安装方法.

添加 google/ngx_brotli 模块并编译安装 Nginx

将 ngx_brotli 模块 clone 到本地：

1

git clone https://github.com/google/ngx_brotli

更新：对于 bfd2885 后的 ngx_brotli 模块，需要在指定目录下直接克隆相应依赖而不是使用上文的 libbrotli ： cd /path/to/ngx_brotli && git submodule update --init

然后在 Nginx 的 ./configure 参数后添加 --add-module=/path/to/ngx_brotli 并编译安装，示例如下：

1
2
3

./configure --user=nginx --group=nginx --prefix=/etc/nginx --sbin-path=/usr/sbin/nginx --modules-path=/usr/lib64/nginx/modules --conf-path=/etc/nginx/nginx.conf --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --pid-path=/var/run/nginx.pid --lock-path=/var/run/nginx.lock --http-client-body-temp-path=/var/cache/nginx/client_temp --http-proxy-temp-path=/var/cache/nginx/proxy_temp --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp --http-uwsgi-temp-path=/var/cache/nginx/uwsgi_temp --http-scgi-temp-path=/var/cache/nginx/scgi_temp --with-http_ssl_module --with-http_realip_module --with-http_addition_module --with-http_sub_module --with-http_dav_module --with-http_flv_module --with-http_mp4_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_random_index_module --with-http_secure_link_module --with-http_stub_status_module --with-http_auth_request_module --with-http_xslt_module=dynamic --with-http_image_filter_module=dynamic --with-http_geoip_module=dynamic --with-http_perl_module=dynamic --with-threads --with-stream --with-stream_ssl_module --with-http_slice_module --with-mail --with-mail_ssl_module --with-file-aio --with-ipv6 --with-http_v2_module --with-openssl=/usr/bin/openssl-1.0.2 --add-module=/usr/lib64/nginx/modules/ngx_http_google_filter_module --add-module=/usr/lib64/nginx/modules/ngx_http_substitutions_filter_module --add-module=/usr/lib64/nginx/modules/echo-nginx-module --add-module=/usr/lib64/nginx/modules/ngx_cache_purge --add-module=/usr/lib64/nginx/modules/nginx-ct --add-module=/usr/lib64/nginx/modules/ngx_brotli --with-cc-opt='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -mtune=generic -Wno-deprecated-declarations'

make && make install
 

在 Nginx 配置文件中开启 Brotli 算法

编辑 nginx 配置文件，在 http 块中添加如下内容：

1
2
3
4
5

brotli               on;  
brotli_comp_level    6;  
brotli_buffers       16 8k;  
brotli_min_length    20;  
brotli_types         *;

最后 nginx -t 测试没有问题后，执行 nginx -s reload 载入新配置，成功开启 Brotli 算法。

问题及解决

1. Nginx 编译过程报错

通常错误形式类似于：

1

...ngx_http_brotli_filter_module.cc:173:1: error: deprecated conversion from string constant to ‘char*’ [-Werror=write-strings]...

这种情况下，只要在编译 Nginx 时的 ./configure 参数 --with-cc-opt 中加上 -Wno-deprecated-declarations ，即可解决问题。


2. 编译成功后重启或重载 Nginx 时提示 nginx: [emerg] unknown directive "brotli"

同上

3. 编译成功后重启或重载 Nginx 时提示 error while loading shared libraries: libbrotlienc.so.1

首先我们尝试为 libbrotlienc.so.1 添加一个软链：

1

ln -s /usr/local/lib/libbrotlienc.so.1 /lib64 #AMD64
1

ln -s /usr/local/lib/libbrotlienc.so.1 /lib #i386

再尝试重启 Nginx 。如果仍然报错，再执行 ldconfig 命令尝试解决。

4. 安装 libbrotli 时报错

通常都是缺少环境导致的，尝试安装以下程序解决：

1
2
3
4

#rhel and CentOS
yum install autoconf automake libtool
#debian and ubuntu
apt-get install autoconf automake libtool

测试

 

 

 

 

 

 

 

 

 

 

 
Posted by at
Labels: