Total Pageviews

Tuesday 28 May 2013

bbspam -高性能敏感词过滤系统

 from https://code.google.com/p/bbspam/

bbspam是一款性能非常强劲的敏感词过滤服务

Date: 2010.11

author: Chancey


说明:

现今,Web2.0网站往往面临着一件非常窘困的事情。 对于用户的输入内容很难控制,那就意味着随时都有可能遇到"违禁词"、"敏感词",不是被迫删除信息,就是被强制和谐,或者投入大量的人力进行监控。 为了营造一个和谐的互联网环境,bbspam由此而诞生。
bbspam是一款敏感词过滤服务,对于所有的输入内容进行过滤,过滤后的内容会将敏感词替换为xxx,降低人力成本

特点:

C/C++编写

基于ICE,稳定、高效

简单的分词算法

敏感词列表自定制


客户端支持:

C++

PHP

使用平台:

Linux

安装说明:

*******************************************
 Spam Server
 Author: Chancey
*******************************************
==========================
Dependencies
==========================
GCC
C++
ZeroC-ICE 3.4.1

WEBSITE:
http://www.zeroc.com/

DOWNLOAD:
http://www.zeroc.com/download/Ice/3.4/Ice-3.4.1.tar.gz

INSTALL:
aptitude install gcc g++ install libdb4.6++-dev libexpat1-dev libmcpp-dev libbz2-dev libssl-dev

COMPILE:
cd Ice-3.4.1/cpp
make
make install
cp /opt/Ice-3.4.1/lib/* /usr/lib/

=======================================
Compilation and Configrue Spam Server:
=======================================
COMPILE:
make

EDIT CONFIG:
vi conf/spam.conf

RUN:
./spamserver &

==========================
Client:
==========================

PHP: ./client/php/
C++: ./client/cpp/spamclient

性能测试:

测试环境 吞吐量/s(大文本) 请求数/s(小文本)
虚拟机 Xeon-2 core 2.0 6.43M 7000-8000
Xeon-4 core 2.0 8.6M 9000-10000
Xeon-4 core 2.0 (-O2编译优化) 18M 9000-10000