数据库LevelDB和Redis

TA , (Tencent Analytics，腾讯分析）是一款面向第三方站长的免费网站分析系统，在数据稳定性、及时性方面广受站长好评，其秒级的实时数据更新频率也获得业界的认可.

考虑到上述的TA实时统计数据的特点，我们选择NoSQL实现我们的存储系统；同时，针对两类不同的数据类型，分别选用LevelDB和Redis来存储。
像HBase和MongoDB这样的“重武器”并不适合TA，而NoSQL数据库中的“瑞士军刀”Redis凭借其出色的性能走入我们的视野。同时TA的结果数据类型也比较丰富，有像站点PV、UV、VV和IP等Hash类型的数据，也有像用户访问轨迹这样set类型的“动态数据”，而Redis丰富的数据结构很好地完成了这项任务。
选择Redis的另一个原因是它足够简单且易于扩展。在实际应用的过程中，我们发现的问题都可以通过扩展Redis命令来解决。
例如，TA中有这样的一种应用场景：为了消除ESA模块的状态，存储在Redis中的数据往往并不是最终的结果数据，而是还需要进一步运算的中间数据。像bounce rate这个指标（bouncerate=bounce session数/total session数），需要前台查询两次再做一次运算后最终展示给用户。在高并发的情况下，无疑会影响系统的响应速度。
本着“移动计算，而不是移动数据”的原则，我们对Redis的sort、hmget命令进行了扩展使其支持四则运算，成功地将原来的两次查询优化为一次。扩展四则运算的另外一个目的是可以“通过计算换取存储”，例如需要将两种类型加总成总和的类型数据，可以只存储两份，加总数据“通过计算换取”。
除了数据读取，数据的写入也可以进行类似合并数据的优化。例如，TA在写入URL的PV、UV、VV、IP、停留时长和bounce rate这6个指标时，需要调用6次Redis命令。而实际上这6个指标是存储在同一个Hash内的，通过扩展hmincrby命令，支持将Hash的所有field一次更改，便能将调用次数优化至一次。上线之后也取得了良好的效果，峰值时的CPU利用率几乎下降了一半，同时也大幅提升了上层模块ESA的吞吐量。

LevelDB
它是Redis的有效补充。考虑到Redis为内存数据库，而使用内存的成本要高于硬盘，因此选择引入了基于磁盘存储的LevelDB作为补充。由于LevelDB的写性能足够好，而读性能也远远超过目前“在线少量读取”的需求，所以我们选择LevelDB存储“固定不变数据”.