MogileFS安装学习记录

网上已经有不少关于MogileFS的文章，有营养的内容会出现在下面。
我的平台
操作系统：CentOS release 5.3。
硬件架构：i386。
其它：最小化安装，安装了“开发工具”组。
参考
重点参考这篇文章http://durrett.net/mogilefs_setup.html。
可以去看官方的wiki：http://mogilefs.pbwiki.com/。（有可能被GFW了，那么你就安装一个Firefox的gladder插件就可以看了）
MogileFS的特性

MogileFS是一个分布式文件存储的解决方案，他由Six Apart开发下面列出了他的一些特性（由mogileFS页面http://www.danga.com/mogilefs/ 介绍翻译而来）

• 应用层——不需要特殊的核心组件
• 无单点失败——MogileFS安装的三个组件（存储节点、跟踪器、跟踪用的数据库），均可运行在多个 机器上，因此没有单点失败。（你也可以将跟踪器和存储节点运行在同一台机器上，这样你就没有必要用4台机器）推荐至少两台机器。
• 自 动的文件复制——基于不同的文件“分类”，文件可以被自动的复制到多个有足够存储空间的存储节点上，这样可以满足这个“类别”的最少复制要求。比如你有一 个图片网站，你可以设置原始的JPEG图片需要复制 至少三份，但实际只有1or2份拷贝，如果丢失了数据，那么Mogile可以重新建立遗失的拷贝数。用这种办法，MogileFS(不做RAID)可以节 约 磁盘，否则你将存储同样的拷贝多份，完全没有必要。
• “比RAID好多了”——在一个非存储区域网络的RAID（non-SAN RAID）的建立中，磁盘是冗余的，但主机不是，如果你整个机器坏了，那么文件也将不能访问。 MogileFS在不同的机器之间进行文件复制，因此文件始终是可用的。
• 传输中立，无特殊协议——MogileFS客户端可以通过NFS或HTTP来和MogileFS的存储节点来通信，但首先需要告知跟踪器一下。
• 简单的命名空间——文件通过一个给定的key来确定，是一个全局的命名空间。你可以自己生成多个命名空间，只要你愿意，不过这样可能在同一MogileFS中会造成key冲突。
• 不用共享任何东西——MogileFS不需要依靠昂贵的SAN来共享磁盘，每个机器只用维护好自己的磁盘。
• 不需要RAID——在MogileFS中的磁盘可以是做了RAID的也可以是没有，如果是为了安全性着想的话RAID没有必要买了，因为MogileFS已经提供了。
• 不会碰到文件系统本身的不可知情况——在MogileFS中的存储节点的磁盘可以被格式化成多种格式（ext3,reiserFS等等）。MogilesFS会做自己内部目录的哈希，所以它不会碰到文件系统本身的一些限制，比如一个目录中的最大文件数。你可以放心的使用。

组成MogileFS的组件
1） 数据库（MySQL）部分
你可以用mogdbsetup程序来初始化数据库。数据库保存了Mogilefs的所有元数据，你可以单独拿数据库服务器来做，也可以跟其他程序跑在一 起，数据库部分非常重要，类似邮件系统的认证中心那么重要，如果这儿挂了，那么整个Mogilefs将处于不可用状态。因此最好是HA结构。
2）存储节点
mogstored程序的启动将使本机成为一个存储节点。启动时默认去读/etc/mogilefs/mogstored.conf ，具体配置可以参考配置部分。mogstored启动后，便可以通过mogadm增加这台机器到cluster中。一台机器可以只运行一个 mogstored作为存储节点即可，也可以同时运行其他程序。
3）trackers（跟踪器）
mogilefsd即trackers程序，类似mogilefs的wiki上介绍的，trackers做了很多工作，Replication ，Deletion，Query，Reaper，Monitor等等。mogadm,mogtool的所有操作都要跟trackers打交 道，Client的一些操作也需要定义好trackers，因此最好同时运行多个trackers来做负载均衡。trackers也可以只运行在一台机器 上，也可以跟其他程序运行在一起，只要你配置好他的配置文件即可，默认在/etc/mogilefs/mogilefsd.conf。
4）工具
主要就是mogadm，mogtool这两个工具了，用来在命令行下控制整个mogilefs系统以及查看状态等等。
5）Client
Client实际上是一个Perl的pm，可以写程序调用该pm来使用mogilefs系统，对整个系统进行读写操作。
MogileFS的php 扩展
http://www.capoune.net/mogilefs/ 提供了一个php扩展用来在php中使用mogileFS。
这儿也有一个地址，svn的源码库 http://svn.usrportage.de/php-mogilefs/trunk/
MogileFS应用中的几个重要概念
domain：最高域，在一个域下key是唯一的。
class：包含在domain中，可以针对每一个class定义保存的份数。
key：对文件的唯一标识。
file：文件。
MogileFS的适用性

由于Mogilefs不支持对一个文件的随机读写，因此注定了只适合做一部分应用。比如图片服务，静态HTML服务。即文件写入后基本上不需要修改的应用，当然你也可以生成一个新的文件覆盖上去。
MogileFS的工作方式(译)

MogileFS由如下一些部分构成:

• Application: 想要 保存/加载 文件的应用
• Tracker (the mogilefsd process): 基于事件的(event-based) 父 进程/消息 总线来管理所有来之于客户端应用的交互(requesting operations to be performed), 包括将请求负载平衡到 “query workers” 中，让mogilefsd的子进程去处理. 你可以在不同的机器上运行两个Tracker, 为了高可用性, 或使用更多的Tracker为了负载平衡(你需要运行多于两个的Tracker). mogilefsd的子进程有:
  • Replication — 个机器间复制文件
  • Deletion — 从命名空间删除是立即的，从文件系统删除是异步的
  • Query — 响应客户端的请求
  • Reaper — 在磁盘失败后将文件复制请求重新放到队列中
  • Monitor — 监测主机和设配的健康度和状态
  • …
• Database — 数据库用来存放MogileFS的元数据 (命名空间, 和文件在哪里). 这应该设置一个高可用性(HA)的环境以防止单点失败.
• Storage Nodes — 实际文件存放的地方. 存储节点是一个HTTP服务器，用来做 删除，存放等事情，任何WebDAV服务器都可以, 不过推荐使用 mogstored 。 mogilefsd 可以配置到两个机器上使用不同端口… mogstored 为所有 DAV 操作 (和流量监测), 并且你自己选择的快速的HTTP服务器用来做 GET 操作(给客户端提供文件). 典型的用户没一个加载点有一个大容量的 SATA 磁盘，他们被加载到 /var/mogdata/devNN.

High-level 流程:

• 应用程序请求打开一个文件 (通过RPC 通知到 tracker, 找到一个可用的机器). 做一个 “create_open” 请求.
• tracker 做一些负载均衡(load balancing)处理，决定应该去哪儿，然后给应用程序一些可能用的位置。
• 应用程序写到其中的一个位置去 (如果写失败，他会重新尝试并写到另外一个位置去）.
• 应用程序 (client) 通过”create_close” 告诉tracker文件写到哪里去了.
• tracker 将该名称和域命的名空间关联 (通过数据库来做的)
• tracker, 在后台, 开始复制文件，知道他满足该文件类别设定的复制规则
• 然 后,应用程序通过 “get_paths” 请求 domain+key (key == “filename”) 文件, tracker基于每一位置的I/O繁忙情况回复(在内部经过 database/memcache/etc 等的一些抉择处理), 该文件可用的完整 URLs地址列表.
• 应用程序然后按顺序尝试这些URL地址. (tracker’持续监测主机和设备的状态，因此不会返回死连接,默认情况下他对返回列表中的第一个元素做双重检查，除非你不要他这么做..)

 ------------------------------------------------------------------
 MogileFS安装学习记录 (续）

我的系统环境：CentOS i386 5.3，最小化安装，带Development Tools组。
安装MogileFS
整个安装过程，主要参考这里：http://durrett.net/mogilefs_setup.html
1. 获得 mogilefs
cd /usr/local/src
mkdir mogilefs-src
svn checkout http://code.sixapart.com/svn/mogilefs/trunk  mogilefs-src
2. 建立数据库
# mysql
mysql> CREATE DATABASE mogilefs;
mysql> GRANT ALL ON mogilefs.* TO ‘mogile’@'%’;
mysql> SET PASSWORD FOR ‘mogile’@'%’ = OLD_PASSWORD( ‘sekrit’ );
mysql> FLUSH PRIVILEGES;
mysql> quit
3. 准备安装
安装MogileFS之前，需要先安装N个perl 模块，通过CPAN安装。以root用户运行下面安装命令：
cpan install Danga::Socket
cpan install Gearman::Client
cpan install Gearman::Client::Async
cpan install Gearman::Server
cpan install Net::Netmask
cpan install Perlbal
cpan install IO::AIO
cpan install DBD::mysql
需要注意的是，可能cpan不能正常运行，一般是因为配置里的CPAN的镜象站点儿有问题，编辑/usr/lib/perl5/5.8.8/CPAN/Config.pm（跟据自己的系统不同，路径会不尽相同），替换‘urllist’一行成如下：
‘urllist’ => [q[ftp://ftp.dti.ad.jp/pub/lang/CPAN/], q[ftp://ftp.nara.wide.ad.jp/pub/CPAN/], q[ftp://ftp.riken.jp/lang/CPAN/]],
删除~/.cpan，重新运行cpan即可。
假如安装失败，那么可以试试在cpan中运行：
cpan>force install X::XXX
4. 编译安装服务端
cd /usr/local/src/mogilefs-src/server
perl Makefile.PL
make
make test
make install
5. 编译安装工具
cd /usr/local/src/mogilefs-src/utils
cpan install MogileFS::Client
perl Makefile.PL
make
make test
make install
6. 初始化MogileFS数据库
# mogdbsetup –dbhost=192.168.1.186 –dbport=3301 –dbname=mogilefs –dbuser=mogile –dbpassword=sekrit
mogdbsetup –help 可以查看帮助。
7. 配置tracker
建立tracker运行用用户 mogile : ueradd mogile
MogileFS Tracker的默认配置文件在：/etc/mogilefs/mogilefsd.conf
内容如下：
db_dsn DBI:mysql:mogilefs:192.168.1.186:3301
db_user mogile
db_pass sekrit
conf_port 6001
listener_jobs 5
8. 配置storaged
建立storaged用目录：mkdir /srv/mogdata
配置文件：/etc/mogilefs/mogstored.conf
内容如下：
httplisten=0.0.0.0:7500
mgmtlisten=0.0.0.0:7501
docroot=/srv/mogdata
9. 启动tracker
#sudo -u mogile mogilefsd –daemon
10. 启动storaged
#mogstored –daemon