Total Pageviews

Monday, 14 September 2020

tsunami-udp 是一款专为加速传输文件的小工具

用TCP进行传输控制、用UDP进行数据传输。

Simple Usage

Compile

./recompile.sh 

Server

./server/tsunamid *

Client

./client/tsunami 
# Accept following commands:     close    connect    get    dir    help    quit    set

Full Command

./client/tsunami connect your.server.add set udpport 51031 get path/to/yourfile quit

Enjoy

./server/tsunamid --help


./client/tsunami help
from https://github.com/cheetahmobile/tsunami-udp
---------------

概述

tsunami-udp 是一款专为网络加速诞生的小工具。 思路很简单,使用TCP进行传输控制、用UDP进行数据传输。

这样可以无状态的进行数据传输,然后中间加一些文件校验和重传机制,达到加速传输的目的。

传统的tcp传统,基于长连接,很容易受网络波动的影响。特别是网络拥塞的情况下,只能通过多进程/线程来进行有序传输。

安装

建议将 tsunami-udp 录入仓库,方便用yum一键安装:

sudo yum -y install tsunami-udp

安装过程

使用

安装完成后,在服务端(数据源)需要传文件的目录,运行tsunamid *即可:

cd /data
tsunamid *

服务端操作

客户端(执行下载的机器)进入到对应的存储目录,执行tsunami即可:

cd /data
tsunami
> connect your.server.address # 连接服务端(下载源)
> get file-name  # 下载指定的文件

客户端操作

上图即,在中国济南的一个联通机房下载AWS新加坡机器上‘2.2G autodatas.tar’的文件,跨国传输速度接近 50Mbps (无专线)。 图中还显示了详细的过程数据,比如丢了多少包、总传输量、有效的传输量 等等…… 使用超简单吧!

对比使用wget下载的测试结果:

wget下载速度

另外,客户端虽然不支持子目录的遍历功能,但若知道全路径,是可以直接下载:

全路径下载

更爽快点,直接用命令行执行下载,这样就不需要人工交互啦:

tsunami connect demo.tsunami-udp.cmcm set udpport 51031 get mnt/d2/file4download quit

命令行下载

注意:和Linux自带的ftp命令行一样,按Ctrl + Backspace才是删除。需要人肉转义一下

监控

使用AWS新加坡的服务器作为数据库,传输过程CloudWatch监控的流量:

服务端流量


制作rpm包

另外,简单记录RPM打包过程。使用fpm打包最简单了:

wget 'https://github.com/cheetahmobile/tsunami-udp/archive/1.8.1.tar.gz' -O ~/rpmbuild/SOURCES/tsunami-udp-1.8.1.tgz
tar -zxvf tsunami-udp-1.8.1.tgz
cd tsunami-udp-1.8.1
./recompile.sh
mkdir -pv /tmp/usr/bin
cp -fv server/tsunamid client/tsunami /tmp/usr/bin/
fpm -f -s dir -t rpm -n tsunami-udp --epoch 1 -v 1.8.1018 --iteration 1.el6 -C /dev/shm -p ~/rpmbuild/RPMS/x86_64/ -d 'glibc >= 2.12' --verbose --category 'System Environment/Daemons' --description ' A fast user-space file transfer protocol that uses TCP control and UDP data for transfer over very high speed long distance networks' --url 'https://github.com/cheetahmobile/tsunami-udp' --license 'BSD' -m 'higkoo' --no-rpm-sign --workdir /tmp usr/bin
file ~/rpmbuild/RPMS/x86_64/tsunami-udp-1.8.1018-1.el6.x86_64.rpm  # 大功告成
from https://github.com/cheetahmobile/tsunami-udp/wiki

No comments:

Post a Comment