Pages

Sunday, 29 December 2019

用VPS实现一些方便的功能

假设你已经有了一个硬盘不那么小(>20GB),并且带宽足够的(100Mbps or higher)VPS,那么你可以用它来做些什么呢?仅仅是挂上一个个人的、没什么访问量的小网站,或者是实现一些你懂的的功能都显得有些浪费,下面我整理了一些比较有意思的功能及其实现方式;  同样的,一下内容假设在CentOS7上实现,涉及到端口的问题需要自己手动编辑防火墙规则,同样的,因为懒,所以没有图.

离线下载工具——Aria2 & Aria2 WebUI

用你的服务器实现离线下载的功能,你可以在本地方便地添加任务;

Aria2c

  • 安装:我之前似乎是通过yum安装的aria2c,版本很老,建议去github下载源码编译,写文章时的最新版本是1.34.0;
  • 配置:使用以下配置文件,并保存在任意位置(我保存在/aria2/aria2.conf),注意处理好权限关系,并修改rpc token、证书位置、私钥位置;
## '#'开头为注释内容, 选项都有相应的注释说明, 根据需要修改 ##
## 被注释的选项填写的是默认值, 建议在需要修改时再取消注释  ##

## 进度保存相关 ##

# 从会话文件中读取下载任务
input-file=/aria2/aria2.session
# 在Aria2退出时保存`错误/未完成`的下载任务到会话文件
save-session=/aria2/aria2.session
# 定时保存会话, 0为退出时才保存, 需1.16.1以上版本, 默认:0
save-session-interval=60

## 文件保存相关 ##

# 文件的保存路径, 默认: 当前启动位置
dir=/downloads
# 启用磁盘缓存, 0为禁用缓存, 需1.16以上版本, 默认:16M
disk-cache=32M
# 文件预分配方式, 能有效降低磁盘碎片, 默认:prealloc
# 预分配所需时间: none < falloc ? trunc < prealloc
# falloc和trunc则需要文件系统和内核支持
# NTFS建议使用falloc, EXT3/4建议trunc, MAC 下需要注释此项
file-allocation=trunc
# 断点续传
continue=true

#下载完成后的动作,进阶使用方法,请搭配自动上传脚本使用
#on-download-complete=/aria2/auto_upload.sh

## 下载连接相关 ##

# 最大同时下载任务数, 运行时可修改, 默认:5
max-concurrent-downloads=8
# 同一服务器连接数, 添加时可指定, 默认:1
max-connection-per-server=16
# 最小文件分片大小, 添加时可指定, 取值范围1M -1024M, 默认:20M
# 假定size=10M, 文件为20MiB 则使用两个来源下载; 文件为15MiB 则使用一个来源下载
min-split-size=32M
# 单个任务最大线程数, 添加时可指定, 默认:5
split=64
# 整体下载速度限制, 运行时可修改, 默认:0
#max-overall-download-limit=0
# 单个任务下载速度限制, 默认:0
#max-download-limit=0
# 整体上传速度限制, 运行时可修改, 默认:0
#max-overall-upload-limit=0
# 单个任务上传速度限制, 默认:0
#max-upload-limit=0
# 禁用IPv6, 默认:false
#disable-ipv6=true
# 连接超时时间, 默认:60
timeout=20
# 最大重试次数, 设置为0表示不限制重试次数, 默认:5
max-tries=3
# 设置重试等待的秒数, 默认:0
#retry-wait=0

## RPC相关设置 ##

# 启用RPC, 默认:false
enable-rpc=true
# 允许所有来源, 默认:false
rpc-allow-origin-all=true
# 允许非外部访问, 默认:false
rpc-listen-all=true
# 事件轮询方式, 取值:[epoll, kqueue, port, poll, select], 不同系统默认值不同
#event-poll=select
# RPC监听端口, 端口被占用时可以修改, 默认:6800
rpc-listen-port=6800
# 设置的RPC授权令牌, v1.18.4新增功能, 取代 --rpc-user 和 --rpc-passwd 选项
rpc-secret={your password}
# 设置的RPC访问用户名, 此选项新版已废弃, 建议改用 --rpc-secret 选项
#rpc-user=
# 设置的RPC访问密码, 此选项新版已废弃, 建议改用 --rpc-secret 选项
#rpc-passwd=
# 是否启用 RPC 服务的 SSL/TLS 加密,
# 启用加密后 RPC 服务需要使用 https 或者 wss 协议连接
rpc-secure=true
# 在 RPC 服务中启用 SSL/TLS 加密时的证书文件,
# 使用 PEM 格式时,您必须通过 --rpc-private-key 指定私钥
rpc-certificate={your certificate path}
# 在 RPC 服务中启用 SSL/TLS 加密时的私钥文件
rpc-private-key={your private key path}

#不进行证书校验(因为百度云的问题不得不关闭)
check-certificate=false

## BT/PT下载相关 ##

# 当下载的是一个种子(以.torrent结尾)时, 自动开始BT任务, 默认:true
#follow-torrent=true
# BT监听端口, 当端口被屏蔽时使用, 默认:6881-6999
listen-port=51413
# 单个种子最大连接数, 默认:55
#bt-max-peers=55
# 打开DHT功能, PT需要禁用, 默认:true
enable-dht=true
# 打开IPv6 DHT功能, PT需要禁用
#enable-dht6=false
# DHT网络监听端口, 默认:6881-6999
dht-listen-port=6881-6999
# 本地节点查找, PT需要禁用, 默认:false
#bt-enable-lpd=false
# 种子交换, PT需要禁用, 默认:true
enable-peer-exchange=false
# 每个种子限速, 对少种的PT很有用, 默认:50K
#bt-request-peer-speed-limit=50K
# 客户端伪装, PT需要
peer-id-prefix=-TR2770-
user-agent=Transmission/2.77
# 当种子的分享率达到这个数时, 自动停止做种, 0为一直做种, 默认:1.0
seed-ratio=2.0
# 强制保存会话, 即使任务已经完成, 默认:false
# 较新的版本开启后会在任务完成后依然保留.aria2文件
#force-save=false
# BT校验相关, 默认:true
bt-hash-check-seed=true
# 继续之前的BT任务时, 无需再次校验, 默认:false
bt-seed-unverified=true
# 保存磁力链接元数据为种子文件(.torrent文件), 默认:false
bt-save-metadata=true

Aria2 WebUI


  • 我们已经成功配置了Aria2,但是并没有一个直观的GUI来让我们方便地管理和添加下载任务,因此我们需要配置Aria2 WebUI,这需要你的服务器至少安装有Apache环境,
  • 部署好环境后,我们把Aria2 WebUI从Github上clone下来,访问这个文件夹里的index.html就可以访问WebUI了,接下来我们使用lamp add来新建一个vhost,可以填写个方便记忆的地址,比如aria2.domain.xyz,并设置其目录为之前clone下来的文件夹,注意要将文件夹所属用户和用户组改成apache:
  • sudo chown -R apache:apache {path}
    • 重启Apache,访问对应网址,你应该能看到Aria2 WebUI的界面了,接下来在连接设置里填写对应的RPC地址,勾选SSL并填写你之前设置的密码,应该就能成功连接上Aria2并且看到你的下载任务了,在Aria2 WebUI上你可以很方便的添加和管理下载任务,支持的下载任务有:http(s)/MagnetLink/torrent文件/MetaLink

    进阶使用:BaiduExporter

    服了,BaiduExporter要传递cookie的,你不是百度云会员的话一样限速……各位还是搞点别的速盘之类的东西来下载百度云吧……
    • 安装完成后打开百度网盘,选中一个文件,应该能看到在操作栏多了一个“导出下载”,先别急着点,鼠标悬停,选择设置,配置RPC功能,链接按照格式填写:
    https://token:{your password}@{yourdomain}.xxx:{port}/jsonrpc
    # For example
    # https://token:mypassword@www.developerhzh.cn:6800/jsonrpc
    • 不要勾选md5验证,百度云有时候会给你一个错误的md5码;
    • 配置完成后,以后只需要选中文件并使用AIRA2 RPC下载即可

    进阶使用:搭配OneDrive

    • 存储空间不够怎么办?参考这篇文章,设置下载后自动上传到OneDrive吧;操作涉及如何薅微软羊毛,你们自己摸索吧!

    打造具有清爽界面的FTP网站

    h5ai

    • h5ai作者的网站上安装说明的很清楚,请按照解压、设置权限、添加vhost(或者放在现有网站目录下)、编辑.htaccess文件的步骤安装;
    • 补充说明:h5ai需要php环境,请注意安装;

    OneIndex

    • 使用OneIndex方便地列出OneDrive上的文件,请按照Github上的操作,环境要求:php+curl支持;
    • 如果需要去掉目录前的"?",请在oneindex后台勾选相关条目,并在安装目录下的.htaccess文件中添加:
    RewriteRule ^(.*) index.php?/$1 [L]

    自动录制直播并上传到OneDrive(延时2h内)

    想要能正常工作,请严格按照步骤来;我的录制机子的硬盘很小,因此我每1h就重开一次录制(分段),并将之前录制的文件上传到OneDrive,上传完成后就删除该文件,这样操作的话只需要硬盘空间约12GB便可正常工作(直播码率14000kbps左右)

    bililive-go

    • 在releases里直接下载系统对应版本的blilive-go文件,对于linux系统,压缩包内的bililive-go文件就是本体,请将它放到/Record目录下,并赋予它可执行属性:
    sudo chmod +x /Record/bililive-go(或者:先在本地机器上,安装go环境,然后,cd $GOPATHgo get -u -v github.com/hr3lxphr6j/bililive-go/src/cmd/bililive/cd ~bililive --help 会显示使用帮助)
    • 在Record目录下创建一个auto_start.sh文件,用来开始录制,并赋予它可执行权限:
    #!/bin/sh
    export LANG="en_US.UTF-8"
    source /etc/profile
    wait0=`pkill -2 bililive-go ; pkill -2 ffmpeg`
    #停止正在进行的录制任务,并等待它们保存退出
    wait1=`mv /Record/files/熊猫/{主播名}/* /Record/tmp`
    #将之前录制的文件移动到/Record/tmp文件夹下,并重新开始录制
    /Record/bililive-go -i https://www.panda.tv/{room_number} -o /Record/files -t 5
    • 请注意修改上面的“熊猫”、“{主播名}”、直播地址,我没有测试过其他直播平台,你们可以先使用最后一行的命令测试一下录制的输出长什么样,然后修改对应wait1中的目录,以熊猫平台为例,bililive-go会在files文件夹(我设置的保存位置)下新建一个录制平台名称的文件夹“熊猫”,在该文件夹内建立一个以主播名命名的文件夹,在这个文件夹里面输出flv文件;请根据自身情况酌情修改
    • 在Record目录下创建一个auto_upload.sh文件,用来上传录制文件到OneDrive,并赋予它可执行权限:
    #!/bin/sh
    export LANG="en_US.UTF-8"
    source /etc/profile
    path="/Record/tmp"
    files=$(ls $path)
    flv_files=`find $path -name '*.flv'`
    for file_pos in ${path}/*.flv;
    do
      #echo $file_pos
      fname="["${file_pos#*[}
      mv "$file_pos" /Record/"$fname"
      /usr/local/etc/OneDrive/onedrive -s -f /Record/"$fname" && rm -rf /Record/"$fname"
    done
    • 该脚本会默认将文件上传到OneDrive根目录下名为Record的文件夹下;并且副产品是会多一个“[”目录,不过不影响使用,暂时没找到解决办法(不是很懂如何写shell脚本)
    • 在Record目录下建立tmp和files文件夹,并且保险起见给他们赋予777权限:
    sudo chmod 777 /Record/files /Record/tmp
    • 给auto_start.sh、auto_upload.sh添加计划任务
    crontab -e
    #编辑计划任务
    • 计划任务如下:
    SHELL=/bin/sh
    PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin:/Record
    HOME=/
    0 * * * * /Record/auto_start.sh
    1 * * * * /Record/auto_upload.sh
    因为crontab的环境问题,不得不在头部加上一大串申明……下面的计划任务是在每小时的第0分钟运行auto_start.sh,并在1分钟后运行auto_upload.sh;onedrive好像默认使用单线程上传,被OneDrive限速2M/s,我也不知道怎么多线程,总之就先这样吧;等上传完成后,OneIndex更新缓存之后,应该就能看到录制的文件了,如果需要归档,你可以手动登陆OneDrive创建对应归档文件夹并把录制文件移动过去。

    ( bililive的python版

    BiliLive

    直播录制工具
    目前支持哔哩哔哩,熊猫TV,火猫直播,战旗TV。

    依赖

    • python3.x(推荐3.6)
    • Requests
    • ffmpeg

    使用

    python start.py [config.json]

    config.json配置说明

    目录下的config.json为演示文件,如果不指定路径默认会读取$HOME/.bililive/config.json
    属性 说明
    ROOM_URLS 直播间URL
    POLLING_INTERVAL 状态查询间隔
    LAZY_TIME 状态确认后录制延迟时间
    OUTPUT_FILE_EXT 输出文件封装方式
    OUTPUT_DIR 输出目录

    DLC AutoSplitVideo

    快速分割直播视频用的,非直播视频慎用(IDR区间很短也可以吧。。。) 1小时分割一个,末尾的一个分段如果小于5分钟不分割(想要其他时间自己去改吧,懒得写参数了orz)

    依赖

    • pymediainfo
    • MediaInfo
    • ffmpeg

    使用

    python AutoSplitVideo.py

    DLC2 SplitVideo

    AutoSplitVideo的替代品,可根据yml配置分段视频

    依赖

    • ffmpeg
    • ffprobe

    使用

    python SplitVideo.py

    Demo.yml

    GlobalConfig:
      # 是否限制Part长度
      LimitPartLength: true
      # 每段视频最大长度
      PartTime: '1:00:00'
      # 视频长度对PartTime取余数(最后1Part长度),如果时长不超过PartTime * GreedyPercentage则不独立分段
      GreedyPercentage: 0.25
      # 是否先重封装为Mp4,提供索引加快分段速度
      RemuxToMp4: false
      # 并行处理数量
      ProcessThread: 4
    Projects:
        # 文件所在路径
      - Path: '/Users/chigusa/Movies'
        # 视频文件
        Files:
          - 2017-12-06 18-39-48 【王老菊】开启鸡眼模式.flv
        # 是否重编码(x264 2pass 1750k,aac 128k,可用于b站投稿)
        Rip: true
        Parts:
          # 最后的数字代表以哪段文件为准,从0开始计算,-1代表总时长
          # StartTime若为空或为定义,取上一part的EndTime。若为起始part但未定义,取00:00:00
          # EndTime中使用00:00:00代表到结尾
          - Name: 吃鸡
            StartTime: ['00:00:00',-1]
            EndTime: ['04:05:20',-1]
          - Name: 彩虹六号
            StartTime: ['04:05:20',-1]
            EndTime: ['05:13:40',-1]
          - Name: Slay the Spire
            StartTime: ['05:13:40',-1]
            EndTime: ['00:00:00',-1]

    from https://github.com/hr3lxphr6j/BiliLive