Rask AI是一款基于AI 技术的视频翻译+配音工具,使用AI翻译视频和音频,支持语音克隆,通过”文字转语音”和”语音克隆”技术,可以为视频添加专业品质的配音,而不需要录音或雇用配音演员, 而且现在你可以在配音时保留自己的声音或配音的语气,拒绝机器配音,目前支持130种语言。
网站地址:https://zh.rask.ai/
--------
related post; https://briteming.blogspot.com/2024/02/felo-dubbing-ai-youtube.html
---------
开源视频翻译工具-VideoTrans
功能特色:
【翻译视频并配音】根据需要设置各个选项,自由配置组合,实现翻译和配音、自动加减速、合并等
【识别字幕不翻译】支持选择视频源语言,从视频【语音中识别出文字】并自动导出字幕文件到目标文件夹
【提取字幕并翻译】选择视频文件,选择视频源语言,设置想翻译到的目标语言,则从【视频语音中识别出文字】并翻译为目标语言,然后导出双语字幕文件到目标文件夹
【字幕和视频合并】选择视频,然后将已有的字幕文件拖拽到右侧字幕区,将源语言和目标语言都设为字幕所用语言、然后选择配音类型和角色,开始执行
【为字幕创建配音】将本地的字幕文件拖拽到右侧字幕编辑器,然后选择目标语言、配音类型和角色,将生成配音后的音频文件到目标文件夹
【音视频识别文字】将视频或音频拖拽到识别窗口,将识别出文字并导出为srt字幕格式
【将文字合成语音】将一段文字或者字幕,使用指定的配音角色生成配音
【从视频分离音频】将视频文件分离为音频文件和无声视频
【音视频字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件
【音视频格式转换】各种格式之间的相互转换
【文字字幕翻译】将文字或srt字幕文件翻译为其他语言
【人声背景乐分离】将视频中的人声和背景音乐分别分离出来,生成2个音频文件
【下载油管视频】可从utube上下载视频
技术栈:
语音识别使用 faster-whisper
openai-whisper
离线模型.
文字翻译支持 microsoft|google|baidu|tencent|chatGPT|Azure|Gemini|DeepL|DeepLX|离线翻译OTT
,
文字合成语音支持 Microsoft Edge tts
Openai TTS-1
Elevenlabs TTS
自定义TTS服务器api
GPT-SoVITS
clone-voice
允许保留背景伴奏音乐等(基于uvr5)
源代码:https://github.com/jianchang512/pyvideotrans
--------------------------------------------------------------------------
Translate the video from one language to another and add dubbing. 将视频从一种语言翻译为另一种语言,并添加配音.
微信公众号:搜一搜“ pyvideotrans ”
这是一个视频翻译配音工具,可将一种语言的视频翻译为指定语言的视频,自动生成和添加该语言的字幕和配音。
语音识别支持
faster-whisper
模型openai-whisper
模型 和GoogleSpeech
zh_recogn阿里中文语音识别模型
.文字翻译支持
微软翻译|Google翻译|百度翻译|腾讯翻译|ChatGPT|AzureAI|Gemini|DeepL|DeepLX|离线翻译OTT
文字合成语音支持
Microsoft Edge tts
Google tts
Azure AI TTS
Openai TTS
Elevenlabs TTS
自定义TTS服务器api
GPT-SoVITS
clone-voice允许保留背景伴奏音乐等(基于uvr5)
支持的语言:中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语、乌克兰语、哈萨克语、印尼语、马来语、捷克语
【翻译视频并配音】将视频中的声音翻译为另一种语言的配音,并嵌入该语言字幕
【音频或视频转为字幕】将音频、视频文件中的人类说话声,识别为文字并导出为srt字幕文件
【批量字幕创建配音】根据本地已有的srt字幕文件创建配音,支持单个或批量字幕
【批量字幕翻译】将一个或多个srt字幕文件翻译为其他语言的字幕文件
【音频、视频、字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件
【从视频中分离出音频】从视频中分离为音频文件和无声视频
【下载油管视频】可从youtube上下载视频
994.mp4
使用pyinstaller打包,未做免杀和签名,杀软可能报毒,请加入信任名单或使用源码部署
[点击去下载预打包版,解压到无空格的英文目录后,双击 sp.exe (https://github.com/jianchang512/pyvideotrans/releases)
解压到英文路径下,并且路径中不含有空格。解压后双击 sp.exe (若遇到权限问题可右键使用管理员权限打开)
注意:必须解压后使用,不可直接压缩包内双击使用,也不可解压后移动sp.exe文件到其他位置
打开终端窗口,分别执行如下命令
执行前确保已安装 Homebrew,如果你没有安装 Homebrew,那么需要先安装
执行命令安装 Homebrew:
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
安装完成后,执行:
eval $(brew --config)
brew install libsndfile brew install ffmpeg brew install git brew install python@3.12
继续执行
export PATH="/usr/local/opt/python@3.12/bin:$PATH" source ~/.bash_profile source ~/.zshrc
创建不含空格和中文的文件夹,在终端中进入该文件夹。
终端中执行命令
git clone https://github.com/jianchang512/pyvideotrans
执行命令
cd pyvideotrans
继续执行
python -m venv venv
继续执行命令
source ./venv/bin/activate
,执行完毕查看确认终端命令提示符已变成已(venv)
开头,以下命令必须确定终端提示符是以(venv)
开头执行
pip install -r requirements.txt --no-deps
,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
然后重新执行 如果已切换到阿里镜像源,仍提示失败,请尝试执行
pip install -r requirements.txt --ignore-installed --no-deps
python sp.py
打开软件界面
- CentOS/RHEL系依次执行如下命令安装 python3.12
sudo yum update
sudo yum groupinstall "Development Tools"
sudo yum install openssl-devel bzip2-devel libffi-devel
cd /tmp
wget https://www.python.org/ftp/python/3.12.0/Python-3.12.0.tgz
tar xzf Python-3.12.0.tgz
cd Python-3.12.0
./configure — enable-optimizations
sudo make && sudo make install
sudo alternatives — install /usr/bin/python3 python3 /usr/local/bin/python3.12 2
sudo yum install -y ffmpeg
- Ubuntu/Debian系执行如下命令安装python3.12
apt update && apt upgrade -y
apt install software-properties-common -y
add-apt-repository ppa:deadsnakes/ppa
apt update
sudo apt-get install libxcb-cursor0
apt install python3.12
curl -sS https://bootstrap.pypa.io/get-pip.py | python3.12
pip 23.2.1 from /usr/local/lib/python3.12/site-packages/pip (python 3.12)
sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.12 1
sudo update-alternatives --config python
apt-get install ffmpeg
打开任意一个终端,执行 python3 -V
,如果显示 “3.12.0”,说明安装成功,否则失败
创建个不含空格和中文的文件夹, 从终端打开该文件夹。
终端中执行命令
git clone https://github.com/jianchang512/pyvideotrans
继续执行命令
cd pyvideotrans
继续执行
python -m venv venv
继续执行命令
source ./venv/bin/activate
,执行完毕查看确认终端命令提示符已变成已(venv)
开头,以下命令必须确定终端提示符是以(venv)
开头执行
pip install -r requirements.txt --no-deps
,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
然后重新执行,如果已切换到阿里镜像源,仍提示失败,请尝试执行
pip install -r requirements.txt --ignore-installed --no-deps
如果要使用CUDA加速,分别执行
pip uninstall -y torch torchaudio
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118
pip install nvidia-cublas-cu11 nvidia-cudnn-cu11
linux 如果要启用cuda加速,必须有英伟达显卡,并且配置好了CUDA11.8+环境,请自行搜索 "Linux CUDA 安装"
python sp.py
打开软件界面
打开 https://www.python.org/downloads/ 下载 windows3.12,下载后双击,一路next,注意要选中“Add to PATH”
打开一个cmd,执行
python -V
,如果输出不是3.12.3
,说明安装出错,或没有加入Add to PATH
,请重新安装打开 https://github.com/git-for-windows/git/releases/download/v2.45.0.windows.1/Git-2.45.0-64-bit.exe ,下载git,下载后双击一路下一步。
找个不含空格和中文的文件夹,地址栏中输入
cmd
回车,打开终端,以下命令均在该终端中执行执行命令
git clone https://github.com/jianchang512/pyvideotrans
继续执行命令
cd pyvideotrans
继续执行
python -m venv venv
继续执行命令
.\venv\scripts\activate
,执行后请查看确认命令行开头已变成了(venv)
,否则说明出错执行
pip install -r requirements.txt --no-deps
,如果提示失败,执行如下2条命令切换pip镜像到阿里镜像pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ pip config set install.trusted-host mirrors.aliyun.com
然后重新执行,如果已切换到阿里镜像源,仍提示失败,请尝试执行
pip install -r requirements.txt --ignore-installed --no-deps
如果要使用CUDA加速,分别执行
pip uninstall -y torch torchaudio
pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118
windows 如果要启用cuda加速,必须有英伟达显卡,并且配置好了CUDA11.8+环境,具体安装见 CUDA加速支持
解压 ffmpeg.zip 到当前源码目录下,提示覆盖则覆盖,解压后确保源码下的ffmepg文件夹内能看到 ffmpeg.exe ffprobe.exe ytwin32.exe,
python sp.py
打开软件界面
- 默认使用 ctranslate2的4.x版本,仅支持CUDA12.x版本,如果你的cuda低于12,并且无法升级cuda到12.x,请执行命令卸载ctranslate2然后重新安装
pip uninstall -y ctranslate2
pip install ctranslate2==3.24.0
- 可能会遇到
xx module not found
之类错误,请打开 requirements.txt,搜索该 xx 模块,然后将xx后的 ==及等会后的版本号去掉
请查看 https://pyvideotrans.com/guide.html
下载地址: https://pyvideotrans.com/model.html
模型说明和区别介绍:https://pyvideotrans.com/02.html
本程序主要依赖的部分开源项目
- ffmpeg
- PySide6
- edge-tts
- faster-whisper
- openai-whisper
- pydub
支持一键字幕识别+翻译+配音的工具「VideoTrans」可以根据需要设置各个选项,自由配置组合,实现翻译和配音、自动加减速、合并等。
功能特色:
视频自动识别生成字幕
生成字幕后,可在软件中对字幕进行修改后再生成配音;
多种配音角色可选择
可选 edgeTTS | OpenAI-tts | Elevenlabs 多种配音角色,并支持 clone-voice 原音色配音和 GPT-SoVITS;
支持多种翻译引擎
microsoft+google+chatGPT+DeepL+Baidu+DeepLX+Gemini+tencent+OTT离线翻译;
支持的语言:
中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语。
官方网站:
https://pyvideotrans.com
项目地址:
https://github.com/jianchang512/pyvideotrans)
No comments:
Post a Comment