Total Pageviews

Sunday, 28 January 2024

AI翻译视频和音频工具 支持语音克隆-Rask AI


Rask AI是一款基于AI 技术的视频翻译+配音工具，使用AI翻译视频和音频，支持语音克隆，通过”文字转语音”和”语音克隆”技术，可以为视频添加专业品质的配音，而不需要录音或雇用配音演员， 而且现在你可以在配音时保留自己的声音或配音的语气，拒绝机器配音，目前支持130种语言。

网站地址：https://zh.rask.ai/

--------

related post; https://briteming.blogspot.com/2024/02/felo-dubbing-ai-youtube.html

---------

开源视频翻译工具-VideoTrans


VideoTrans是一款开源的视频翻译配音工具，可将一种语言的视频翻译为指定语言的视频，自动生成和添加该语言的字幕和配音。基于Python编写，遵守GPL开源协议。目前支持的语言包括：支持的语言：中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语.

功能特色：

【翻译视频并配音】根据需要设置各个选项，自由配置组合，实现翻译和配音、自动加减速、合并等

【识别字幕不翻译】支持选择视频源语言，从视频【语音中识别出文字】并自动导出字幕文件到目标文件夹

【提取字幕并翻译】选择视频文件，选择视频源语言，设置想翻译到的目标语言，则从【视频语音中识别出文字】并翻译为目标语言，然后导出双语字幕文件到目标文件夹

【字幕和视频合并】选择视频，然后将已有的字幕文件拖拽到右侧字幕区，将源语言和目标语言都设为字幕所用语言、然后选择配音类型和角色，开始执行

【为字幕创建配音】将本地的字幕文件拖拽到右侧字幕编辑器，然后选择目标语言、配音类型和角色，将生成配音后的音频文件到目标文件夹

【音视频识别文字】将视频或音频拖拽到识别窗口，将识别出文字并导出为srt字幕格式

【将文字合成语音】将一段文字或者字幕，使用指定的配音角色生成配音

【从视频分离音频】将视频文件分离为音频文件和无声视频

【音视频字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件

【音视频格式转换】各种格式之间的相互转换

【文字字幕翻译】将文字或srt字幕文件翻译为其他语言

【人声背景乐分离】将视频中的人声和背景音乐分别分离出来，生成2个音频文件

【下载油管视频】可从utube上下载视频

技术栈：

语音识别使用 faster-whisper openai-whisper 离线模型.

文字翻译支持 microsoft|google|baidu|tencent|chatGPT|Azure|Gemini|DeepL|DeepLX|离线翻译OTT ，

文字合成语音支持 Microsoft Edge tts Openai TTS-1 Elevenlabs TTS 自定义TTS服务器api GPT-SoVITS clone-voice

允许保留背景伴奏音乐等(基于uvr5)

源代码：https://github.com/jianchang512/pyvideotrans

--------------------------------------------------------------------------

Translate the video from one language to another and add dubbing. 将视频从一种语言翻译为另一种语言，并添加配音.

pyvideotrans.com

微信公众号：搜一搜“ pyvideotrans ”

视频翻译配音工具

这是一个视频翻译配音工具，可将一种语言的视频翻译为指定语言的视频，自动生成和添加该语言的字幕和配音。

语音识别支持 faster-whisper模型 openai-whisper模型 和 GoogleSpeech zh_recogn阿里中文语音识别模型.

文字翻译支持 微软翻译|Google翻译|百度翻译|腾讯翻译|ChatGPT|AzureAI|Gemini|DeepL|DeepLX|离线翻译OTT

文字合成语音支持 Microsoft Edge tts Google tts Azure AI TTS Openai TTS Elevenlabs TTS 自定义TTS服务器api GPT-SoVITS clone-voice

允许保留背景伴奏音乐等(基于uvr5)

支持的语言：中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语、乌克兰语、哈萨克语、印尼语、马来语、捷克语

主要用途和使用方式

【翻译视频并配音】将视频中的声音翻译为另一种语言的配音，并嵌入该语言字幕

【音频或视频转为字幕】将音频、视频文件中的人类说话声，识别为文字并导出为srt字幕文件

【批量字幕创建配音】根据本地已有的srt字幕文件创建配音，支持单个或批量字幕

【批量字幕翻译】将一个或多个srt字幕文件翻译为其他语言的字幕文件

【音频、视频、字幕合并】音频文件、视频文件、字幕文件合并为一个视频文件

【从视频中分离出音频】从视频中分离为音频文件和无声视频

【下载油管视频】可从youtube上下载视频

 994.mp4 

预打包版本(仅win10/win11可用，MacOS/Linux系统使用源码部署)

使用pyinstaller打包，未做免杀和签名，杀软可能报毒，请加入信任名单或使用源码部署

  1. [点击去下载预打包版,解压到无空格的英文目录后，双击 sp.exe (https://github.com/jianchang512/pyvideotrans/releases)

  2. 解压到英文路径下，并且路径中不含有空格。解压后双击 sp.exe (若遇到权限问题可右键使用管理员权限打开)

  3. 注意：必须解压后使用，不可直接压缩包内双击使用，也不可解压后移动sp.exe文件到其他位置

MacOS源码部署

  1. 打开终端窗口，分别执行如下命令

    执行前确保已安装 Homebrew，如果你没有安装 Homebrew,那么需要先安装

    执行命令安装 Homebrew： /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

    安装完成后，执行： eval $(brew --config)

    brew install libsndfile

brew install ffmpeg

brew install git

brew install python@3.12

    继续执行

    export PATH="/usr/local/opt/python@3.12/bin:$PATH"

source ~/.bash_profile 

source ~/.zshrc

  2. 创建不含空格和中文的文件夹，在终端中进入该文件夹。

  3. 终端中执行命令 git clone https://github.com/jianchang512/pyvideotrans

  4. 执行命令 cd pyvideotrans

  5. 继续执行 python -m venv venv

  6. 继续执行命令 source ./venv/bin/activate，执行完毕查看确认终端命令提示符已变成已(venv)开头,以下命令必须确定终端提示符是以(venv)开头

  7. 执行 pip install -r requirements.txt --no-deps，如果提示失败，执行如下2条命令切换pip镜像到阿里镜像

    pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com

    然后重新执行 如果已切换到阿里镜像源，仍提示失败，请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps

  8. python sp.py 打开软件界面

Mac下详细部署方案

Linux 源码部署

  1. CentOS/RHEL系依次执行如下命令安装 python3.12

sudo yum update

sudo yum groupinstall "Development Tools"

sudo yum install openssl-devel bzip2-devel libffi-devel

cd /tmp

wget https://www.python.org/ftp/python/3.12.0/Python-3.12.0.tgz

tar xzf Python-3.12.0.tgz

cd Python-3.12.0

./configure — enable-optimizations

sudo make && sudo make install

sudo alternatives — install /usr/bin/python3 python3 /usr/local/bin/python3.12 2

sudo yum install -y ffmpeg
  1. Ubuntu/Debian系执行如下命令安装python3.12

apt update && apt upgrade -y

apt install software-properties-common -y

add-apt-repository ppa:deadsnakes/ppa

apt update

sudo apt-get install libxcb-cursor0

apt install python3.12

curl -sS https://bootstrap.pypa.io/get-pip.py | python3.12

pip 23.2.1 from /usr/local/lib/python3.12/site-packages/pip (python 3.12)

sudo update-alternatives --install /usr/bin/python python /usr/local/bin/python3.12 1

sudo update-alternatives --config python

apt-get install ffmpeg

打开任意一个终端，执行 python3 -V，如果显示 “3.12.0”，说明安装成功，否则失败

  1. 创建个不含空格和中文的文件夹， 从终端打开该文件夹。

  2. 终端中执行命令 git clone https://github.com/jianchang512/pyvideotrans

  3. 继续执行命令 cd pyvideotrans

  4. 继续执行 python -m venv venv

  5. 继续执行命令 source ./venv/bin/activate，执行完毕查看确认终端命令提示符已变成已(venv)开头,以下命令必须确定终端提示符是以(venv)开头

  6. 执行 pip install -r requirements.txt --no-deps，如果提示失败，执行如下2条命令切换pip镜像到阿里镜像

    
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com

    然后重新执行,如果已切换到阿里镜像源，仍提示失败，请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps

  7. 如果要使用CUDA加速，分别执行

    pip uninstall -y torch torchaudio

    pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118

    pip install nvidia-cublas-cu11 nvidia-cudnn-cu11

  8. linux 如果要启用cuda加速，必须有英伟达显卡，并且配置好了CUDA11.8+环境,请自行搜索 "Linux CUDA 安装"

  9. python sp.py 打开软件界面

Window10/11 源码部署

  1. 打开 https://www.python.org/downloads/ 下载 windows3.12，下载后双击，一路next，注意要选中“Add to PATH”

    打开一个cmd，执行 python -V，如果输出不是 3.12.3,说明安装出错，或没有加入 Add to PATH,请重新安装

  2. 打开 https://github.com/git-for-windows/git/releases/download/v2.45.0.windows.1/Git-2.45.0-64-bit.exe ，下载git，下载后双击一路下一步。

  3. 找个不含空格和中文的文件夹，地址栏中输入 cmd回车，打开终端，以下命令均在该终端中执行

  4. 执行命令 git clone https://github.com/jianchang512/pyvideotrans

  5. 继续执行命令 cd pyvideotrans

  6. 继续执行 python -m venv venv

  7. 继续执行命令 .\venv\scripts\activate,执行后请查看确认命令行开头已变成了(venv),否则说明出错

  8. 执行 pip install -r requirements.txt --no-deps，如果提示失败，执行如下2条命令切换pip镜像到阿里镜像

    
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/
pip config set install.trusted-host mirrors.aliyun.com

    然后重新执行,如果已切换到阿里镜像源，仍提示失败，请尝试执行 pip install -r requirements.txt --ignore-installed --no-deps

  9. 如果要使用CUDA加速，分别执行

    pip uninstall -y torch torchaudio

    pip install torch torchaudio --index-url https://download.pytorch.org/whl/cu118

  10. windows 如果要启用cuda加速，必须有英伟达显卡，并且配置好了CUDA11.8+环境，具体安装见 CUDA加速支持

  11. 解压 ffmpeg.zip 到当前源码目录下，提示覆盖则覆盖，解压后确保源码下的ffmepg文件夹内能看到 ffmpeg.exe ffprobe.exe ytwin32.exe,

  12. python sp.py 打开软件界面

源码部署问题说明

  1. 默认使用 ctranslate2的4.x版本，仅支持CUDA12.x版本，如果你的cuda低于12，并且无法升级cuda到12.x，请执行命令卸载ctranslate2然后重新安装

pip uninstall -y ctranslate2

pip install ctranslate2==3.24.0
  1. 可能会遇到 xx module not found  之类错误，请打开 requirements.txt，搜索该 xx 模块，然后将xx后的 ==及等会后的版本号去掉

使用教程和文档

请查看 https://pyvideotrans.com/guide.html

语音识别模型:

下载地址： https://pyvideotrans.com/model.html

模型说明和区别介绍：https://pyvideotrans.com/02.html

视频教程(第三方)

Mac下源码部署/b站

用Gemini Api 给视频翻译设置方法/b站

如何下载和安装


相关联项目

OTT:本地离线文字翻译工具

声音克隆工具:用任意音色合成语音

语音识别工具:本地离线的语音识别转文字工具

人声背景乐分离:人声和背景音乐分离工具

GPT-SoVITS的api.py改良版

致谢

本程序主要依赖的部分开源项目

  1. ffmpeg
  2. PySide6
  3. edge-tts
  4. faster-whisper
  5. openai-whisper
  6. pydub
from https://github.com/jianchang512/pyvideotrans
 
（ pyVideoTrans - 字幕识别+翻译+配音

支持一键字幕识别+翻译+配音的工具「VideoTrans」可以根据需要设置各个选项，自由配置组合，实现翻译和配音、自动加减速、合并等。

功能特色：

    视频自动识别生成字幕

生成字幕后，可在软件中对字幕进行修改后再生成配音；

    多种配音角色可选择

可选 edgeTTS | OpenAI-tts | Elevenlabs 多种配音角色，并支持 clone-voice 原音色配音和 GPT-SoVITS；

    支持多种翻译引擎

microsoft+google+chatGPT+DeepL+Baidu+DeepLX+Gemini+tencent+OTT离线翻译；

支持的语言：

中文简繁、英语、韩语、日语、俄语、法语、德语、意大利语、西班牙语、葡萄牙语、越南语、泰国语、阿拉伯语、土耳其语、匈牙利语、印度语。

官方网站：
https://pyvideotrans.com

项目地址：
https://github.com/jianchang512/pyvideotrans）


Posted by at
Labels: ,

No comments:

Post a Comment

Subscribe to: Post Comments (Atom)