Danmu2Voice

本文为本人开源软件danmu2voice的使用介绍,

github链接 点点star吧求求啦~

实现弹幕转语音功能:

捕获bilibili直播间弹幕->交给API生成回复->使用另一款AI将回复转换为语音->播放

附带一个窗口(可隐藏)用来显示当前的对话。

效果展示

窗口页面

运行danmu2voice中的main.py 后会创建一个可拖动的,置顶的灰色窗口(窗口样式可以在window.py 文件中更改)

window

并在任务栏折叠区打开一个小图标。

右键/双击它可以切换窗口的状态(隐藏or显示)

右键可以退出danmu2voice程序。

在接收到一个弹幕后,窗口会显示当前处理的弹幕,以及AI的回复。

在这里插入图片描述

命令行

在danmu2voice的命令行中直接输入文本会让AI照着念(不通过LLM得到回复)。

danmu2voice程序的命令行显示如下:

GPT-SoVITS命令行显示如下:

安装

注意事项

本文使用环境如下:

  • conda 24.9.2
  • pip 25.1
  • python 3.10.16(>=3.8)
  • MSVC v143
  • Windows 11 SDK

安装GPT-SoVITS

GPT-SoVITS 是一款开源的AI配音项目,方便部署。

官方安装教程戳这里:https://github.com/RVC-Boss/GPT-SoVITS?tab=readme-ov-file

  1. 下载整合包(附链接)

得到和GPT-SoVITS-v3lora-20250228 类似的压缩包,解压他。

  1. 下载语音包

本文以派蒙模型为例,bilibili 视频链接

我使用的模型-> 夸克网盘下载链接

(将下载的内容存放到合适的地方,之后还要用到他们的path)

修改config.py中的参数(sovits_path对应xxx.pth , gpt_path对应xxx.ckpt)

sovits_path = "D:/0file/projs/GPT-SoVITS-v3lora-20250228/SoVITS_weights/派蒙_e10_s19390.pth"
gpt_path = "D:/0file/projs/GPT-SoVITS-v3lora-20250228/GPT_weights/派蒙-e10.ckpt"

请确保可以正常运行GPT-SoVITS的webui.pyapi.py

安装danmu2voice

  1. 克隆本仓库

  2. 安装依赖

pip install -r requirements.txt

如果在安装bilibili-api的过程中遇到了“cython source“问题,可能是安装依赖pyyaml时遇到的问题,尝试下面的解决办法:

https://stackoverflow.com/questions/77490435/attributeerror-cython-sources.

获取大语言模型的API

自选一个大语言模型平台,充值获取API使用额度(或者使用赠送的免费额度)。

如果你还没有合适的LLM的API平台,那么可以使用我的邀请码yWv37GkL注册硅基流动,可以获得额外的免费额度!

获取API_url和Authorization

下面以硅基流动的API调用过程举例:

  • Authorization: 在API密钥界面新建一个API,密钥描述随便写。

之后会得到类似sk-zckdxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxjoinep 的字符串。(这是你使用AI的凭证,请务必妥善保管他。)

  • API_url: 选择合适的模型,找到他的POST请求地址(也就是API_url),如果你选择的是v3,那么地址如下:https://api.siliconflow.cn/v1/chat/completions

bilibili live

在此模块需要获取的内容有:

  1. 你的直播间的房间号 ROOMID

如果你的直播间的链接是https://live.bilibili.com/1732028631 ,那么ROOMID = 1732028631

  1. 你的bilibili账号UID

如果你的个人主页的链接是https://space.bilibili.com/381771544 ,那么UID = 381771544

  1. cookies

在浏览器中打开你的直播间页面,按F12,找到“应用”(火狐浏览器为storage),

找到cookies,复制SESSDATAbili_jct

配置config.py

config_tmp.py 改名为config.py

按照你的需求配置config.py。

并将前几个小节中获得的如API keys,ROOMID,UID,sessdata和bili_jct写入config.py中。

运行danmu2voice

到此位置,便完成了所有的配置过程,下面是启动过程:

  1. 首先运行GPT-SoVITS:运行GPT-SoVITS项目文件中的api.py (注意修改路径):
D:/0file/projs/GPT-SoVITS-v3lora-20250228/runtime/python.exe "D:/0file/projs/GPT-SoVITS-v3lora-20250228/api.py" -dr "D:/0file/projs/GPT-SoVITS-v3lora-20250228/voice/paiMeng/说话-既然罗莎莉亚说足迹上有元素力,用元素视野应该能很清楚地看到吧。.wav" -dt "既然罗莎莉亚说足迹上有元素力,用元 素视野应该能很清楚地看到吧。" -dl "zh"
  1. 运行danmu2voice项目中的main.py
python ./main.py
Logo

欢迎加入DeepSeek 技术社区。在这里,你可以找到志同道合的朋友,共同探索AI技术的奥秘。

更多推荐