danmu2voice:捕获bilibili直播间弹幕并进行AI回复和AI配音
本文为本人开源软件danmu2voice的使用介绍,点点star吧求求啦~附带一个窗口(可隐藏)用来显示当前的对话。
Danmu2Voice
本文为本人开源软件danmu2voice的使用介绍,
github链接 点点star吧求求啦~
实现弹幕转语音功能:
捕获bilibili直播间弹幕->交给API生成回复->使用另一款AI将回复转换为语音->播放
附带一个窗口(可隐藏)用来显示当前的对话。
效果展示
窗口页面
运行danmu2voice中的main.py
后会创建一个可拖动的,置顶的灰色窗口(窗口样式可以在window.py
文件中更改)
并在任务栏折叠区打开一个小图标。
右键/双击它可以切换窗口的状态(隐藏or显示)
右键可以退出danmu2voice程序。
在接收到一个弹幕后,窗口会显示当前处理的弹幕,以及AI的回复。
命令行
在danmu2voice的命令行中直接输入文本会让AI照着念(不通过LLM得到回复)。
danmu2voice程序的命令行显示如下:
GPT-SoVITS命令行显示如下:
安装
注意事项
本文使用环境如下:
- conda 24.9.2
- pip 25.1
- python 3.10.16(>=3.8)
- MSVC v143
- Windows 11 SDK
安装GPT-SoVITS
GPT-SoVITS 是一款开源的AI配音项目,方便部署。
官方安装教程戳这里:https://github.com/RVC-Boss/GPT-SoVITS?tab=readme-ov-file
- 下载整合包(附链接)
得到和GPT-SoVITS-v3lora-20250228
类似的压缩包,解压他。
- 下载语音包
本文以派蒙模型为例,bilibili 视频链接
我使用的模型-> 夸克网盘下载链接
(将下载的内容存放到合适的地方,之后还要用到他们的path)
修改config.py中的参数(sovits_path对应xxx.pth , gpt_path对应xxx.ckpt)
sovits_path = "D:/0file/projs/GPT-SoVITS-v3lora-20250228/SoVITS_weights/派蒙_e10_s19390.pth"
gpt_path = "D:/0file/projs/GPT-SoVITS-v3lora-20250228/GPT_weights/派蒙-e10.ckpt"
请确保可以正常运行GPT-SoVITS的
webui.py
和api.py
安装danmu2voice
-
克隆本仓库
-
安装依赖
pip install -r requirements.txt
如果在安装bilibili-api的过程中遇到了“cython source“问题,可能是安装依赖pyyaml时遇到的问题,尝试下面的解决办法:
https://stackoverflow.com/questions/77490435/attributeerror-cython-sources.
获取大语言模型的API
自选一个大语言模型平台,充值获取API使用额度(或者使用赠送的免费额度)。
如果你还没有合适的LLM的API平台,那么可以使用我的邀请码yWv37GkL注册硅基流动,可以获得额外的免费额度!
获取API_url和Authorization
下面以硅基流动的API调用过程举例:
- Authorization: 在API密钥界面新建一个API,密钥描述随便写。
之后会得到类似sk-zckdxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxjoinep
的字符串。(这是你使用AI的凭证,请务必妥善保管他。)
- API_url: 选择合适的模型,找到他的POST请求地址(也就是API_url),如果你选择的是v3,那么地址如下:
https://api.siliconflow.cn/v1/chat/completions
bilibili live
在此模块需要获取的内容有:
- 你的直播间的房间号 ROOMID
如果你的直播间的链接是https://live.bilibili.com/1732028631
,那么ROOMID = 1732028631
- 你的bilibili账号UID
如果你的个人主页的链接是https://space.bilibili.com/381771544
,那么UID = 381771544
- cookies
在浏览器中打开你的直播间页面,按F12,找到“应用”(火狐浏览器为storage),
找到cookies,复制SESSDATA
和bili_jct
配置config.py
将config_tmp.py
改名为config.py
按照你的需求配置config.py。
并将前几个小节中获得的如API keys,ROOMID,UID,sessdata和bili_jct写入config.py中。
运行danmu2voice
到此位置,便完成了所有的配置过程,下面是启动过程:
- 首先运行GPT-SoVITS:运行GPT-SoVITS项目文件中的
api.py
(注意修改路径):
D:/0file/projs/GPT-SoVITS-v3lora-20250228/runtime/python.exe "D:/0file/projs/GPT-SoVITS-v3lora-20250228/api.py" -dr "D:/0file/projs/GPT-SoVITS-v3lora-20250228/voice/paiMeng/说话-既然罗莎莉亚说足迹上有元素力,用元素视野应该能很清楚地看到吧。.wav" -dt "既然罗莎莉亚说足迹上有元素力,用元 素视野应该能很清楚地看到吧。" -dl "zh"
- 运行danmu2voice项目中的main.py
python ./main.py
更多推荐
所有评论(0)