
各位鹿友,好久不见。
算下来,差不多两年没更新了。鸽了这么久,久到我重新登录后台,界面都陌生了——连关键字自动回复功能也悄悄失效。
上个月末,和老同学约茶。他两个孩子在商场里到处好奇地摸摸看看,我笑着说:“幼崽真是精力旺盛。”同学回了一句:“因为他们还对世界好奇啊。人年纪一大,什么都不好奇了,也就躺平了。”
我点点头,心里却被点了一下。
回来之后,我做了一个决定:重新开始更新。
这位创作者的slogan一直是“不断的好奇,不停的学习”。可停更的这两年,我自己好像也丢了这份好奇,没了分享欲。
虽然已经踏入人生的下半场,但我还是不想躺平。

以往,我的文字篇幅较长,视频同样冗长,制作过程让我疲惫不堪,而观众也往往难以耐心地观看至终——归根结底,很多时候只是自我陶醉。
因此,这次重启更新,我将尝试一种全新的方式:
我将主要向大家分享我自己精心制作的各类开源AI项目整合包。随后,根据大家的反馈,我会对整合包进行进一步的优化,或者添加新的功能。
内容方面,我也会尽量做到简洁明了。
“保持一颗好奇的心,这正是抵抗衰老的秘诀。我们不妨缓缓前行,但绝不停歇。”

01
项目介绍
今天给大家分享的整合包是 Index-TTS2 1.0 版本:

本篇内容源自B站上的一款开源声音克隆项目,只需上传短短10秒的音频片段,即可实现音色的精准复制。
我过往使用的Index-TTS1.5版本,个人感受颇佳——在GitHub上,它已经获得了高达21K个星标。
相较于1.5版本,Index-TTS2的显著改进在于其情感调节功能。
此外,在制作整合包的过程中,我还额外融入了一些实用的功能。
在下载完压缩包后,建议使用7-Zip进行解压,请注意,解压路径中不要包含中文字符。接着,双击bat文件,耐心等待模型加载完毕,即可启动使用。


02
功能解析详解
使用过程简易至极,只需上传音频素材 → 输入所需文字 → 点击启动生成,片刻等待即可。
所生成的语音文件将自动存放在outputs文件夹中。

测试环境配置:搭载GTX 1070显卡(显存容量为8G),实际显存使用量约为7.8G。以生成一段时长为7秒的语音为例,其处理所需时间大约为54秒。
坦白而言,该系统的推理速度略显缓慢,这或许与所使用的显卡相对较旧有关。未来,我们将进一步观察并尝试对系统进行优化,以期提升其性能。
在此,我们建议用户至少拥有8G的显存容量,而对于长文本的推理任务,则更理想的情况是拥有12G的显存。

在启用“融入情感参考音频”这一选项之后,除了提交需要复制的音色素材之外,还需额外上传一段情感样本音频,以便生成的语音能够融入相应的情感色彩。情感的强度可以通过调整“情感强度系数”来进行控制。
然而,我个人认为这一功能实用性并不高——因为需要额外寻找情感样本,而且对于原参考音色的还原效果也并不理想。此外,一旦启用此功能,推理所需的时间也会相应增加。

运用“情感向量调控”技术,我们得以通过调整情感相关参数来对生成的语音情感进行精确控制。一旦勾选了“情感随机采样”选项,每一次生成的语音情感都将展现出更加丰富的多样性。
尽管这一功能在还原原参考音色的准确性上有所欠缺,并且还会导致推理时间的增加,但与“情感参考音频”相比,它无疑在操作便捷性上略胜一筹。

在开启“展示实验功能”之后,我们便能够通过情感描述的文字来操控语音生成的效果,同时,这一功能还支持情感随机采样的搭配,以此来丰富语音的多样性。
需要注意的是,这一功能归属于官方的实验性版本,因此在音色还原度方面可能存在不足,同时,使用该功能还会导致推理时间的增加。

文章标题:“仅需10秒素材,音色克隆轻松实现”——【Index-TTS2整合包全新升级分享】
(文章第12/22节,正文核心部分,以下为改写内容)
原文片段:
各位好,让我们来探讨一下Index-TTS2的基本功能。而在本整合包中,我对其进行了多项优化与新增了若干实用功能。

02
升级功能与改进细节
本版本新增了音色库功能,并预设了多种常见音色供用户选择。若用户有特定的音色想要进行克隆,只需将音频文件存入“voice”文件夹中,然后点击“更新音色列表”按钮,即可轻松实现。为了确保最佳效果,我们推荐使用Wav或Mp3格式的音频文件。

新增“音色保存”功能:只需输入音色名称,轻点保存按钮,便能够将成功克隆的音色便捷地加入到音色库中。
此功能与将参考音色直接存入voice文件夹的做法相比,有一个显著的不同点:通过克隆得到的音色,不仅能够实现情感调控,而且还能在高级生成参数中进行配置(关于高级生成参数的详细介绍,我们将在后续内容中进行阐述)。

新增语速控制滑块。提醒一下:变速后语音可能会有些失真。

新增字幕生成功能:用户只需轻点生成语音,系统便会自动生成相应的SRT字幕文件,并智能地将其保存在outputs/subtitles文件夹中。

新增字幕配声功能:轻触“字幕配声”按键,原本用于输入文字的文本输入框将自动转换为字幕文件的上传区域。

在导入SRT字幕文件之后,用户可以轻松地在文本框中进行文字编辑。只需轻触“生成语音”按钮,即可让所选音色为字幕内容赋予声音。
然而,需要特别注意的是:由AI模型生成的语音在停顿上具有一定的随机性,因此很难做到与字幕的时间轴实现百分之百的精确同步。

在深入的高级生成参数调整环节,我特别添加了“智能静音优化”这一功能选项。一旦您勾选该项,AI系统将有效减少不合理的停顿,从而使生成的语音更加贴合原始字幕的节奏。
不仅如此,为了提升用户的使用体验,我已经将所有参数进行了全面的汉化处理。同时,我也将官方推荐的参数组合预设化,这样一来,用户便可以轻松地直接选择预设,无需再手动调整每一个参数。

“个性化词汇发音设置”作为系统自带的核心功能,我在此功能之上,精心添加了“词汇更新”与“词汇删除”的操作按钮,极大地提升了编辑的便捷性与效率。

在本次更新中,我详尽地记录了所有优化细节以及高级生成参数的详细解释,并将这些内容整理纳入了WEBUI用户指南文档中,以便用户可以随时轻松查阅。

好了,以上就是今天给大家带来的全部内容。总的来说,个人感觉Index-TTS2在音色复刻方面表现不错,但情感控制还有一段路要走。
第一次制作AI整合包,肯定有很多不足。欢迎鹿友们评论区提意见,我会根据实际情况和可行性持续优化。
今天要分享的内容就到这里,想要整合包的鹿友后台撩我获取。
记得点赞、收藏加关注哦,我们下次见。
本文由“这位创作者”发布
转载前请联系马鹿野郎