2023-04-04 15:55:01每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成
写在前面
昨天试用了一下NASTool新添加的字幕生成和字幕翻译工作,深深感受到了目前AI的强大力量。当然这个时间是非常耗时的,从音轨提取、字幕生成再到翻译成为最终字幕,所需时间大约需要1-2个小时(视视频文件长短和本地AI算力决定)。
阅读指南
本文针对所有NAS用户,使用当前最新套件版和docker版本NASTool(3.1.2),如果后续作者有重要更新,不排除后续会有补充文章;
考虑到如果一文写完,会忽略许多细节,且文章篇幅过长,不利于阅读,因此NASTool教程会拆分成几个部分,每个部分都和前一部分紧密相连,请按顺序阅读;
本系列所有教程只供学习交流使用,请尊重所有创作者的知识产权,请勿将本教程用于传播盗版资源等违法用途。
系列教程中涵盖了群晖下载工具、jellyfin等影音库搭建教程,如果暂时不想搭建nastool的,也可以参考这些教程优化nas;
在开始前,你需要准备一台nas;
由于审核限制,其中部分内容缺失。
{
"message": "404 not found"
}
实际操作
ssh连接群晖,进入nastool docker容器:
docker exec -it —user nt jxxghp-nas-tools /bin/bash
注:还不清楚如何将套件版切换为docker版的朋友,可以看我的上一篇文章。
每天一个群晖小tip 篇二十三:nastool进阶教程(二)——套件版转docker版
执行一键安装脚本即可,这里我用了large模型(很抱歉,这里不能放):
然后在NASTool里面添加一下API:
在插件>AI字幕自动生成填写相应信息即可,文件路径可直接复制ssh命令行生成的路径即可。
体验
字幕生成
字幕生成的具体过程是先提取视频音轨,然后在本地使用AI模型完成。因此需要本地使用算力比较强大,如果没有GPU的话会产生比较高的CPU占用,详情见下:
我的10900K终于是要接近满负载运行了( Ĭ ^ Ĭ ),以后谁要再来问,你用这么强大的硬件组NAS干什么,你就可以理直气壮的回答他用来生产AI字幕啊。
下图是针对《更衣人偶坠入爱河》第一集的部分的生成示例:
它连bgm什么的都标注出来了,不明觉厉中。
注:如果视频内已经内置字幕文件,NASTool会跳过字幕生成,直接进行字幕翻译。
字幕翻译
字幕翻译需要使用到chatgpt API,目前总共测试了两个视频的字幕翻译,结果如下:
无字幕源文件——日语字幕生成+翻译
这个体验目前大概停留在“图一乐”的阶段,绝大部分不需要上下文理解的意思,基本都能翻译个八九不离十。
不过里面还会出现ChatGPT的对话,比较影响观感。
因此,大家拿来翻个小姐姐还行(不过等待字幕生成+翻译完成需要两个小时,感觉黄花菜也凉了hhhh),正经看个剧看个电影还是乖乖去找字幕文件吧。
有字幕源文件——英语字幕翻译
测试影片为《最后生还者》第一季第九集,时长因为已经内嵌英文字幕,NASTool只需要提取内嵌字幕进行翻译即可。
翻译耗费时间如下图所示:
这类需求全程在线完成,不耗费本地资源,适合用于刚刚发布的媒体资源,还没有字幕组进行翻译的时候。生成的翻译字幕非常准确,算是可以用的水准了。
总结
AI确实是可以改变人类生活的。很多年前设想的一键中文字幕生成已经在今天变成了现实,尤其是在英文字幕生成和翻译已经达到了可用的阶段。当然AI强大功能的应用远不止于此,还需要各位自己去探索。
AI确实可以替代掉你的工作,但是你只要会用AI替你工作,你就不会被淘汰掉。
还没有评论,来说两句吧...