本文作者:zhujue

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成

zhujue 2023-10-13 21:45:07 32 抢沙发
每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成摘要: ...

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第1张

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成

2023-04-04 15:55:01


写在前面

昨天试用了一下NASTool新添加的字幕生成和字幕翻译工作,深深感受到了目前AI的强大力量。当然这个时间是非常耗时的,从音轨提取、字幕生成再到翻译成为最终字幕,所需时间大约需要1-2个小时(视视频文件长短和本地AI算力决定)。

阅读指南

  • 本文针对所有NAS用户,使用当前最新套件版和docker版本NASTool(3.1.2),如果后续作者有重要更新,不排除后续会有补充文章;

  • 考虑到如果一文写完,会忽略许多细节,且文章篇幅过长,不利于阅读,因此NASTool教程会拆分成几个部分,每个部分都和前一部分紧密相连,请按顺序阅读;

  • 本系列所有教程只供学习交流使用,请尊重所有创作者的知识产权,请勿将本教程用于传播盗版资源等违法用途。

  • 系列教程中涵盖了群晖下载工具、jellyfin等影音库搭建教程,如果暂时不想搭建nastool的,也可以参考这些教程优化nas;

  • 在开始前,你需要准备一台nas;

  • 由于审核限制,其中部分内容缺失。

  • {

  •     "message": "404 not found"

  • }

实际操作

ssh连接群晖,进入nastool docker容器:

docker exec -it —user nt jxxghp-nas-tools /bin/bash

注:还不清楚如何将套件版切换为docker版的朋友,可以看我的上一篇文章。

每天一个群晖小tip 篇二十三:nastool进阶教程(二)——套件版转docker版

执行一键安装脚本即可,这里我用了large模型(很抱歉,这里不能放):

然后在NASTool里面添加一下API:

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第2张添加API

在插件>AI字幕自动生成填写相应信息即可,文件路径可直接复制ssh命令行生成的路径即可。

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第3张前端设置

体验

字幕生成

字幕生成的具体过程是先提取视频音轨,然后在本地使用AI模型完成。因此需要本地使用算力比较强大,如果没有GPU的话会产生比较高的CPU占用,详情见下:

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第4张群晖系统资源占用

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第5张ESXI占用

我的10900K终于是要接近满负载运行了( Ĭ ^ Ĭ ),以后谁要再来问,你用这么强大的硬件组NAS干什么,你就可以理直气壮的回答他用来生产AI字幕啊。

下图是针对《更衣人偶坠入爱河》第一集的部分的生成示例:

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第6张日语字幕示例

它连bgm什么的都标注出来了,不明觉厉中。

注:如果视频内已经内置字幕文件,NASTool会跳过字幕生成,直接进行字幕翻译。

字幕翻译

字幕翻译需要使用到chatgpt API,目前总共测试了两个视频的字幕翻译,结果如下:

无字幕源文件——日语字幕生成+翻译

这个体验目前大概停留在“图一乐”的阶段,绝大部分不需要上下文理解的意思,基本都能翻译个八九不离十。

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第7张日语字幕翻译示例

不过里面还会出现ChatGPT的对话,比较影响观感。

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第8张翻译错误

因此,大家拿来翻个小姐姐还行(不过等待字幕生成+翻译完成需要两个小时,感觉黄花菜也凉了hhhh),正经看个剧看个电影还是乖乖去找字幕文件吧。

有字幕源文件——英语字幕翻译

测试影片为《最后生还者》第一季第九集,时长因为已经内嵌英文字幕,NASTool只需要提取内嵌字幕进行翻译即可。

翻译耗费时间如下图所示:

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第9张纯翻译所需要时间

这类需求全程在线完成,不耗费本地资源,适合用于刚刚发布的媒体资源,还没有字幕组进行翻译的时候。生成的翻译字幕非常准确,算是可以用的水准了。

每天一个群晖小tip 篇二十四:NASTool进阶教程(三)——AI字幕生成 群晖 影音 nastool 第10张英文字幕翻译示例

总结

AI确实是可以改变人类生活的。很多年前设想的一键中文字幕生成已经在今天变成了现实,尤其是在英文字幕生成和翻译已经达到了可用的阶段。当然AI强大功能的应用远不止于此,还需要各位自己去探索。

AI确实可以替代掉你的工作,但是你只要会用AI替你工作,你就不会被淘汰掉。


文章投稿或转载声明

来源:冥冰薇版权归原作者所有,转载请保留出处。本站文章发布于 2023-10-13 21:45:07
温馨提示:文章内容系作者个人观点,不代表天云博客对其观点赞同或支持。

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阅读
分享

发表评论

快捷回复:

评论列表 (暂无评论,32人围观)参与讨论

还没有评论,来说两句吧...