Luna AI是一款先进的全自动AI直播系统,结合了ChatterBot、GPT、Claude等多种AI技术,支持本地和云端运行。利用Live2D和UE5技术,它能够作为虚拟主播在Bilibili、抖音等平台进行实时互动直播,或在本地与用户聊天。该系统集成了自然语言处理和文本转语音技术,如Edge-TTS和VITS-Fast,提供丰富的互动体验。此外,Luna AI还支持Stable Diffusion绘图功能,为直播增添互动乐趣。项目结构清晰,包括配置文件、GUI主程序、多个功能性文件夹,适用于多种操作系统。
1、虚拟主播和实时互动
利用Live2D、Vtube Studio、UE5加上Audio2Face技术,Luna AI可以作为一个虚拟主播出现在Bilibili、抖音、快手、斗鱼等直播平台上。这些技术使得虚拟主播具有逼真的外观和表情,能够吸引观众并提供沉浸式的观看体验。2、自然语言处理和文本转语音
项目使用了多种自然语言处理和文本转语音技术,如Edge-TTS、VITS-Fast、elevenlabs、bark-gui、VALL-E-X,以生成对观众问题的回答。这些技术允许Luna AI以自然、流畅的方式与观众互动。同时,so-vits-svc和DDSP-SVC提供变声功能,增加了直播的多样性和趣味性。3、绘画功能
通过特定指令,Luna AI能够协同Stable Diffusion进行绘画展示。这一功能不仅增加了直播的互动性,也为观众提供了视觉上的享受。4、技术和框架集成
Luna AI整合了众多AI技术和框架,包括但不限于ChatterBot(一个用于构建聊天机器人的库)、GPT(一个强大的文本生成模型)、Claude(一个多用途的AI语言模型)、langchain(用于构建和运行语言链)、chatglm(一个基于GPT的聊天模型)、text-generation-webui(用于文本生成的前端界面)、讯飞星火(提供语音识别和合成服务)、智谱AI(提供AI相关的服务和技术)。这些技术的结合使得Luna AI在语言处理和响应方面异常强大。Luna AI官网:https://github.com/0x648/luna-ai
还没有评论,来说两句吧...