一、Luna AI是什么?
Luna AI
是一款结合了最先进技术的虚拟AI主播。它的核心是一系列高效的人工智能模型,包括 ChatterBot、GPT、Claude、langchain、chatglm、text-generation-webui、讯飞星火、智谱AI、谷歌Bard、文心一言、通义星尘、千帆大模型、Gemini、Kimi Chat、QAnything、koboldcpp
。这些模型既可以在本地运行,也可以通过云端服务提供支持。
Luna AI
的外观由 Live2D、Vtube Studio、xuniren 和 UE5 结合 Audio2Face
技术打造,为用户提供了一个生动、互动的虚拟形象。这使得 Luna AI
能够在各大直播平台,如 Bilibili、抖音、快手、微信视频号、斗鱼、YouTube、Twitch 和 TikTok
,进行实时互动直播。当然,它也可以在本地环境中与您进行个性化对话。
为了使交流更加自然,Luna AI
使用了先进的自然语言处理技术,结合文本转语音系统,如 Edge-TTS、VITS-Fast、elevenlabs、bark-gui、VALL-E-X、睿声AI、genshinvoice.top、tts.ai-lab.top、OpenVoice、GPT_SoVITS、clone-voice、Azure TTS
。这不仅让它能够生成流畅的回答,还可以通过 so-vits-svc 和 DDSP-SVC
实现声音的变化,以适应不同的场景和角色。
此外,Luna AI
还能够通过特定指令与 Stable Diffusion
协作,展示画作。用户还可以自定义文案,让 Luna AI 循环播放,以满足不同场合的需求。
二、Luna AI的开源地址:
https://github.com/Ikaros-521/AI-Vtuber
Luna AI的官方地址:
https://ikaros521.eu.org/site/
Luna AI的项目结构:
config.json
配置文件main.py
GUI主程序。会根据配置调用各平台程序utils
文件夹,存储聊天、音频、通用类相关功能的封装实现data
文件夹,存储数据文件、违禁词、文案等log
文件夹,存储运行日志、字幕日志等out
文件夹,存储TTS、SVC输出的音频文件,文案输出的音频文件Live2D
文件夹,存储Live2D源码及模型song
文件夹,存储点歌模式的歌曲docs
文件夹,存储项目相关文档tests
文件夹,存储单一功能点的测试程序cookie
文件夹,存储部分功能需要用到的cookie数据