ModelScope
免费相关工具推荐
MoneyPrinterTurbo是一款开源的AI短视频自动生成工具，只需提供视频主题或关键词，即可全自动完成视频文案撰写、素材匹配、字幕生成和背景音乐配置，最终合成为高清短视频。支持Web界面和API两种使用方式，提供多个大语言模型接入选项。内置丰富的视频素材库和背景音乐资源，支持自定义字幕样式和视频参数。采用模块化设计，各环节可独立配置和替换。适合短视频批量生产场景，大幅降低视频制作的人力和时间成本。提供详细的中文文档和社区支持，对中文用户友好。
VibeVoice是微软开源的前沿语音AI项目，包含文本转语音（TTS）和语音识别（ASR）两大核心模块。TTS模块提供实时流式语音合成和高质量离线合成两种模式，支持多种语言和音色。ASR模块可一次性处理60分钟长音频，生成包含说话人、时间戳和内容的结构化转录结果，支持50余种语言。提供0.5B轻量级实时TTS模型，支持多语言和多种风格音色。集成Hugging Face Transformers，可无缝接入现有项目。支持vLLM推理加速，提供微调代码用于自定义训练。
Open-Sora是由HPC-AI Tech开发的开源AI视频生成模型，致力于通过开源方式复现OpenAI Sora级别的视频生成能力。该项目基于扩散Transformer架构，支持文本到视频和图像到视频的生成，能够创建长达数十秒的高质量视频内容。Open-Sora采用高效的训练策略和创新的架构设计，在保持生成质量的同时大幅降低了训练成本。项目持续迭代更新，支持多种分辨率和宽高比的视频生成，是目前开源视频生成领域最受关注的项目之一，为研究者和开发者提供了探索AI视频生成的完整工具链。
Stable Video Diffusion是由Stability AI推出的开源AI视频生成模型，基于Stable Diffusion的图像生成能力扩展到视频领域。该模型采用潜空间扩散架构，能够从单张图片生成高质量的动态视频，也支持文本到视频的生成。SVD模型在大规模视频数据集上训练，具备出色的运动建模能力和视觉质量。项目在Stability AI的generative-models仓库中开源，提供多个版本的模型权重，支持不同分辨率和帧率的视频生成。作为Stable Diffusion生态系统的重要扩展，SVD为开源视频生成奠定了坚实基础。