2月27日 消息:微软的最新研究成果在图像生成领域引起了广泛关注。他们提出了一种全新的文本至图像生成方法，这种方法采用了多重低秩适应（Low-Rank Adaptations， LoRAs）技术，能够创造出高度个性化且细节丰富的图像。
该项目的特色在于其免训练方法。LoRA开关和LoRA组合支持动态精确地整合多个LoRA，无需进行微调。这种方法不同于那些融合LoRA权重的做法，而是专注于解码过程，并保持所有LoRA权重不变。这种创新的方法使得在生成复杂图像组合的场景中，该方法的性能显著优于现有的LoRA合并技术。
项目地址:https://maszhongming.github.io/Multi-LoRA-Composition/
此外，微软还推出了一个全新的综合性测试平台——ComposLoRA。该平台包含480套组合和22个在六大类别中预训练好的LoRA，专为评估基于LoRA的可组合图像生成任务而设计，支持定量评估。
微软还提出了采用GPT-4V作为评估工具，用以判定组合效果及图像质量。该评估工具已证实在与人类评价的相关性上有更好的表现。无论是自动化还是人类评价，微软的方法都显著优于现有的LoRA合并技术。
微软对每种方法在不同场景下的优势进行了深入的分析，并探讨了采用GPT-4V作为评估工具可能存在的偏差。这种详尽的分析为图像生成领域的研究提供了重要的参考。
总的来说，微软的这项研究成果在图像生成领域具有重要意义。他们的免训练方法、全新的测试平台以及基于GPT-4V的评估工具，都为图像生成技术的发展提供了新的思路和工具。
0 条