Como o FreeU Potencializa Modelos de Difusão para Geração de Imagens e Vídeos

Os avanços recentes em modelos de difusão, como o SD-XL e o ControlNet, marcaram uma nova era na geração de imagens e vídeos com base em descrições textuais. No entanto, apesar de sua eficácia, muitos desses modelos enfrentam limitações quando se trata de detalhes finos, resolução e a consistência das características geradas. A solução proposta pelo FreeU (Free Lunch for U-Net) surge como uma ferramenta poderosa para aprimorar a qualidade dos resultados, potencializando o desempenho de modelos existentes, como o ScaleCrafter, LCM, e até mesmo o ControlNet.

O FreeU atua principalmente ao melhorar as capacidades de redes neurais de difusão, aumentando a resolução das imagens geradas e permitindo a produção de resultados de maior qualidade. Por exemplo, ao integrar o FreeU com o modelo ScaleCrafter, é possível gerar imagens em 4K com detalhes e texturas significativamente superiores, que não seriam alcançadas com o uso exclusivo do modelo original. Essa melhoria se dá pela incorporação de escalonamentos inteligentes nas conexões da rede neural, o que resulta em imagens mais detalhadas e com melhor fidelidade visual.

Quando o FreeU é aplicado ao ControlNet, um framework projetado para controle condicional em modelos de difusão de texto-para-imagem, os resultados são ainda mais impressionantes. A combinação do ControlNet com o FreeU melhora a qualidade das imagens geradas, com detalhes mais nítidos e características aprimoradas tanto no fundo quanto no primeiro plano. Isso é particularmente relevante, considerando que o modelo ControlNet já oferece imagens com um alto nível de detalhamento. A capacidade do FreeU de refinar ainda mais esses detalhes confirma sua eficácia como uma ferramenta de aprimoramento.

Outro modelo que se beneficia do FreeU é o LCM, uma técnica eficiente de destilação guiada em uma única etapa. Quando o FreeU é incorporado ao LCM, a qualidade das imagens geradas aumenta consideravelmente, com uma melhoria visível nos detalhes. Isso se traduz em resultados mais precisos e refinados, permitindo que os modelos de difusão mais simples, como o LCM, ofereçam outputs mais próximos dos gerados por modelos mais avançados.

No campo da geração de vídeos, o FreeU também demonstra seu valor. ModelScope, uma das ferramentas de ponta para a geração de vídeos a partir de descrições textuais, é um exemplo notável de como a integração do FreeU pode melhorar significativamente a qualidade do conteúdo gerado. Com a ajuda do FreeU, o ModelScope consegue produzir vídeos de alta qualidade com uma aparência mais clara e um movimento mais detalhado. Um exemplo simples seria a criação de uma cena de um astronauta no espaço, onde o FreeU ajuda a renderizar não apenas uma imagem precisa do astronauta, mas também o ambiente ao redor com maior clareza.

A análise quantitativa das melhorias proporcionadas pelo FreeU em tarefas de geração de vídeos demonstra consistentemente uma melhoria nos resultados. Quando comparado com o ModelScope sem a integração do FreeU, a versão aprimorada apresenta vídeos com uma aparência mais vívida e um movimento mais fluido, alinhando melhor com a descrição textual fornecida. Isso se reflete em métricas como o MUSIQ-AVA e LAION-Aes, que indicam melhorias consideráveis nas capacidades gerativas de ModelScope ao integrar o FreeU.

O impacto do FreeU não se limita apenas à sua capacidade de aumentar a qualidade das imagens e vídeos gerados, mas também na maneira como ele melhora a estrutura interna dos modelos de difusão. A introdução de escalonadores de características de backbone e de skip connections no FreeU é uma abordagem inovadora que equilibra os contribuições de diferentes partes da rede neural, proporcionando um controle mais preciso sobre os detalhes das imagens geradas. Esse balanceamento cuidadoso entre diferentes fatores da rede reduz problemas como a suavização excessiva das texturas, resultando em imagens mais realistas.

Além disso, a implementação do FreeU em conjunto com estratégias de escalonamento relacionadas à estrutura do backbone oferece um controle refinado sobre a redução de ruídos e a preservação de texturas. Isso permite que o modelo gere imagens e vídeos com uma melhor preservação de detalhes finos, ao mesmo tempo em que minimiza a distorção visual comum em modelos de difusão tradicionais.

Portanto, o FreeU se apresenta como uma solução robusta para superar as limitações de modelos de difusão existentes. Sua integração aprimora significativamente a qualidade da geração de imagens e vídeos, resultando em outputs mais detalhados, com texturas mais ricas e maior consistência visual. Seja em tarefas de geração de imagens de alta resolução ou na criação de vídeos animados e realistas, a adição do FreeU leva os modelos de difusão a um novo nível de performance.

Controle Independente das Partes do Corpo na Geração de Movimento 3D Dirigido por Texto

De forma análoga ao controle independente das partes do corpo, o MotionDiffuse calcula primeiramente o termo de ruído εtime i = εθ (xt , t, Texti,∗) para cada segmento de tempo e, então, interpola esses termos de ruído com uma correção: ⎛ ⎞ ∑NT ∑ .εtime = εtime ⎝ i + λ2 · ∇ ‖εtime t m i − ε i e‖⎠ ( 6.1 ) 1 i , 1 3 2 i=1 1≤i1,i2≤NT, onde εtime i . é a versão preenchida de εtime i . e λ2 é outro hiperparâmetro.

Quando imaginamos o módulo SMA no ReMoDiffuse sem o ramo de recuperação, obtemos uma combinação de autoatenção eficiente e atenção cruzada eficiente. O vetor de características da sequência de movimento e o vetor de características do texto são projetados linearmente utilizando os pesos WV Lm×(H·Lg) e WV Lt×(H·Lg), respectivamente. Os resultados são combinados para formar a matriz V ∈ (Nm+Nt)×H×L R g. A operação softmax é então aplicada na última dimensão da matriz K, o que resulta em K̂. As características em V são agrupadas em H × Ng grupos, ponderadas pelos valores normalizados de K, o que gera os templates globais G ∈ H×Ng×L R g.

A geração refinada no FineMoGen revisita o papel dos templates globais e da atenção multi-cabeça, incorporando independência temporal e espacial. O SAMI (Spatio-Temporal MIxture Attention) introduz dois ramos: temporal e espacial. Os resultados desses dois ramos são então combinados para gerar a saída final: Yk,i = YT k,i + YS k,i. O ramo temporal refina as características temporais, enquanto o ramo espacial aborda a comunicação entre as diferentes partes do corpo, com cada cabeça de atenção mapeada diretamente para uma parte do corpo.

O ramo temporal modela as interações entre os diferentes intervalos de tempo de maneira escalável, utilizando um sinal de template que varia no tempo e capturando a importância relativa desses templates em cada posição do movimento. Já o ramo espacial divide a representação em NS grupos, com cada grupo correspondente a uma parte específica do corpo. Este modelo permite que as partes do corpo comuniquem entre si de maneira mais eficiente e com maior controle sobre a independência temporal e espacial.

O modelo SAMI oferece, assim, uma solução robusta para os desafios da geração de movimento 3D dirigido por texto, aprimorando a consistência semântica e a suavidade dos movimentos, ao mesmo tempo em que mantém a independência e a flexibilidade de cada parte do corpo e do tempo.