Difusão estável no seu bolso? “Draw Things” traz imagens de IA para o iPhone

Na quarta-feira, um desenvolvedor de San Francisco chamado Liu Liu lançou o Draw Things: AI Generation, um aplicativo gratuito disponível na App Store que permite que os proprietários de iPhone executem o popular gerador de imagens Stable Diffusion AI. Digite uma descrição e o aplicativo gera uma imagem em alguns minutos. É um passo notável para levar a síntese de imagens a um público mais amplo — com a privacidade adicional de executá-lo em seu próprio hardware.

Introduzido em agosto, o Stable Diffusion (SD) é um modelo gerador de imagens de IA que cria novas imagens a partir de descrições de texto (chamadas “prompts”). Normalmente, as pessoas executam o SD por meio do serviço comercial DreamStudio, em uma máquina em nuvem remota com tempo de computação alugado ou localmente em um PC usando uma implementação de código aberto personalizada. Ao executar localmente, o SD requer uma GPU bastante robusta para gerar imagens rapidamente, mas alguns desenvolvedores otimizaram o modelo para rodar em GPUs mais antigas com menos VRAM (se você não se importar em esperar mais para ver os resultados).

Na mesma linha, Liu Liu conseguiu otimizar o Stable Diffusion para rodar no iPhone, um processo um tanto difícil que o desenvolvedor descreveu em um post no blog. “O principal desafio é executar o aplicativo nos dispositivos iPhone com 6GiB de RAM”, escreve Liu Liu. “6GiB soa muito, mas o iOS começará a matar seu aplicativo se você usar mais de 2,8GiB em um dispositivo de 6GiB e mais de 2GiB em um dispositivo de 4GiB.”

Ao executar o Draw Things pela primeira vez, o aplicativo baixa vários arquivos necessários – incluindo o modelo Stable Diffusion 1.4 – para o seu iPhone. Para usá-lo, digite um prompt na parte superior da tela e toque em “Gerar”. Entre a geração de imagens, toque no número no centro superior da tela para randomizar a semente, que é um número que orienta parcialmente a geração da imagem.

Em nosso iPhone 11 Pro, gerar uma imagem 384×384 levou pouco mais de dois minutos. É mais rápido em um iPhone 14 Pro, de acordo com Liu Liu, gerando uma imagem em cerca de um minuto. De qualquer forma, SD é computacionalmente intensivo. Após sucessivas gerações, nosso iPhone ficou notavelmente quente ao toque.

Vale a pena notar que com Difusão Estável, imagens 384×384 geralmente geram resultados relativamente pobres e com poucos detalhes porque os criadores do SD treinaram o modelo usando imagens 512×512. Ao tentar gerar uma imagem de 512 × 512 em nosso iPhone 11 Pro, recebemos um aviso e continuamos assim mesmo, mas o aplicativo travou em uma tela preta.

Além das funções regulares de geração de imagem, o Draw Things também suporta pintura interna, que permite substituir uma parte de uma imagem por imagens geradas por IA e carregar modelos extras de síntese de imagem, como o modelo não autorizado “Modern Disney Diffusion” (que gera Disney- com aparência de personagens) e o modelo “Waifu Diffusion” movido a anime (nós testamos, e é possível gerar material NSFW usando o aplicativo, então fique avisado). A inclusão desses recursos significa que o Draw Things pode não permanecer na App Store por muito tempo se se tornar popular, pois o conteúdo gerado pode violar os termos de serviço da Apple.

Seja qual for o seu destino, o Draw Things parece uma importante prova de conceito, mostrando que o Stable Diffusion pode ser executado localmente no iPhone, mesmo que lentamente. Se o aplicativo permanecer – talvez com alguns filtros ou modificações – Liu Liu descreve espaço para possíveis otimizações futuras que podem acelerar as coisas: “Provavelmente deixei 50% de desempenho na mesa ainda”.

Esta não é a primeira vez que o Stable Diffusion é executado em um iPhone. Em setembro, o desenvolvedor Matt Waller correu Stable Diffusion localmente em seu iPhone XS, mas ele não forneceu um aplicativo da App Store que permitisse que outros replicassem o feito. Provavelmente veremos mais sínteses de imagens de IA locais em smartphones à medida que os dispositivos continuarem a aumentar o poder computacional.

Vai para discussão…