.
Maçã
Na quarta-feira, a Apple lançou otimizações que permitem que o gerador de imagem Stable Diffusion AI seja executado no Apple Silicon usando o Core ML, a estrutura proprietária da Apple para modelos de aprendizado de máquina. As otimizações permitirão que os desenvolvedores de aplicativos usem o hardware Apple Neural Engine para executar o Stable Diffusion duas vezes mais rápido que os métodos anteriores baseados em Mac.
O Stable Diffusion (SD), lançado em agosto, é um modelo de síntese de imagem de IA de código aberto que gera novas imagens usando entrada de texto. Por exemplo, digitar “astronaut on a dragon” no SD normalmente criará uma imagem exatamente disso.
Ao lançar as novas otimizações de SD – disponíveis como scripts de conversão no GitHub – a Apple deseja liberar todo o potencial da síntese de imagens em seus dispositivos, o que observa na página de anúncios da Apple Research. “Com o crescente número de aplicativos de Stable Diffusion, garantir que os desenvolvedores possam aproveitar essa tecnologia de forma eficaz é importante para a criação de aplicativos que criativos em todos os lugares poderão usar.”
A Apple também menciona privacidade e evitar custos de computação em nuvem como vantagens de executar um modelo de geração de IA localmente em um Mac ou dispositivo Apple.
“A privacidade do usuário final é protegida porque quaisquer dados fornecidos pelo usuário como entrada para o modelo permanecem no dispositivo do usuário”, diz a Apple. “Em segundo lugar, após o download inicial, os usuários não precisam de uma conexão com a Internet para usar o modelo. Finalmente, a implantação local desse modelo permite que os desenvolvedores reduzam ou eliminem seus custos relacionados ao servidor.”
Atualmente, o Stable Diffusion gera imagens mais rapidamente em GPUs de ponta da Nvidia quando executado localmente em um PC com Windows ou Linux. Por exemplo, gerar uma imagem de 512 × 512 em 50 etapas em um RTX 3060 leva cerca de 8,7 segundos em nossa máquina.
Em comparação, o método convencional de execução do Stable Diffusion em um Apple Silicon Mac é muito mais lento, levando cerca de 69,8 segundos para gerar uma imagem de 512 × 512 em 50 etapas usando o Diffusion Bee em nossos testes em um M1 Mac Mini.
De acordo com os benchmarks da Apple no GitHub, as novas otimizações Core ML SD da Apple podem gerar uma imagem de 50 etapas de 512 × 512 em um chip M1 em 35 segundos. Um M2 faz a tarefa em 23 segundos, e o chip de silício mais poderoso da Apple, o M1 Ultra, pode alcançar o mesmo resultado em apenas nove segundos. Essa é uma melhoria dramática, reduzindo o tempo de geração quase pela metade no caso do M1.
O lançamento do GitHub da Apple é um pacote Python que converte modelos Stable Diffusion de PyTorch para Core ML e inclui um pacote Swift para implantação de modelo. As otimizações funcionam para o Stable Diffusion 1.4, 1.5 e o recém-lançado 2.0.
No momento, a experiência de configurar o Stable Diffusion com Core ML localmente em um Mac é destinada a desenvolvedores e requer algumas habilidades básicas de linha de comando, mas Hugging Face publicou um guia detalhado para definir as otimizações do Core ML da Apple para aqueles que desejam experimentar.
Para aqueles menos inclinados tecnicamente, o aplicativo mencionado anteriormente chamado Diffusion Bee facilita a execução do Stable Diffusion no Apple Silicon, mas ainda não integra as novas otimizações da Apple. Além disso, você pode executar o Stable Diffusion em um iPhone ou iPad usando o aplicativo Draw Things.
.
