A nova ferramenta AI “Generative Fill” do Adobe Photoshop permite manipular fotos com texto

Na terça-feira, a Adobe adicionou uma nova ferramenta ao Photoshop beta chamada “Generative Fill”, que usa síntese de imagem baseada em nuvem para preencher áreas selecionadas de uma imagem com novo conteúdo gerado por IA com base em uma descrição de texto. Com tecnologia Adobe Firefly, o Generative Fill funciona de maneira semelhante a uma técnica chamada “inpainting” usada nos lançamentos DALL-E e Stable Diffusion desde o ano passado.

No centro do Generative Fill está o Adobe Firefly, que é o modelo de síntese de imagem personalizado da Adobe. Como um modelo de IA de aprendizado profundo, o Firefly foi treinado em milhões de imagens na biblioteca de ações da Adobe para associar certas imagens com descrições de texto delas. Agora parte do Photoshop, as pessoas podem digitar o que desejam ver (ou seja, “um palhaço no monitor do computador”), e o Firefly sintetiza várias opções para o usuário escolher. O Generative Fill usa uma conhecida técnica de IA chamada “inpainting” para criar uma geração com reconhecimento de contexto que pode combinar perfeitamente imagens sintetizadas em uma imagem existente.

Para usar o preenchimento generativo, os usuários selecionam uma área de uma imagem existente que desejam modificar. Depois de selecioná-lo, aparece uma “Barra de Tarefas Contextual” que permite aos usuários digitar uma descrição do que desejam ver gerado na área selecionada. O Photoshop envia esses dados para os servidores da Adobe para processamento e retorna os resultados no aplicativo. Após a geração, o usuário tem a opção de selecionar entre várias opções de geração ou criar mais opções de navegação.

Quando usada, a ferramenta Preenchimento generativo cria uma nova “Camada generativa”, permitindo alterações não destrutivas do conteúdo da imagem, como adições, extensões ou remoções, orientadas por esses prompts de texto. Ele se ajusta automaticamente à perspectiva, iluminação e estilo da imagem selecionada.

O preenchimento generativo não é o único recurso com tecnologia de IA adicionado ao Photoshop beta. O Firefly também permitiu que o Photoshop removesse completamente partes de uma imagem, apagasse objetos de uma cena ou estendesse as dimensões de uma imagem gerando um novo conteúdo que envolve a imagem existente, uma técnica de IA conhecida como “outpainting”.

Esses recursos estão disponíveis no gerador e editor de imagens DALL-E 2 da OpenAI desde agosto do ano passado (e em vários lançamentos homebrew do Stable Diffusion desde a mesma época), então a Adobe está se atualizando para adicioná-los à sua imagem principal. editor. Reconhecidamente, é uma reviravolta rápida para uma empresa que pode ter um enorme alvo de responsabilidade pintado nas costas quando se trata de questões de geração de conteúdo prejudicial ou socialmente estigmatizado, utilizando imagens de artistas para dados de treinamento e alimentando propaganda ou desinformação.

Nesse sentido, a Adobe não apenas bloqueia a geração de certas palavras-chave com direitos autorais, violentas e sexuais, mas também se baseia em termos de uso que restringem as pessoas de gerar conteúdo “abusivo, ilegal ou confidencial”.

Além disso, com a capacidade do Generative Fill de distorcer facilmente a aparente realidade da mídia de uma foto (reconhecidamente, algo que o Photoshop vem fazendo desde o início), a Adobe está dobrando sua Iniciativa de Autenticidade de Conteúdo, que usa Credenciais de Conteúdo para adicionar metadados a arquivos gerados que ajudar a rastrear sua proveniência.

O preenchimento generativo no aplicativo beta do Photoshop está atualmente disponível para todos os membros da Creative Cloud com uma assinatura ou avaliação do Photoshop por meio da seção “aplicativos beta” do aplicativo Creative Cloud. Ele ainda não está disponível para uso comercial, não é acessível a menores de 18 anos, não está disponível na China e atualmente oferece suporte a prompts de texto somente em inglês. A Adobe planeja disponibilizar o Generative Fill para todos os clientes do Photoshop até o final do ano, para que qualquer pessoa possa criar palhaços de jardim com facilidade.

Se você não for um assinante da Creative Cloud, também pode experimentar o Generative Fill gratuitamente no site da Adobe Firefly com um login da Adobe por meio de uma ferramenta baseada na web. A Adobe removeu recentemente a lista de espera de sua versão beta do Firefly.