.
Nesta semana, a Sakana AI, uma startup apoiada pela NVIDIA que arrecadou centenas de milhões de dólares de empresas de VC, fez uma reivindicação notável. A empresa disse que criou um sistema de IA, o engenheiro de IA CUDA, que poderia efetivamente acelerar o treinamento de certos modelos de IA por um fator de até 100x.
O único problema é que o sistema não funcionou.
Usuários em x descoberto rapidamente O sistema de Sakana realmente resultou no desempenho do treinamento de modelos da pior que a média. De acordo com um usuárioA IA de Sakana resultou em uma desaceleração de 3x – não uma aceleração.
O que deu errado? Um bug no código, de acordo com um publicar Por Lucas Beyer, membro da equipe técnica do Openai.
“O código de origem deles está errado em [a] Caminho sutil ”, escreveu Beyer sobre X.” O fato de eles terem benchmarking duas vezes com resultados muito diferentes deve fazê -los parar e pensar “.
Em um PostMortem publicado Sexta -feira, Sakana admitiu que o sistema encontrou uma maneira de – como Sakana o descreveu – “trapacear” e culpou a tendência do sistema de “recompensar hackear” – ou seja, identificar falhas para obter altas métricas sem atingir o objetivo desejado (acelerando o treinamento do modelo) . Fenômenos semelhantes foram observados em Ai que é treinado para jogar jogos de xadrez.
Segundo Sakana, o sistema encontrou explorações no código de avaliação que a empresa estava usando que permitia ignorar as validações de precisão, entre outras verificações. A Sakana diz que abordou o problema e que pretende revisar suas reivindicações em materiais atualizados.
“Desde então, tornamos a avaliação e o perfil de tempo de execução mais robustos para eliminar muitos desses [sic] brechas ”, escreveu a empresa no X Post. “Estamos no processo de revisar nosso artigo e nossos resultados para refletir e discutir os efeitos […] Pedimos desculpas por nossa supervisão para nossos leitores. Forneceremos uma revisão deste trabalho em breve e discutiremos nossos aprendizados. ”
Adereços para Sakana por terem o erro. Mas o episódio é um bom lembrete de que, se uma reivindicação parece boa demais para ser verdadeira, especialmente na IAprovavelmente é.
.
