.
Noam Brown, que lidera a pesquisa de raciocínio da IA no Openai, diz que “raciocínio” modelos de IA como o OpenAI’s O1 poderia ter chegado 20 anos antes, tinham pesquisadores “conhecidos [the right] abordagem ”e algoritmos.
“Havia várias razões pelas quais essa direção de pesquisa foi negligenciada”, disse Brown durante um painel na conferência GTC da NVIDIA em San Jose na quarta -feira. “Eu notei ao longo da minha pesquisa que, ok, há algo faltando. Os humanos passam muito tempo pensando antes de agirem em uma situação difícil. Talvez isso seja muito útil [in AI]. ”
Brown é um dos principais arquitetos por trás da O1, um modelo de IA que emprega uma técnica chamada inferência no tempo de teste para “pensar” antes de responder a perguntas. A inferência no tempo de teste implica aplicar computação adicional à execução de modelos para direcionar uma forma de “raciocínio”. Em geral, os chamados modelos de raciocínio são mais precisos e confiáveis que os modelos tradicionais, principalmente em domínios como matemática e ciência.
Brown enfatizou, no entanto, que o pré-treinamento-treinando modelos cada vez maiores em conjuntos de dados cada vez maiores-não é exatamente “morto”. Os laboratórios de IA, incluindo o Openai, investiram a maior parte de seus esforços para aumentar o pré-treinamento. Agora, eles estão dividindo o tempo entre a inferência pré-treinamento e o tempo de teste, de acordo com Brown-aborda que Brown descreveu como complementar.
Brown foi perguntado durante o painel se a academia poderia esperar realizar experimentos na escala de laboratórios de IA como o OpenAI, dada a falta geral de acesso das instituições aos recursos de computação. Ele admitiu que se tornou mais difícil nos últimos anos, à medida que os modelos se tornaram mais intensivos em computação, mas que os acadêmicos podem causar um impacto explorando áreas que requerem menos computação, como o design da arquitetura do modelo.
““[T]Aqui está uma oportunidade de colaboração entre os laboratórios de fronteira [and academia]”Brown disse.“ Certamente, os laboratórios de fronteira estão analisando publicações acadêmicas e pensando com cuidado, ok, isso faz um argumento convincente de que, se isso fosse escalado ainda mais, seria muito eficaz. Se houver um argumento convincente do artigo, você sabe, investigaremos isso nesses laboratórios. ”
Os comentários de Brown chegam em um momento em que o governo Trump está fazendo cortes profundos para a concessão científica. Especialistas da IA, incluindo o Nobel Laureate, Geoffrey Hinton, criticaram esses cortes, dizendo que eles podem ameaçar os esforços de pesquisa de IA, nacional e no exterior.
Brown chamou a AI Benchmarking como uma área onde a academia poderia causar um impacto significativo. “O estado dos benchmarks na IA é muito ruim, e isso não exige muito computação para fazer”, disse ele.
Como escrevemos antes, os benchmarks populares de IA hoje tendem a testar o conhecimento esotérico e proporcionam pontuações que se correlacionam mal à proficiência em tarefas com as quais a maioria das pessoas se preocupa. Isso levou a uma confusão generalizada sobre as capacidades e melhorias dos modelos.
.
