technology

Como um engenheiro cego desenvolveu um aplicativo de IA para ajudar pessoas com perda de visão | Melhor saúde todos os dias com a humanidade

.

É uma lata de feijão ou tomate? É fácil se você puder ver o rótulo – mas imagine se você fosse cego ou deficiente visual – você poderia dizer a diferença? E agora considere, como você distinguiria entre analgésicos ou outros comprimidos sem ser capaz de ver ou ler? Quase uma em cada cinco pessoas tomou uma dose errada por engano porque não conseguiu ler a embalagem, sugere uma pesquisa da empresa de saúde do consumidor Haleon.

“Como humanos, gostamos de entender o mundo ao nosso redor”, diz Saqib Shaikh, gerente de engenharia e líder de produto da Microsoft, que criou uma tecnologia que ajuda a decifrar o mundo visual e escrito para pessoas cegas ou com baixa visão. .

Shaikh, que ficou cego aos sete anos de idade, desenvolveu um aplicativo para a Microsoft chamado Seeing AI para ajudar os cegos a navegar no dia a dia.. Quando a câmera de um telefone é apontada para um objeto, o aplicativo usa inteligência artificial (IA) para descrevê-lo de forma audível. Ele pode narrar situações da vida real, como descrever alguém passando, por exemplo, e ler um texto, como um menu.

Agora Shaikh voltou sua atenção para a questão da saúde e os desafios em torno da embalagem. Ele ajudou a empresa de saúde do consumidor Haleon a adaptar o aplicativo Seeing AI – lançado pela primeira vez em 2017 – para funcionar sem problemas com seus produtos de saúde e bem-estar. Ao apontar um telefone para um código de barras em um item, um indivíduo pode agora ouvir uma descrição e encontrar facilmente informações sobre a dose, sabor ou como usar um produto. “Ninguém quer esperar por ajuda para ler a embalagem de analgésicos ou um produto de saúde”, diz ele.

Vista por cima do ombro de uma mulher navegando por produtos médicos e lendo o rótulo de um frasco de remédio em frente às prateleiras de uma farmácia.
Ao digitalizar um código de barras em um produto de saúde, o aplicativo pode ler informações como a dosagem. Fotografia: d3sign/Getty Images

Muito esforço foi feito nos bastidores para carregar informações específicas de 1.500 produtos em um banco de dados, diz Tamara Rogers, diretora de marketing da Haleon. A pesquisa da empresa revela que mais de nove em cada 10 (94%) pessoas acham importante que todos possam acessar as informações nos rótulos e instruções dos produtos de saúde, e que a alfabetização é uma barreira significativa.

“A linguagem médica é bastante desafiadora e nem todo mundo consegue ler ou seguir informações e instruções complicadas”, diz Rogers.

Ela acrescenta: “Queremos fazer nossa parte pela inclusão. A capacidade de gerenciar sua saúde de maneira independente é importante. Estabelecemos uma meta de alcançar 50 milhões de pessoas até 2025 e apoiá-las para melhorar a saúde todos os dias.”

Embora o aplicativo Seeing AI já leia o texto, seu refinamento mais recente torna mais simples encontrar as informações. A embalagem geralmente não parece um livro e o texto pode ser confuso. Com sinais de áudio, o aplicativo orienta os usuários para o código de barras na embalagem do produto, a fim de alinhar o código com a câmera do dispositivo e fornece os principais detalhes com um simples toque. “Tornamos mais fácil alternar entre diferentes tipos de informação”, diz Shaikh.

662718 GSK Tamara Rogers COL 01 ALTA RES
Tamara Rogers, diretora de marketing da Haleon

E embora a tecnologia tenha surgido originalmente para ajudar pessoas cegas, ela também provou ser uma tábua de salvação para pessoas que lutam para ler ou não têm o inglês como primeira língua, diz Rogers. No Reino Unido, cerca de 2 milhões de pessoas são cegas ou têm baixa visão, mostram os números do NHS, e mais de 8,5 milhões lutam para ler, de acordo com o National Literacy Trust. “O aplicativo fala com você – você pode usá-lo em casa ou nas compras”, diz Rogers. “Há um monte de pessoas que são cuidadoras, deficientes visuais ou que não sabem ler letras miúdas que se beneficiarão.”

Lançado em 13 de outubro para coincidir com o Dia Mundial da Visão, o aplicativo atualizado agora está disponível gratuitamente em dispositivos Apple, e a Microsoft também está dando um passo importante para disponibilizar o Seeing AI para usuários do Android no futuro.

A colaboração entre a Microsoft e a Haleon é um marco no caminho rumo a uma maior inclusão, diz Shaikh. Ao longo dos anos, ele experimentou em primeira mão a liberdade que a tecnologia traz – desde o computador da sala de aula que lia o texto pela primeira vez até seu próprio software hoje. “Vi na escola como a tecnologia pode melhorar vidas e ajudar a nivelar o campo de jogo.”

Quando ele criou o Seeing AI como um projeto paralelo enquanto trabalhava na Microsoft, ele teve o insight para saber o que era necessário. Pode ajudar as pessoas a distinguir entre denominações de notas, descrever uma rua principal e reconhecer um amigo. Ele também pode descrever imagens, o que, por sua vez, permite que pessoas cegas participem mais do bate-papo social online. “E isso ajuda na inclusão social”, diz Shaikh. “Agora estamos realmente usando a tecnologia de ponta da IA ​​e da realidade aumentada para ajudar pessoas com deficiências.”

Ele continua: “Pense nesta tecnologia como um amiguinho em seu ombro, sussurrando em seu ouvido enquanto você vive sua vida. Esse é o poder da IA. Estamos levando os últimos desenvolvimentos em tecnologia e ciência para resolver problemas que as pessoas encontram em suas vidas diárias. Isso te dá autonomia, independência.”

A Haleon pretende lançar o aplicativo em mais mercados internacionais e em outros idiomas. Como tecnologia de código aberto, outras empresas de bens de consumo poderiam eventualmente fazer upload de suas marcas, diz Rogers. “E assim se tornará um recurso ainda melhor para quem tem deficiência visual ou [have] problemas de alfabetização”.

Descubra como a Haleon está tornando a rotulagem de saúde acessível para todos. Baixe o Microsoft Seeing AI aplicativo gratuitamente na Apple App Store

.

Mostrar mais

Artigos relacionados

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Botão Voltar ao topo