.
A equipe do órgão de transporte realizou “extensas simulações” na estação Willesden Green durante o teste para coletar mais dados de treinamento, dizem os documentos. Isso incluiu funcionários que caíram no chão, e alguns desses testes aconteceram quando a estação foi fechada. “Você verá o BTP [British Transport Police] policial segurando facão e revólver em diferentes locais da delegacia”, afirma uma legenda dos documentos, embora as imagens tenham sido editadas. Durante o julgamento, dizem os arquivos, não houve alertas de incidentes com armas na delegacia.
A maioria dos alertas foi emitida para pessoas que potencialmente evitavam pagar pelas suas viagens, saltando ou rastejando sob portões fechados, abrindo portões, atravessando portões abertos ou transportando alguém que pagou. A evasão de tarifas custa até £ 130 milhões por ano, diz a TfL, e houve 26.000 alertas de evasão de tarifas durante o teste.
Durante todos os testes, as imagens dos rostos das pessoas ficaram borradas e os dados foram mantidos por no máximo 14 dias. No entanto, seis meses após o início do julgamento, o TfL decidiu desfocar as imagens dos rostos quando as pessoas eram suspeitas de não pagar e manteve esses dados por mais tempo. Foi originalmente planejado, dizem os documentos, que a equipe respondesse aos alertas de desvio de tarifa. “No entanto, devido ao grande número de alertas diários (em alguns dias mais de 300) e à alta precisão nas detecções, configuramos o sistema para reconhecer automaticamente os alertas”, dizem os documentos.
Birtwistle, do Instituto Ada Lovelace, afirma que as pessoas esperam “supervisão e governação robustas” quando tecnologias como estas são implementadas. “Se essas tecnologias forem usadas, elas só deverão ser usadas com confiança, consentimento e apoio público”, diz Birtwistle.
Grande parte do teste teve como objetivo ajudar a equipe a entender o que estava acontecendo na estação e a responder aos incidentes. Os 59 alertas para cadeiras de rodas permitiram que o pessoal da estação Willesden Green, que não dispõe de acesso para cadeiras de rodas, “fornecesse os cuidados e assistência necessários”, afirmam os ficheiros. Enquanto isso, houve quase 2.200 alertas para pessoas que ultrapassaram as linhas de segurança amarelas, 39 para pessoas inclinadas na beira da pista e quase 2.000 alertas para pessoas sentadas em bancos por longos períodos.
“Ao longo do PoC, vimos um enorme aumento no número de anúncios públicos feitos pelos funcionários, lembrando os clientes de se afastarem da linha amarela”, afirmam os documentos. Eles também afirmam que o sistema gerou alertas para “pessoas que dormem mal e mendigos” nas entradas da estação e afirmam que isso permitiu que a equipe “monitorasse remotamente a situação e prestasse os cuidados e assistência necessários”. A TfL afirma que o sistema foi testado para tentar ajudar a melhorar a qualidade do pessoal nas suas estações e torná-lo mais seguro para os passageiros.
Os arquivos não contêm nenhuma análise sobre a precisão do sistema de detecção de IA; entretanto, em vários pontos, a detecção teve que ser ajustada. “A detecção de objetos e de comportamento geralmente são bastante frágeis e não são infalíveis”, diz Leufer, da Access Nows. Num caso, o sistema criou alertas dizendo que as pessoas estavam numa área não autorizada quando, na realidade, os maquinistas estavam a sair do comboio. A luz solar que incide sobre as câmeras também as torna menos eficazes, dizem os documentos.
.
