.
O Vision Pro traz o novo silício da Apple, o chip R1, dedicado ao processamento de dados em tempo real de todos os sensores integrados. Ele é responsável pelo rastreamento de olhos, mãos e cabeça, renderização sem atrasos do ambiente do usuário no modo de passagem de vídeo e outros recursos do visionOS.
Ao descarregar a carga de processamento do processador principal e otimizar o desempenho, o R1 reduz o enjôo a níveis imperceptíveis, seja usando o fone de ouvido em realidade aumentada ou no modo de realidade virtual. Vamos explorar como o chip Apple R1 funciona e se compara ao chip M2 principal, os recursos do Vision Pro que ele habilita e muito mais.
O que é o chip R1 da Apple? Como funciona?
O Apple R1, não o chip M2 principal, processa um fluxo contínuo de alimentação de dados em tempo real para o Vision Pro por suas doze câmeras, cinco sensores e seis microfones.
Duas câmeras externas principais gravam seu mundo, enviando mais de um bilhão de pixels para as telas 4K do headset a cada segundo. Além disso, um par de câmeras laterais, juntamente com duas câmeras montadas na parte inferior e dois iluminadores infravermelhos, rastreiam o movimento das mãos em uma ampla variedade de posições, mesmo em condições de pouca luz.
Os sensores voltados para fora também incluem o Scanner LiDAR e a câmera TrueDepth da Apple que capturam um mapa de profundidade de seus arredores, permitindo que o Vision Pro posicione objetos digitais com precisão em seu espaço. No interior, um anel de LEDs ao redor de cada tela e duas câmeras infravermelhas rastreiam o movimento dos olhos, o que forma a base da navegação do visionOS.
O R1 é encarregado de processar os dados de todos esses sensores, incluindo as unidades de medição inercial, com atraso imperceptível. Isso é de extrema importância em termos de tornar a experiência espacial suave e crível.
Como o Apple R1 se compara ao M1 e M2?
O M1 e o M2 são processadores de uso geral otimizados para computadores Mac. O R1 é um coprocessador de foco estreito projetado para oferecer suporte a experiências AR suaves. Ele faz seu trabalho mais rápido do que o M1 ou o M2, permitindo vantagens como uma experiência sem atrasos.
A Apple não especificou quantos núcleos de CPU e GPU o R1 possui nem detalhou a frequência da CPU e a RAM, dificultando uma comparação direta entre o R1, M1 e M2.
Os domínios primários do R1 são rastreamento de olhos e cabeça, gestos manuais e mapeamento 3D em tempo real por meio do sensor LiDAR. Descarregar essas operações computacionalmente intensivas permite que o M2 execute os vários subsistemas, algoritmos e aplicativos visionOS com eficiência.
Os principais recursos do chip R1 do Vision Pro
O R1 tem estes recursos principais:
- Processamento rápido: Os algoritmos especializados e o processamento de sinal de imagem no R1 são otimizados para entender as entradas de sensor, câmera e microfone.
- Baixa latência: A arquitetura de hardware otimizada resulta em latência muito baixa.
- Eficiência energética: O R1 lida com um conjunto específico de tarefas usando o mínimo de energia, graças à sua arquitetura de memória eficaz e ao processo de fabricação de 5 nm da TSMC.
Por outro lado, o design de chip duplo do Vision Pro e a sofisticação do R1 contribuem para o alto preço do fone de ouvido e a duração da bateria de duas horas.
Quais vantagens o R1 traz para o Vision Pro?
O R1 permite rastreamento preciso dos olhos e das mãos que “simplesmente funciona”. Para navegar no visionOS, por exemplo, você direciona seu olhar para botões e outros elementos.
O Vision Pro usa gestos com as mãos para selecionar itens, rolar e muito mais. A sofisticação e a precisão do rastreamento dos olhos e das mãos permitiram que os engenheiros da Apple criassem um fone de ouvido de realidade mista que não requer controladores físicos.
A precisão de rastreamento do R1 e o atraso mínimo permitem recursos adicionais, como digitação aérea no teclado virtual. O R1 também possibilita o rastreamento confiável da cabeça, essencial para criar uma tela de computação espacial ao redor do usuário. Mais uma vez, a precisão é fundamental aqui – você deseja que todos os objetos AR mantenham sua posição, não importa como você incline e vire a cabeça.
A consciência espacial é outro fator que contribui para a experiência. O R1 coleta dados de profundidade do sensor LiDAR e da câmera TrueDepth, realizando mapeamento 3D em tempo real. As informações de profundidade permitem que o fone de ouvido entenda seu ambiente, como paredes e móveis.
Isso, por sua vez, é importante para a persistência de AR, que se refere ao posicionamento fixo de objetos virtuais. Ele também ajuda o Vision Pro a notificar o usuário antes que ele bata em objetos físicos, ajudando a reduzir o risco de acidentes em aplicativos AR.
Como a fusão do sensor R1 mitiga o enjoo de movimento AR?
O design de chip duplo do Vision Pro descarrega o processamento do sensor do chip M2 principal, que executa o sistema operacional e os aplicativos visionOS. De acordo com o comunicado de imprensa do Vision Pro, o R1 transmite imagens das câmeras externas para os monitores internos em 12 milissegundos, ou oito vezes mais rápido que um piscar de olhos, minimizando o atraso.
Lag refere-se à latência entre o que as câmeras veem e as imagens exibidas nas telas 4K do headset. Quanto menor o atraso, melhor.
A doença de movimento acontece quando há um atraso perceptível entre a entrada que seu cérebro recebe de seus olhos e o que seu ouvido interno sente. Pode ocorrer em muitas situações, inclusive em um parque de diversões, em um passeio de barco ou cruzeiro, durante o uso de um dispositivo de realidade virtual, etc.
A RV pode deixar as pessoas doentes devido ao conflito sensorial, resultando em sintomas de enjôo, como desorientação, náusea, tontura, dores de cabeça, fadiga ocular, assento, vômito e outros.
A RV também pode ser ruim para os olhos devido ao cansaço visual, cujos sintomas incluem dor ou coceira nos olhos, visão dupla, dores de cabeça e pescoço dolorido. Algumas pessoas podem sentir um ou mais desses sintomas por várias horas depois de tirar o fone de ouvido.
Como regra geral, um dispositivo VR deve atualizar a tela pelo menos 90 vezes por segundo (FPS) e o atraso da tela deve ser inferior a 20 milissegundos para evitar enjôo nas pessoas.
Com o atraso declarado de apenas 12 milissegundos, o R1 reduz o atraso a um nível imperceptível. Embora o R1 ajude a minimizar os efeitos do enjôo, alguns testadores do Vision Pro relataram sintomas de enjoo após usar o fone de ouvido por mais de 30 minutos.
Os coprocessadores de silício especializados da Apple trazem grandes vantagens
A Apple não é estranha a processadores especializados. Ao longo dos anos, sua equipe de silício produziu chips móveis e de desktop que causam inveja na indústria.
Os chips de silício da Apple dependem fortemente de coprocessadores especializados para lidar com recursos específicos. O Secure Enclave gerencia com segurança dados biométricos e de pagamento, por exemplo, enquanto o Neural Engine acelera as funções de IA sem destruir a bateria.
Eles são exemplos perfeitos do que pode ser obtido com um coprocessador altamente focado para o conjunto certo de tarefas em vez de usar o processador principal para tudo.
.
