Wow, le Vision Pro d'Apple est-il chargé de pixels

Apple a annoncé le Vision Pro, son premier casque de réalité augmentée (AR), lors de son discours d'ouverture de la WWDC du 5 juin. Le casque contient deux écrans micro-OLED de pointe contenant un incroyable 23 millions de pixels, soit près de trois fois plus que dans un écran 4K.

La qualité d'affichage AR / VR s'est améliorée à pas de géant depuis l'Oculus Rift original, qui avait un seul écran 1 280 x 800. Mais la nécessité d'équilibrer le prix avec la qualité a forcé les leaders AR/VR, tels que Meta et HTC Corp., à faire des compromis. Apple opte pour une stratégie différente, poussant à l'extrême la technologie d'affichage de l'appareil et le prix de détail suggéré par le fabricant de 3 499 $ US du casque.

"[Apple] finit par avoir trois écrans sur ce casque, qui ne sont en aucun cas bon marché", déclare Anshel Sag, analyste principal chez Moor Insights & Strategy. "Je n'ai jamais vu les deux micro-OLED à l'intérieur de quoi que ce soit. Il s'agit d'un écran à volume extrêmement faible et à coût élevé avec un objectif à trois éléments et un système optique, qui a évidemment été conçu sur mesure pour ce casque."

Le Vision Pro dispose d'une paire d'écrans micro-OLED de 1,41 pouces. La taille de chaque pixel est comparable à la taille d'un globule rouge humain. Pomme

Apple a offert peu de détails sur l'affichage du Vision Pro à la WWDC 2023, mis à part son nombre de pixels, mais les analystes ont fourni les détails. Ross Young, PDG de Display Supply Chain Consultants, explique que le Vision Pro contient une paire d'écrans micro-OLED de 1,41 pouces qui combinent un panneau avant OLED de Sony avec un fond de panier en silicium de la fonderie de puces TSMC. Chaque pixel mesure à peine 7,5 micromètres, ce qui équivaut au diamètre d'un globule rouge humain. "Il s'agit de loin de la micro-OLED à la résolution la plus élevée du marché", déclare Young.

La résolution, bien qu'impressionnante, ne raconte pas toute l'histoire. Les ingénieurs AR/VR mesurent la densité de pixels par le nombre de pixels par degré de vision (PPD), une métrique qui tient compte du champ de vision d'un casque. Apple n'a pas publié le FOV du Vision Pro, mais les journalistes qui ont essayé l'appareil disent qu'il est compétitif avec d'autres casques AR/VR, qui offrent un FOV entre 100 et 120 degrés. Cela devrait placer les pixels du casque par degré autour de 50 à 70 PPD.

"La résolution de la fovéa, la partie la plus haute résolution de l'œil, est considérée comme étant de 60 pixels par degré. Et si vous avez un écran de 60 pixels par degré, probablement 99,9 % des gens ne percevraient pas les pixels", déclare Michael Miller, responsable du matériel de réalité augmentée chez Niantic. "Le réduire à 40 pixels par degré, au lieu de 60, est toujours considéré comme acceptable. Et pour la conception de référence [de Niantic], nous avons essayé 30 pixels par degré, et tant que les utilisateurs ne voient pas l'écart entre les pixels, c'était toujours bien. "

"Je pense qu'[Apple a] atteint une résolution suffisamment élevée pour que vous ne puissiez pas voir les pixels." —Anshel Sag, analyste principal chez Moor Insights & Strategy.

La plupart des casques AR/VR se contentent d'une densité de pixels beaucoup plus faible. Le Quest Pro de Meta fournit 22 PPD, le HTC Vive XR Elite fournit 19 PPD et le Microsoft HoloLens 2 cite 47 PPD (bien que certains contestent ce chiffre). Le Varjo VR-3, largement salué, sorti en 2021 et vendu au prix de 3 645 $, atteint 70 PPD, mais le fait avec un « écran bionique » qui combine une zone de mise au point haute résolution avec des écrans périphériques qui atteignent un 30 PPD inférieur, bien que toujours impressionnant.

"J'ai l'impression que nous avons déjà des casques qui ont presque atteint ce point, ou qui l'ont déjà un peu franchi, comme les casques Varjo", déclare Sag. "Je pense donc qu'[Apple a] atteint une résolution suffisamment élevée pour que vous ne puissiez pas voir les pixels."

L'incroyable nombre de pixels d'Apple présente des défis au-delà de la production de l'écran lui-même. Toute augmentation du nombre de pixels augmente les performances graphiques requises pour rendre une image, ce qui à son tour augmente la consommation d'énergie et la génération de chaleur.

Chaque casque Vision Pro sera livré avec le M2 d'Apple, qui comprend des accélérateurs CPU, GPU et AI sur une seule puce, pour piloter ses écrans et gérer le calcul. Pourtant, même le M2, une puce que l'on trouve le plus souvent dans les ordinateurs portables Apple de milieu de gamme tels que le MacBook Air, serait durement taxé s'il était obligé de piloter les écrans du Vision Pro en pleine résolution.

Le Varjo VR-3 le montre clairement. Contrairement à l'Apple Vision Pro, qui est un ordinateur entièrement autonome, le VR-3 n'inclut ni CPU ni GPU, mais fonctionne plutôt comme un écran pour un PC Windows. Varjo recommande une gamme d'ordinateurs portables et d'ordinateurs de bureau haut de gamme volumineux avec des processeurs Intel Core i7 et i9 et des graphiques Nvidia RTX 3080 ou 3090.

Le Vision Pro d'Apple utilise deux puces Apple Silicon intégrées pour gérer le calcul et les graphiques. Apple

Apple s'attaque à ce problème avec une toute nouvelle puce, l'Apple R1, qui prend en charge le traitement des entrées des caméras du casque. Une partie de ces données est utilisée pour le rendu fovéal, une technique qui fait varier dynamiquement la résolution en réponse au regard de l'utilisateur.

"Je pense que le rendu fovéal est un facteur énorme, énorme dans la quantité de GPU qui est réellement utilisée et dans la quantité d'affichage dont ils ont besoin pour fonctionner à pleine résolution", déclare Sag. "Ils pourraient théoriquement exécuter l'affichage avec un rendu fovéal, où ils n'exécutent qu'une résolution complète au milieu, et tout le reste est une résolution inférieure."

Le rendu fovéal n'est pas une idée nouvelle - les chercheurs de Microsoft ont exploré l'idée il y a plus de dix ans - mais n'est apparu que récemment dans les casques grand public comme le Meta Quest Pro et la PlayStation VR 2 de Sony. Sa rareté est due au problème difficile de suivre les yeux d'un utilisateur pour déterminer où se concentre son attention. Apple a acheté SensoMotoric Instruments (SMI), l'un des principaux fournisseurs de solutions de suivi oculaire, en 2017, forçant les autres à s'appuyer sur de nouvelles alternatives ou à concevoir des solutions internes.

La technologie d'affichage du Vision Pro d'Apple pourrait être exagérée pour les passionnés qui préfèrent la réalité virtuelle à la réalité augmentée. "Si nous creusons dans la technologie de l'écran elle-même, la meilleure façon de la résumer est que, pour de nombreux cas d'utilisation, cela n'a pas d'importance", déclare Jeremy Dalton, conseiller en informatique spatiale et auteur de "Reality Check". Dalton note que la plupart des casques AR/VR grand public sont utilisés pour les jeux, les films et les expériences 3D totalement immersives. Une netteté améliorée, bien qu'agréable à avoir, n'est pas une nécessité lorsque vous parcourez une piste dans Beat Saber ou que vous explorez les mondes horizons de Meta.

Apple a un public différent en tête. Ses démos ne disaient rien du métaverse et ne mentionnaient que brièvement le jeu. La société s'est plutôt concentrée sur les appels vidéo, la photographie, la productivité au bureau et le divertissement AR. Ces scénarios augmentent considérablement le besoin de résolution, car les utilisateurs interagiront simultanément avec des objets réels et virtuels.

"Ils voulaient absolument prendre en charge le cas d'utilisation pass-through. Vous devez présenter à l'utilisateur son propre environnement à l'aide des écrans. C'est crucial", déclare Miller. "Pour créer cette expérience et la rendre crédible, c'est la raison la plus importante pour laquelle vous avez besoin de toute cette haute résolution."

La densité de pixels extrême ouvre la porte à des applications AR utiles qui ne poussent pas la fatigue oculaire des modèles d'affichage AR de la génération précédente. Pomme

Les casques actuels ne sont pas réalistes. Le HTC Elite XR, que j'ai essayé au CES 2023, offrait le mode de passage le plus attrayant que j'avais rencontré jusqu'à présent, mais l'interaction avec des objets du monde réel restait gênante. Le Quest Pro de Meta est encore moins convaincant. Adi Robertson, qui a passé en revue le casque pour The Verge, s'est plaint que "la transmission des couleurs de Meta ne ressemble pas du tout au monde réel".

"L'écran haut de gamme est le plus logique lorsque vous avez, par exemple, une formation haut de gamme à dispenser. La NASA utilise le Varjo pour la formation des astronautes", explique Dalton. Apple n'a pas construit le Vision Pro pour les astronautes, mais les pixels haute densité restent également utiles dans des tâches plus banales. Les astronautes ont besoin de netteté pour voir et lire les petites jauges et cadrans trouvés dans le cockpit d'un vaisseau spatial. Tous les autres en ont besoin pour lire confortablement des documents imprimés ou utiliser un smartphone.

"Je m'attendrais à ce que le casque fonctionne à merveille dans ce genre de scénarios", déclare Dalton. "La productivité a tendance à être très basée sur le texte. Meilleure est l'expérience de visionnage, moins il y a de stress et plus vous pourrez durer longtemps."