Apple pourrait changer votre iPhone à jamais
Au cours des derniers mois, Apple a publié une série continue de documents de recherche détaillant son travail avec l’intelligence artificielle générative. Jusqu’à présent, Apple est resté discret sur ce qui mijote exactement dans ses laboratoires de recherche, tandis que des rumeurs circulent qu’Apple est en discussion avec Google pour licencier son AI Gemini pour les iPhones.
A lire aussi :
- Comment les mises à jour de sécurité autonomes d’iOS pourraient rendre l’iPhone encore plus sûr
- Comment utiliser une Apple Watch comme lecteur de musique autonome
- Pourquoi la batterie de l’Apple Watch s’épuise-t-elle plus vite que d’habitude et quelles sont les solutions à essayer ?
Qu’est-ce que cela signifie pour l’avenir de l’iPhone ?
Il y a eu quelques aperçus de ce à quoi nous pouvons nous attendre. En février, un document de recherche d’Apple a détaillé un modèle open-source appelé MLLM-Guided Image Editing (MGIE) capable d’éditer des médias en utilisant des instructions en langage naturel des utilisateurs. Maintenant, un autre document de recherche sur Ferret UI a envoyé la communauté AI dans une frénésie. Ces développements suggèrent que les futures versions d’iOS pourraient offrir des fonctionnalités sophistiquées qui transformeront la manière dont nous interagissons avec nos applications et nos médias.
Les promesses de l’interface utilisateur Ferret d’Apple
Avec Ferret-UI, Apple semble viser à intégrer l’intelligence d’un modèle AI multimodal avec iOS et possiblement Watch OS. Actuellement, l’accent est mis sur des tâches plus “élémentaires” comme la “reconnaissance d’icônes, la recherche de texte et l’énumération des widgets”. Cependant, il ne s’agit pas seulement de comprendre ce qui est affiché sur l’écran d’un iPhone, mais aussi de le comprendre logiquement et de répondre aux requêtes contextuelles posées par les utilisateurs grâce à ses capacités de raisonnement. Cette fusion d’intelligence artificielle et d’interface utilisateur pourrait révolutionner l’accessibilité et la facilité d’utilisation pour tous les utilisateurs d’iPhone.
Capacités et potentiel de Ferret UI
La manière la plus simple de décrire les capacités de Ferret UI est comme un système de reconnaissance optique de caractères (OCR) intelligent alimenté par l’AI. “Après une formation sur des ensembles de données soigneusement sélectionnés, Ferret-UI montre une compréhension exceptionnelle des écrans UI et la capacité d’exécuter des instructions ouvertes,” note le document de recherche. L’équipe derrière Ferret UI l’a adapté pour accueillir “toute résolution”. En outre, cette technologie pourrait permettre aux utilisateurs de naviguer et d’interagir avec leurs apps de manière plus naturelle et intuitive, en posant simplement des questions en langage naturel.
Arrêtez tout ! La dernière mise à jour de Mac OS déclenche des bugs critiques
Un univers de possibilités intrigantes
Ferret UI marque un début impressionnant pour une AI qui peut comprendre les actions à l’écran. Maintenant, avant de nous emballer sur les possibilités ici, nous ne sommes pas sûrs de la manière exacte dont Apple prévoit d’intégrer cela avec iOS, ou si cela se matérialisera du tout, pour plusieurs raisons. Bloomberg a récemment rapporté qu’Apple était conscient d’être à la traîne dans la course à l’AI, et cela est assez évident par l’absence de produits AI génératifs natifs dans l’écosystème Apple. Toutefois, si ces technologies sont intégrées avec succès, elles pourraient transformer radicalement l’expérience utilisateur, en offrant des interactions plus riches et des réponses plus contextuellement pertinentes directement sur l’écran de l’iPhone.
