apple stories
Cette année, l’IA se met au service de l’accessibilité lors du défi Swift Student Challenge
Recevoir de la rétroaction en temps réel pendant une présentation. Fuir une zone inondée à Accra. Jouer de l’alto sans l’instrument physique. Dessiner sur iPad sans craindre les tremblements. Ces quatre solutions figurent parmi les créations qui se sont illustrées avec distinction lors du défi Swift Student Challenge de cette année.
Ce défi annuel invite les étudiants et étudiantes du monde entier à concrétiser leurs idées au moyen de projets d’app originaux conçus grâce au langage de programmation intuitif Swift d'Apple. Les 350 soumissions lauréates de cette année représentent 37 pays et régions et intègrent un large éventail de technologies.
« Nous ne nous lasserons jamais de l’incroyable créativité démontrée lors du défi Swift Student Challenge, commente Susan Prescott, vice-présidente, Worldwide Developer Relations chez Apple. Les lauréats et lauréates de cette année ont trouvé des façons ingénieuses d’exploiter la puissance des plateformes Apple, de Swift et des outils d’IA pour concevoir des projets d’app aussi impressionnants techniquement qu’importants pour le public visé. C’est avec une immense fierté que nous les accompagnons dans leur parcours, et nous attendons leurs prochaines créations avec impatience. »
Cinquante personnes désignées lauréates distinguées ont été invitées à assister à la Worldwide Developers Conference (WWDC) à Apple Park en juin pour vivre une expérience spéciale de trois jours. Au cours de la semaine, chacune d’entre elles aura l'occasion d'assister en direct à la présentation d'ouverture, d'apprendre auprès d’équipes de spécialistes et d’ingénierie d'Apple, ainsi que de participer à des labos.
Bon nombre des lauréats et lauréates de cette année ont puisé leur inspiration au sein de leurs communautés, ou même de conversations autour de la table familiale, pour créer des apps impressionnantes fondées sur l’accessibilité. Ci-dessous, Gayatri Goundadkar, Anton Baranov, Karen-Happuch Peprah Henneh et Yoonjae Joung, désignés lauréats distingués, nous présentent leurs projets d'app et les problèmes concrets qu'ils visent à résoudre, démontrant ainsi le pouvoir de la programmation quand il s'agit d'apporter des changements durables.
Renforcer l’accessibilité des activités artistiques avec Steady Hands
Gayatri Goundadkar, âgée de 20 ans, a appris à dessiner et à peindre auprès de sa grand-mère à Pune, en Inde. Elles se sont toutes deux passionnées pour les Warlis, une forme d’art ancestrale réputée pour son recours aux formes géométriques simples. En vieillissant, la grand-mère de Gayatri a commencé à trembler des mains, ce qui l’empêchait de s’adonner à leur activité quotidienne. Gayatri a été marquée par cette perte et s’en est inspirée pour concevoir Steady Hands, un projet d’app qui exploite la stabilisation de l’Apple Pencil pour aider les personnes atteintes de tremblements à réaliser des activités artistiques.
« Mon projet s’adresse avant tout aux personnes âgées, explique Gayatri, étudiante en troisième année d’informatique au Maharashtra Institute of Technology World Peace University, où elle participe à un programme de développement d’app. Les technologies peuvent sembler impressionnantes aux personnes de cette génération, en particulier en Inde. J’ai tenu compte de cela dans tous mes choix. Je voulais une interface épurée plutôt qu’encombrée. Je voulais éviter qu’on se sente perdu ou dépassé à l’ouverture de l’app. Je souhaite que mon public cible sente que cette app est faite pour lui. »
Pour permettre aux personnes utilisant l’app de dessiner librement, Gayatri devait comprendre le fonctionnement des tremblements et leurs effets sur l’interaction avec l’écran tactile d’iPad. En ayant en tête des fonctionnalités d’accessibilité d’Apple comme Adaptation tactile, elle a d’abord appris les concepts de SwiftUI en s’aidant de Claude, par Anthropic, pour décomposer des cours portant notamment sur le traitement des coups de crayon par PencilKit. Et pour définir les caractéristiques des tremblements, elle a conçu un outil capable d’analyser les mouvements bruts depuis iPad et l’Apple Pencil. Il enregistre les mouvements de la main et s’appuie sur des techniques de traitement de signal pour reconnaître la fréquence et l’intensité des tremblements.
« Lorsqu’une personne dessine, mon app s’appuie sur les cadres logiciels PencilKit et Accelerate d’Apple pour analyser les coups de crayon et reconnaître les tremblements. Elle distingue les mouvements intentionnels du reste, et élimine ceux causés par les tremblements, détaille-t-elle. Chaque dessin s’affiche ensuite dans un musée personnel 3D, parce que je veux que chaque personne se mette dans la peau d’une artiste plutôt que d’une patiente. Les personnes qui ont vu la stabilisation à l’œuvre ont repris confiance en elles. »
Des présentations parfaites avec pitch coach
Anton Baranov, 22 ans, était à table avec sa famille à Francfort, en Allemagne, lorsque sa mère, enseignante de linguistique et de littérature, lui a fait une remarque qui l’a bouleversé.
« Elle m’a dit que ses étudiants et étudiantes avaient beaucoup de talent, mais qu’ils éprouvaient parfois des difficultés à faire des présentations. Qu’ils avaient du mal à trouver leurs mots. Qu’ils faisaient preuve de maladresse. Qu’ils parvenaient difficilement à faire passer leurs idées », dit Anton Baranov, étudiant en informatique au University of Applied Sciences Mittelhessen, en Allemagne. C’est à cet instant qu’est née pitch coach — une app qu’il décrit comme « un support propulsé par Apple Intelligence pour faire des présentations à la manière de Dans l'oeil du dragon ».
Anton Baranov, qui fait de la programmation depuis ses 16 ans, s’est servi pour la première fois de Swift en août dernier et a conçu pitch coach en février. Il a présenté une version préliminaire aux étudiants et étudiantes de sa mère, et a découvert un problème précis : toutes et tous reconnaissent les points faibles de leur présentation, mais ne se rendent compte de leurs erreurs qu’après coup. « Une personne m’a dit qu’elle aimerait pouvoir se corriger dans l’instant, se remémore Anton. C’est pour cette raison précise que la rétroaction en temps réel et le suivi des mouvements sur AirPods sont devenus des éléments centraux de l’app. »
Pour aider chaque personne à surmonter le stress d’une présentation, Anton Baranov s’est appuyé sur le cadre logiciel Foundation Models d’Apple afin de générer de la rétraction personnalisée adaptée au contexte ainsi que des résumés à l’issue de chaque séance pour signaler les tics de langage. Il s’est aussi servi de Claude Agent dans Xcode 26 pour traduire l’app dans 20 langues et a consulté des proches et des collègues pour cerner les mots-cheville dans d’autres langues.
Anton Baranov a publié pitch coach sur l’App Store au début mars et a cumulé plus de 6 000 téléchargements organiques. L’app sert principalement à s’entraîner à faire des présentations, mais Anton signale quelques utilisations amusantes : des répétitions pour des concerts de rap ou des monologues comiques. « Ce sont les utilisateurs et utilisatrices qui définissent l’app. Si certaines personnes l’aiment pour certains usages, elles l’utilisent dans ce contexte », constate-t-il.
Trouver des itinéraires d’évacuation sécuritaires avec Asuo
Karen-Happuch Peprah Henneh n’a découvert Swift que cette année. Après des études de premier cycle en informatique et technologies au Ghana, son pays d’origine, elle s’est consacrée à l’animation du fait du manque de débouchés dans la programmation. Elle a appris les langages Figma et HTML5 sur son temps libre, et travaille désormais sur sa maîtrise en conception des interactions au California College of the Arts.
Son projet d’app qui a remporté un prix, Asuo, s’adresse aux communautés exposées aux inondations. (En Twi, une langue répandue au Ghana, Asuo signifie « eau qui coule ».) Asuo offre un itinéraire sécuritaire en temps réel aux personnes qui se trouvent dans des zones inondées et s’enracine dans une expérience réelle – les inondations tragiques qui ont frappé Accra en 2015 et provoqué un effet d’entraînement désastreux.
« Cette expérience m’a vraiment marquée parce que tout le pays était en deuil, dit Karen-Happuch Peprah Henneh. Je me suis dit que si j’en avais l’occasion, ce serait ma priorité : concevoir une app qui peut calculer l’intensité des précipitations et qui utilise un algorithme de calcul d’itinéraire fondé sur les données d’inondations antérieures. »
Pour créer Asuo, Karen-Happuch Peprah Henneh a non seulement dû synthétiser toutes ces données, mais aussi s’assurer que l’app convenait à tout le monde. « L’accessibilité faisait partie des éléments de base, je ne l’ai jamais envisagée comme un rajout, mentionne-t-elle. Je pense qu’en situation de crise, personne ne devrait être laissé à son sort à cause d’un handicap ou d’une limitation. »
Les éléments interactifs de l’app portent des étiquettes et indices VoiceOver, de manière à ce que les personnes malvoyantes puissent naviguer dans chaque écran. Karen-Happuch Peprah Henneh a aussi créé son propre système d’alerte vocale avec AVSpeechSynthesizer, qui peut être activé avec un bouton de haut-parleur.
Après avoir réalisé l’interface d’Asuo dans Figma, Karen-Happuch Peprah Henneh s’est servi de Claude pour concevoir le simulateur de pluie sur l’écran de lancement de son app, en plus de mettre en place l’algorithme de planification d’itinéraire A*. « Je suis une conceptrice, je ne m’intéresse pas tant que ça aux parties très techniques, confesse-t-elle. J’ai recours aux agents d’IA pour m’aider avec ces éléments. Ce qui aurait pu me prendre des mois m’a en réalité pris trois ou quatre jours. »
Au travers de son organisation à but non lucratif, Radiance Girl Africa, Karen-Happuch Peprah Henneh a animé des discussions et ateliers dans plusieurs écoles, notamment la University of Education in Ghana et UniMAC, dans la but d’outiller les jeunes femmes pour réussir dans les domaines technique et artistique. « La fracture numérique est béante, commente-t-elle. La majorité des jeunes n’ont pas accès à un ordinateur. Les technologies peuvent résoudre de nombreux problèmes, mais si elles ne sont pas conçues par les personnes des mêmes origines que moi, il est difficile de rattraper son retard et d’apprendre à les utiliser. Mes créations sont destinées aux personnes des communautés mises à l’écart. »
Démocratiser l’apprentissage de la musique avec LeViola
En préparant ses affaires dans le cadre de son programme d’échange à la New York University, Yoonjae Joung, âgé de 21 ans et étudiant en informatique, s’est aperçu que son violon alto ne rentrait pas dans ses valises. Mais après avoir assisté à un concert au New York Philharmonic, il a commencé à regretter son instrument. C’est à ce moment qu’il s’est mis en tête de créer LeViola, un projet d’app pour faciliter l’apprentissage de l’alto et la pratique de l’instrument.
Bien qu’il soit rompu à la programmation – encore adolescent à Séoul, en Corée du Sud, il avait créé un chronomètre pour commander les appareils électroniques en classe, et il vient de développer un appareil propulsé à l’IA pour les personnes âgées seules – il découvre Swift. « Lorsque j’ai pensé à utiliser mes mains pour jouer de l’instrument et à me servir de la superposition de la caméra pour aider les personnes à se repérer sur l’archet, je ne savais pas par où commencer », dit-il. Pour se familiariser avec le langage de programmation, Yoonjae Joung s’est servi de Claude, mais aussi de Codex, par OpenAI et de Gemini, par Google. Il a ensuite découvert comment entraîner son propre modèle avec Create ML avant de l’intégrer à l’app avec Core ML.
Lors du développement de LeViola, Yoonjae Joung visait à exploiter du mieux possible les cadres logiciels d’Apple pour l’apprentissage machine sur l’appareil. « Ils m’ont servi à analyser l’articulation de la main gauche pour déterminer la note jouée, explique-t-il. Pour pouvoir distinguer les cordes et offrir une expérience réaliste, j’ai décidé de surveiller l’angle du bras droit. »
Yoonjae Joung a parfaitement conscience des obstacles que l’on rencontre lorsqu’on apprend à jouer d’un instrument. Les instruments sont souvent encombrants et les cours peuvent être dispendieux. « J’estime que les technologies doivent servir à créer des liens, explique-t-il. L’app n’est qu’un début. Je peux en faire pour d’autres instruments. Même les personnes qui ne possèdent pas d’instrument peuvent maintenant jouer de la musique classique. Je veux offrir au plus grand nombre de personnes la possibilité d’apprendre à jouer d’un instrument et de faire partie d’un orchestre, et tout est possible grâce à iPhone. »
Yoonjae Joung se consacre pour l’instant à LeViola, mais il a déjà une autre app en tête, qui rassemble ses passions pour l’art et les technologies. « J’ai envie de créer des plateformes numériques qui établissent des liens entre les personnes dans le monde réel », conclut-il.
Apple est fière de soutenir la prochaine génération de développeuses et développeurs, de créatrices et créateurs et d'entrepreneures et entrepreneurs au moyen de son programme annuel Swift Student Challenge. Des milliers d’étudiants et étudiantes ont bâti de solides carrières dans les technologies, lancé de jeunes pousses et créé des organisations axées sur la démocratisation des technologies pour construire un avenir meilleur. Pour en savoir plus, consultez le developer.apple.com/swift-student-challenge.
Partager l’article
Media
-
Texte de l’article
-
Images de l’article