apple stories
KI møter tilgjengelighet i årets Swift Student Challenge
Få umiddelbar tilbakemelding under presentasjoner. Røm fra oversvømmelser i Accra. Spill bratsj uten det fysiske instrumentet. Tegn på iPad uten å tenke på skjelvende hender. Dette er bare fire av løsningene som årets vinnere av Swift Student Challenge skapte med de vinnene app-lekeplassene sine.
Den årlige Swift Student Challenge inviterer studenter fra hele verden til å sette idéene sine ut i livet gjennom originale app-lekeplasser utviklet med Swift, Apples brukervennlige kodespråk. Årets 350 vinnende innsendelser er fordelt på 37 land og områder, og viser fram en rekke ulike teknologier.
«Bredden i kreativitet som vi ser i Swift Student Challenge slutter aldri å imponere oss», sier Susan Prescott, ansvarlig for globale utviklerrelasjoner hos Apple. «Årets vinnere har funnet kreative bruksområder for kreftene i Apples plattformer, Swift og KI-verktøy til å utvikle app-lekeplasser som er like teknisk imponerende som de er viktige. Vi er utrolig stolte av å kunne hjelpe dem på veien, og vi gleder oss veldig til å se hva de lager i fremtiden.»
50 vinnere har blitt invitert til å delta på WWDC (Worldwide Developers Conference) ved Apple Park i juni, der de får muligheten til å være med på et skreddersydd opplegg som går over tre dager. I løpet av uken vil studentene få muligheten til å overvære hovedpresentasjonen, lære fra Apple-eksperter og -ingeniører og delta i praktiske laber.
Mange av årets vinnere hentet inspirasjon fra lokalsamfunnene sine – eller fra samtaler rundt kjøkkenbordet – for å utvikle imponerende apper som fokuserer på tilgjengelighet. Nedenfor vises vinnerne Gayatri Goundadkar, Anton Baranov, Karen-Happuch Peprah Henneh og Yoonjae Joung mens de jobber med app-lekeplasser og ekte utfordringer de ønsker å løse, og de viser fram de langvarige endringene som apputvikling kan føre til.
Gjør kunsten mer tilgjengelig med en stødig hånd
20-åringen Gayatri Goundadkar vokste opp med å male og tegne sammen med bestemoren sin i Pune i India. De to delte en lidenskap for Warli-maling, en gammel kunstform som er kjent for bruken av grunnleggende geometriske figurer. Men da Goundadkars bestemor ble eldre, begynte hun å skjelve på hendene og kunne ikke lenger være med på malingen i samme grad som før. Dette gjorde inntrykk på Goundadkar som bestemte seg for å utvikle Steady Hands, en app-lekeplass som bruker Apple Pencil-stabilisering til å hjelpe personer med skjelvende hender med å lage kunst.
«Hovedmålgruppen min er eldre voksne», forklarer Goundadkar, som studerer informatikk på tredje året ved Maharashtra Institute of Technology World Peace University, hvor hun deltar i et apputviklingsprogram. «I India spesielt kan teknologi føles skummelt for den eldre garden, så jeg har tatt alle avgjørelser med dette i tankene. Brukergrensesnittet måtte føles rolig, ikke minimalt. Jeg ville ikke at noen skulle åpne appen og føle seg forvirret eller overveldet. Jeg ville at de skulle føle at appen var laget for dem.»
For at appen skal la brukerne tegne fritt, måtte Goundadkar forstå skjelvinger og hvordan de påvirker samhandlingen med berøringsskjermen på iPad. Delvis inspirert av Apples tilgjengelighetsfunksjoner som Trykktilpassing, begynte hun å lære seg SwiftUI-konsepter, og ved hjelp av Anthropics Claude kunne hun få forklart emner som hvordan PencilKit håndterer data fra penselstrøk. For å karakterisere en brukers skjelvinger utviklet hun et verktøy som analyserer rå bevegelsesdata fra iPad og Apple Pencil. Det registrerer håndbevegelser og bruker signalbehandlingsteknikker for å identifisere hyppigheten og intensiteten på skjelvingene til brukerne.
«Når noen tegner, bruker appen min Apples PencilKit- og Accelerate-rammeverkene til å analysere data fra penselstrøk til å gjenkjenne skjelvinger. Den registrerer hva som er bevisste bevegelser og hva som ikke er det, og fjerner skjelvingene», sier hun. «Alle tegningene blir deretter vist fram i et personlig 3D-museum, fordi jeg ville få dem til å føle seg som kunstnere, ikke pasienter. Når brukerne så at stabiliseringen fungerte, følte de seg mer selvsikre.»
Perfekte presentasjoner med pitch coach
Anton Baranov på 22 satt rundt familiens kjøkkenbord i Frankfurt i Tyskland da moren hans, som er professor i lingvistikk og litteratur, kom med en kommentar som traff ham.
«Hun sa at studentene hennes var skikkelig flinke, men at det noen ganger bare låste seg for dem under presentasjoner. De finner ikke ordene. De luter seg i ryggen. De klarer ikke å dele idéene sine», sier Baranov, som studerer informatikk ved University of Applied Sciences Mittelhessen i Tyskland. Det var da pitch coach, en app som Baranov beskriver som «en Apple Intelligence-drevet hjelper for Skaperen-presentasjoner, ble født.»
Baranov, som ble interessert i programmering da han var 16, brukte Swift for første gang i august i fjor, og i februar utviklet han pitch coach. Han viste en tidlig versjon av appen til morens studenter, og oppdaget en helt spesifikk utfordring. Studentene visste hvor de kom til kort, men de innså ikke egne feil før etter de hadde gjort dem. «Én av studentene fortalte meg at de ønsket å stoppe seg selv før de gjorde feilen», minnes Baranov. «Det var akkurat slik tilbakemelding i sanntid og holdningssporing via AirPods dannet hovedfunksjonene i appen.»
For å veilede brukerne til å overvinne presentasjonsangsten dro Baranov nytte av Apples Foundation Models-rammeverk for å generere personlig, kontekstavhengig tilbakemelding og oppsummeringer etter hver presentasjon, slik at brukerne ble klare over fyllord som «liksom» eller «eh». Han brukte også Claude Agent i Xcode 26 til å oversette appen til 20 forskjellige språk, og forhørte seg med venner og kollegaer for å få hjelp til å identifisere fyllord på andre språk.
Baranov lanserte pitch coach på App Store tidlig i mars, og siden da har den blitt lastet ned over 6000 ulike ganger. De fleste av appens brukere bruker den til presentasjonsformål, men Baranov nevner at enkelte bruksområder har fått ham til å trekke på smilebåndet – å øve seg på rapframføringer og standup-komedie. «Brukerne definer appen, så hvis de kan bruke den til disse tingene, så gjør de det», sier han.
Trygge evakueringsveier i flomrammede områder med Asuo
Karen-Happuch Peprah Henneh har lært seg Swift dette året. Etter å ha fullført bachelorgrader i informatikk og informasjonsteknologi hjemme i Ghana, rettet Henneh fokuset mot animasjon, siden mulighetene for koding var få. Hun lærte seg Figma og HTML5 på fritiden, og nå jobber hun mot en mastergrad i interaksjonsdesign på California College of the Arts.
Hun designet sin prisbelønte app-lekeplass, Auso, for flomrammede samfunn. (Asuo betyr «rennende vann» på twi, som er det nest mest utbredte språket i Ghana etter engelsk.) Asuo gir personer trygge veibeskrivelser i sanntid i flomrammede områder, og den har sitt utspring i erfaringer fra virkeligheten – nemlig de dødelige flommene som traff Accra i 2015.
«Den erfaringen sitter i kroppen fordi hele landet var i sorg», sier Henneh. «Jeg bestemte meg for at hvis jeg fikk sjansen, så skulle det være det første jeg ville jobbe med – å utvikle en app som kunne beregne nedbørsintensitet og bruke en veiviser-algoritme basert på historiske flomdata.»
For å lage Asuo måtte ikke Henneh bare kombinere alle disse dataene, men også sikre at det ville fungere for alle. «Tilgjengelighet var en avgjørende faktor helt fra starten av, ikke en ettertanke», sier hun. «Jeg mener at ingen skal bli etterlatt i kriser på grunn av et handikap eller en begrensning.»
Appens interaktive elementer har VoiceOver-etiketter og -hint, sånn at brukere med nedsatt syn kan navigere på alle skjermer, og Henneh laget også et talevarslingssystem ved hjelp av AVSpeechSynthesizer, som brukerne kan slå av eller på med en høyttalerknapp.
Etter å ha designet Asuo-grensesnittet i Figma, brukte Henneh Claude for å hjelpe til med å design regnsimulatoren på appens startskjerm, i tillegg til å implementere veiviser-algoritmen A*. «Fordi jeg er designer, dykker jeg ikke så veldig ned i de tekniske aspektene», forteller hun. «Jeg er avhengig av at KI-agenter hjelper meg med dette. Noe som ville tatt meg flere måneder å gjøre, kunne bli ferdigstilt på tre eller fire dager.»
Gjennom den frivillige organisasjonen sin, Radiance Girl Africa, har Henneh ledet diskusjoner og workshoper ved flere skoler, inkludert University of Education i Ghana og UniMAC, med mål om å styrke unge kvinners sjanser til å lykkes innen teknologifag og kunst. «Det digitale skillet er enormt», sier hun. «Mange av disse menneskene hadde ikke tilgang til datamaskiner i oppveksten. Det er mange problemer teknologi kan løse, men hvis folk fra hjemstedet mitt ikke er de som designer løsningene, kan det være vanskelig å henge med og lære seg det. Jeg designer for folk i marginaliserte samfunn.»
Musikkopplæring til massene med LeViola
Da Yoonjae Joung på 21 holdt på å pakke til utvekslingsprogrammet ved New York University, fikk ikke informatikkstudenten plass til bratsjen sin i bagasjen. Men etter en konsertopplevelse i New York-filharmonien, kjente han på savnet etter instrumentet sitt. Det var da han ble inspirert til å utvikle LeViola, en applekeplass designet for å gjøre det mer tilgjengelig å lære seg å spille bratsj.
Selv om Joung har kodet lang tid, er Swift nytt for ham. Som tenåring i Seoul i Sør-Korea laget han en tidtaker for å styre elektronikk i klasserommet, og han utviklet nylig en KI-drevet venn for eldre som bor alene. «Da jeg kom på idéen om å bruke hendene til å spille på instrumentet og bruke kameraoverlegget til å hjelpe brukerne med å holde buen på sin egen måte, visste jeg ikke helt hvor jeg skulle begynne», sier han. For å gjøre seg kjent med kodespråket brukte Joung Claude, OpenAIs Codex og Googles Gemini. Deretter eksperimenterte han med Create ML for å trene sin egen modell før han integrerte den i appen sin ved hjelp av Core ML.
Mens han utviklet LeViola tok Joung sikte på å utnytte Apples rammeverk for maskinlæring på enheten. «Jeg brukte dem til å analysere leddet på venstre hånd for å avgjøre hvilke noter som blir trykket på», forklarer han. «For å skille mellom strenger og en realistisk spilleopplevelse bestemte jeg meg for å spore vinkelen til den høyre armen.»
Joung er veldig klar over utfordringene som kan stå i veien for å lære seg et instrument. De fleste instrumenter tar mye plass, og undervisningen kan være dyr. «Jeg bruker teknologi som et verktøy for å sette mennesker i kontakt med hverandre», sier han. «Denne appen er bare begynnelsen. Jeg kan lage dette for andre instrumenter også. Folk uten instrumenter kan nå prøve seg på klassisk musikk. Jeg ønsker at flere skal få muligheten til å lære et instrument og oppleve orkestre, og med iPhone blir alt dette mulig.»
Selv om Joung fokuserer på LeViola for øyeblikket, har han allerede tenkt på en annen app som kombinerer lidenskapen for kunst og teknologi. «Jeg vil gjerne lage digitale plattformer hvor folk kan komme i kontakt med andre i den virkelige verden», sier han.
Apple er stolt over å støtte den neste generasjonen av utviklere, skapere og gründere ved hjelp av det årlige Swift Student Challenge-programmet. Tusenvis av deltakere fra hele verden har skapt seg en karriere, etablert virksomheter og stiftet organisasjoner som fokuserer på å demokratisere teknologi og bruke den til å skape en bedre fremtid. Du finner mer informasjon på developer.apple.com/swift-student-challenge.
Del artikkel
Media
-
Teksten i denne artikkelen
-
Bilder i denne artikkelen