apple stories
Bei der diesjährigen Swift Student Challenge trifft KI auf Barrierefreiheit
Echtzeit-Feedback während einer Präsentation erhalten. Aus einem Überschwemmungsgebiet in Accra fliehen. Bratsche spielen, ohne das Instrument physisch in der Hand zu halten. Auf dem iPad zeichnen, ohne sich um Tremor sorgen zu müssen. Dies sind nur vier der Lösungen, die die ausgezeichneten Gewinner:innen der diesjährigen Swift Student Challenge mit ihren preisgekrönten App Playgrounds entwickelt haben.
Die jährliche Swift Student Challenge lädt Schüler:innen und Studierende aus aller Welt dazu ein, ihre Ideen mithilfe von originellen App Playgrounds zum Leben zu erwecken, die mit Apples leicht zu erlernender Programmiersprache Swift erstellt worden sind. Die 350 ausgezeichneten Einreichungen dieses Jahres stammen aus 37 Ländern und Regionen und präsentieren eine große Bandbreite an Technologien.
„Die Vielfalt an Kreativität, die wir bei der Swift Student Challenge erleben, begeistert uns immer wieder aufs Neue“, sagt Susan Prescott, Vice President of Worldwide Developer Relations bei Apple. „Die diesjährigen Gewinner:innen haben beeindruckende Wege gefunden, die Möglichkeiten der Apple Plattformen, Swift und KI-Tools zu nutzen, um App Playgrounds zu entwickeln, die ebenso technisch beeindruckend wie bedeutungsvoll sind. Wir sind unglaublich stolz darauf, sie auf ihrem Weg zu unterstützen, und können es kaum erwarten zu sehen, was sie als Nächstes entwickeln.“
Fünfzig „Distinguished Winners“ (= ausgezeichnete Gewinner:innen) sind zur Worldwide Developers Conference (WWDC) im Apple Park im Juni eingeladen worden, wo sie an einem speziell zusammengestellten dreitägigen Programm teilnehmen werden. Im Laufe der Woche haben die Studierenden die Möglichkeit, die Keynote live zu verfolgen, von Apple-Expert:innen und -Entwickler:innen zu lernen und an praxisorientierten Labs teilzunehmen.
Viele der diesjährigen Gewinner:innen haben sich von ihren Communitys — oder sogar von Gesprächen am Küchentisch — inspirieren lassen, um beeindruckende Apps zu entwickeln, bei denen Barrierefreiheit im Mittelpunkt steht. Im Folgenden geben die ausgezeichneten Gewinner:innen Gayatri Goundadkar, Anton Baranov, Karen-Happuch Peprah Henneh und Yoonjae Joung Einblicke in ihre App Playgrounds und die realen Probleme, die sie damit lösen möchten. Damit demonstrieren sie, wie App-Entwicklung nachhaltige Veränderungen bewirken kann.
Kunst mit „Steady Hands“ zugänglicher machen
Gayatri Goundadkar, 20, ist in Pune, Indien, aufgewachsen und zeichnete und malte gemeinsam mit ihrer Großmutter. Die beiden teilten eine Leidenschaft für die Warli-Malerei – eine jahrhundertealte Kunstform, die für die Verwendung einfacher geometrischer Formen bekannt ist. Doch als Goundadkars Großmutter älter wurde, begannen ihre Hände zu zittern, sodass sie ihrer täglichen Beschäftigung nicht mehr nachgehen konnte. Dieser Verlust ließ Goundadkar nicht los und inspirierte sie dazu, „Steady Hands“ zu entwickeln – einen App Playground, der die Stabilisierungsfunktion des Apple Pencil nutzt, um Menschen mit Tremor dabei zu unterstützen, Kunst zu schaffen.
„Meine Hauptzielgruppe sind ältere Erwachsene“, erklärt Goundadkar, eine Informatikstudentin im dritten Jahr an der Maharashtra Institute of Technology World Peace University, wo sie an einem Programm für App-Entwicklung teilnimmt. „Besonders in Indien kann Technologie auf diese Generation einschüchternd wirken, daher habe ich jede Entscheidung unter diesem Gesichtspunkt getroffen. Die Benutzeroberfläche sollte ruhig wirken, nicht klinisch. Ich wollte nicht, dass sich jemand beim Öffnen der App verloren oder überfordert fühlt. Ich wollte, dass sie das Gefühl haben, die App sei für sie gemacht.“
Damit Nutzer:innen mit der App frei zeichnen können, musste Goundadkar verstehen, wie Tremor entsteht und wie er die Interaktion mit dem Touchscreen des iPad beeinflusst. Inspiriert unter anderem von Apple Bedienungshilfen wie „Touch-Anpassungen“ begann sie damit, sich mit SwiftUI-Konzepten vertraut zu machen, wobei sie Claude von Anthropic nutzte, um sich Wissen zu Themen wie der Verarbeitung von Strichdaten in PencilKit anzueignen. Um den Tremor von Nutzer:innen zu charakterisieren, entwickelte sie außerdem ein Tool, das Rohbewegungsdaten von iPad und Apple Pencil analysiert. Es erfasst Handbewegungen und nutzt Signalverarbeitungstechniken, um Frequenz und Intensität des Tremors zu ermitteln.
„Wenn eine Person zeichnet, nutzt meine App die Apple Frameworks PencilKit und Accelerate, um Strichdaten zu analysieren und Tremor zu erkennen. Sie erkennt, welche Bewegungen beabsichtigt sind und welche nicht, und entfernt die Tremor-Komponente“, sagt sie. „Jede Zeichnung wird anschließend in einem persönlichen 3D-Museum angezeigt, denn ich wollte, dass sich die Nutzer:innen wie Künstler:innen fühlen, nicht wie Patient:innen. Als die Nutzer:innen sahen, wie die Stabilisierung funktioniert, fühlten sie sich selbstbewusster.“
Präsentationen mit „Pitch Coach“ perfektionieren
Anton Baranov, 22, saß am Küchentisch seiner Familie in Frankfurt am Main, als seine Mutter, eine Professorin für Linguistik und Literatur, eine Bemerkung machte, die ihn nachdenklich stimmte.
„Sie sagte, dass ihre Studierenden wirklich talentiert sind, aber manchmal bei Präsentationen einfach erstarren. Ihnen fehlen die Worte. Sie lassen die Schultern hängen. Sie schaffen es nicht, ihre Ideen zu vermitteln“, sagt Baranov, Informatikstudent an der Technischen Hochschule Mittelhessen. In diesem Moment wurde die Idee für „pitch coach“ geboren – eine App, die Baranov als „einen Wingman für Shark-Tank-Pitches mit der Power von Apple Intelligence“ beschreibt.
Baranov, der mit 16 Jahren mit dem Programmieren begonnen hat, nutzte Swift erstmals im vergangenen August und entwickelte „pitch coach“ im Februar. Eine frühe Version stellte er den Studierenden seiner Mutter vor und entdeckte dabei ein konkretes Problem: Die Studierenden wissen zwar, wann ihre Präsentation nicht gut läuft, erkennen ihre Fehler aber oft erst im Nachhinein. „Ein Student sagte zu mir: ‚Ich möchte mich selbst auf frischer Tat ertappen können‘“, erinnert sich Baranov. „Genau so wurden das Echtzeit-Feedback und die Haltungserkennung mithilfe der AirPods zum Kern der App.“
Um Nutzer:innen dabei zu helfen, ihre Präsentationsangst zu überwinden, verwendete Baranov das Foundation Models Framework von Apple, um nach jeder Session personalisiertes und kontextbezogenes Feedback sowie Zusammenfassungen zu generieren, die Anwender:innen auf Füllwörter wie „like“ oder „um“ hinweisen. Außerdem verwendete er Claude Agent in Xcode 26, um die App in 20 Sprachen zu übersetzen, und konsultierte Freund:innen und Kolleg:innen, um Füllwörter in anderen Sprachen zu identifizieren.
Baranov hat „pitch coach“ Anfang März im App Store veröffentlicht. Seitdem hat die App mehr als 6.000 organische Downloads verzeichnet. Die meisten Nutzer:innen der App verwenden sie zum Üben von Präsentationen, aber Baranov erwähnt einige Anwendungsfälle, die ihn zum Lachen gebracht haben – etwa das Üben von Rap-Auftritten und Stand-up-Comedy-Programmen. „Die Anwender:innen definieren die App selbst. Wenn sie sie also für diesen Zweck mögen, nutzen sie sie auch dafür“, sagt er.
Sichere Evakuierungswege aus Überschwemmungsgebieten mit „Asuo“ finden
Karen-Happuch Peprah Henneh hat Swift erst in diesem Jahr gelernt. Nach ihrem Bachelor-Abschluss in Informatik und Informationstechnologie in ihrem Heimatland Ghana konzentrierte sich Henneh auf Animation, da es kaum Möglichkeiten im Bereich Programmierung gab. Nebenbei lernte sie Figma und HTML5 und absolviert derzeit ihren Master in Interaktionsdesign am California College of the Arts.
Sie entwickelte ihren ausgezeichneten App Playground „Asuo“ für hochwassergefährdete Communitys. („Asuo“ bedeutet „fließendes Wasser“ in Twi, einer in Ghana weit verbreiteten Sprache.) „Asuo“ bietet Menschen in Hochwassergebieten sichere Routenführung in Echtzeit und basiert auf persönlichen Erfahrungen — den verheerenden Überschwemmungen, die Accra im Jahr 2015 heimsuchten und eine Kette weiterer Katastrophen auslösten.
„Diese Erfahrung hat mich wirklich geprägt, weil das ganze Land in Trauer war“, sagt Henneh. „Damals habe ich beschlossen, dass dies das Erste sein würde, woran ich arbeiten wollte, sollte sich mir jemals die Gelegenheit bieten: eine App zu entwickeln, die die Regenintensität berechnen kann und einen Wegfindungsalgorithmus nutzt, der auf historischen Hochwasserdaten basiert.“
Um „Asuo“ zu entwickeln, musste Henneh nicht nur all diese Daten zusammenführen, sondern auch sicherstellen, dass die App für alle nutzbar ist. „Barrierefreiheit war von Anfang an ein zentraler Bestandteil, kein nachträglicher Einfall“, sagt sie.
„Ich bin der Meinung, dass in einer Krisensituation niemand aufgrund einer Behinderung oder Einschränkung zurückgelassen werden sollte.“
Die interaktiven Elemente der App verfügen über VoiceOver Beschriftungen und Hinweise, sodass sehbehinderte Nutzer:innen durch jede Ansicht navigieren können. Außerdem entwickelte Henneh mithilfe von AVSpeechSynthesizer ein eigenes Sprachwarnsystem, das sich über eine Lautsprechertaste aktivieren lässt.
Nachdem sie die Benutzeroberfläche von „Asuo“ in Figma entworfen hatte, nutzte Henneh Claude, um Unterstützung bei der Gestaltung des Regensimulators auf dem Startbildschirm ihrer App sowie bei der Implementierung des A*-Pathfinding-Algorithmus zu erhalten. „Da ich Designerin bin, beschäftige ich mich nicht wirklich mit den sehr technischen Details“, erzählt sie. „Dabei verlasse ich mich auf KI-Agenten. Etwas, wofür ich sonst Monate gebraucht hätte, konnte so in drei oder vier Tagen umgesetzt werden.“
Mit ihrer gemeinnützigen Organisation Radiance Girl Africa hat Henneh Diskussionen und Workshops an mehreren Schulen geleitet, darunter an der University of Education in Ghana und der UniMAC, mit dem Ziel, junge Frauen zu befähigen, in den Bereichen Technik und Kunst erfolgreich zu sein. „Die digitale Kluft ist sehr eklatant“, sagt Henneh. „Viele dieser Menschen hatten in ihrer Kindheit keinen Zugang zu Computern. Es gibt viele Probleme, die Technologie lösen kann, aber wenn die Menschen aus meiner Heimat sie nicht selbst entwickeln, ist es etwas schwierig, mitzuhalten und den Umgang damit zu erlernen. Ich entwickle für die Menschen in marginalisierten Communitys.“
Musikausbildung mit „LeViola“ demokratisieren
Als der 21-jährige Yoonjae Joung für sein Austauschprogramm an der New York University packte, passte die Bratsche des Informatikstudenten nicht in seinen Koffer. Doch nachdem er ein Konzert der New Yorker Philharmoniker besucht hatte, begann er, sein Instrument zu vermissen. Da kam ihm die Idee zu „LeViola“, einem App Playground, der das Erlernen und Spielen der Bratsche zugänglicher machen soll.
Obwohl Joung schon seit langem programmiert – als Teenager in Seoul, Südkorea, entwickelte er einen Timer zur Steuerung der Elektronik im Klassenzimmer, und kürzlich entwickelte er ein KI-Begleitgerät für alleinlebende ältere Menschen –, ist Swift für ihn Neuland. „Als mir die Idee kam, das Instrument mit den Händen zu spielen und die Kameraüberlagerung zu nutzen, um Anwender:innen bei der richtigen Bogenhaltung zu unterstützen, wusste ich nicht, wo ich anfangen sollte“, sagt er. Um sich mit der Programmiersprache vertraut zu machen, nutzte Joung Claude sowie Codex von OpenAI und Gemini von Google. Anschließend experimentierte er mit Create ML, um sein eigenes Modell zu trainieren, bevor er es mithilfe von Core ML in seine App integrierte.
Bei der Entwicklung von „LeViola“ wollte Joung die Möglichkeiten der Apple Frameworks für maschinelles Lernen direkt auf dem Gerät bestmöglich nutzen. „Ich habe sie verwendet, um die Gelenke der linken Hand zu analysieren und zu erkennen, welche Noten gegriffen werden“, erklärt er. „Um zwischen den Saiten unterscheiden zu können und ein realistisches Spielerlebnis zu schaffen, habe ich beschlossen, den Winkel des rechten Arms zu verfolgen.“
Joung kennt die Einstiegshürden beim Erlernen eines Instruments nur zu gut. Die meisten Instrumente sind sperrig, und der Unterricht kann teuer sein. „Ich nutze Technologie als Werkzeug, um Menschen miteinander zu verbinden“, sagt er. „Diese App ist erst der Anfang. Ich kann das auch für andere Instrumente entwickeln. Menschen ohne Instrumente können sich nun mit klassischer Musik beschäftigen. Ich möchte, dass mehr Menschen die Möglichkeit haben, ein Instrument zu lernen und Orchestermusik zu genießen, und das iPhone macht all das möglich.“
Und obwohl sich Joung vorerst auf „LeViola“ konzentriert, hat er bereits eine weitere App im Sinn, die seine Leidenschaft für Kunst und Technologie vereint. „Ich möchte digitale Plattformen schaffen, die Menschen in der realen Welt miteinander verbinden“, sagt er.
Apple ist stolz darauf, die nächste Generation von Entwickler:innen, Kreativen und Unternehmer:innen durch sein jährliches Swift Student Challenge Programm zu fördern. Tausende von Teilnehmer:innen aus der ganzen Welt haben erfolgreiche Karrieren aufgebaut, Unternehmen gegründet und Organisationen ins Leben gerufen, die sich auf die Demokratisierung von Technologie und deren Einsatz für eine bessere Zukunft konzentrieren. Weitere Informationen unter developer.apple.com/de/swift-student-challenge.
Artikel teilen
Media
-
Text dieses Artikels
-
Bilder zu dieser Pressemeldung