KI ohne Internetverbindung: Google AI Edge Gallery im Test

Künstliche Intelligenz benötigt einiges an Rechenleistung, weshalb der Großteil noch auf externen Servern ausgeführt wird. Doch unsere Smartphones sind bereits potent genug, dass manche kleinen KI-Modelle direkt auf den Geräten laufen können - ganz ohne Internetverbindung. Mit der Google AI Edge Gallery stellt Google erstmals eine eigene App bereit, mit der solche Modelle vollkommen lokal getestet und genutzt werden können.

Ungewöhnlicher Start

Der App-Download ist  zumindest für Durchschnittsuser ungewöhnlich. Google stellt seine neue App nämlich nicht über den hauseigenen Play Store bereit. Stattdessen wird die Android-Version als APK über GitHub verbreitet. Die iOS-Version wird derzeit nur als „Coming soon“ deklariert.

Wollen wir die APK auf unserem Smartphone installieren, muss zuallererst die Installation aus unbekannten Quellen auf dem Gerät erlaubt sein. Dann lässt sich die 115 Megabyte große App installieren.

Google fokussiert sich bei der App auf das Wesentliche, nämlich die Funktion. Direkt nach dem Start bekommen wir die 3 Funktionskacheln zu Gesicht. Neben dem klassischen AI Chat gibt es Ask Image und Prompt Lab.

In der App werden diese als „Example LLM Use Cases“ bezeichnet. Hinter jedem Use Case verstecken sich dann ein oder mehrere Large Language Models (LLM), die eingesetzt werden können. Im Fokus steht hier vor allem Gemma LLM, eine offene und kompaktere Version von Google Gemini, die auf den lokalen Betrieb getrimmt ist. Außerdem ist Qwen2.5 von Haus aus in der Liste. 

Account-Pflicht

Möchten wir mit diesen LLMs arbeiten, müssen wir sie aber erst herunterladen. Während Gemma3-1B-IT q4 mit schlanken 500 MB daher kommt, ist Gemma-3n-E4B-it-int4 stolze 4,4 Gigabyte groß. Um die Modelle zu downloaden, leitet uns die AI Edge Gallery dann zur Webseite huggingface.co weiter, wo die Modelle verwaltet werden.

Hier brauchen wir einen kostenlosen Account zum Download, im Falle der Gemma-Modelle landen wir außerdem noch auf einer Zusatzseite von Google, in der wir den Zugriff durch Eingabe von Namen und E-Mail sowie der Zustimmung der Nutzungsbedingungen erbitten müssen. Haben wir diesen etwas unhandlichen Prozess hinter uns, laden die Modelle aber endlich. Neben den vorgeschlagenen Modellen können wir zudem eigene .task-Dateien in die App holen.

Wo liegt die Wahrheit?

Sind die gewünschten Modelle endlich auf dem Gerät, kann das Experimentieren beginnen. Dank der vollkommen lokalen Verarbeitung könnten wir unser Smartphone jetzt theoretisch in den Flugmodus packen und sämtliche Verbindungen trennen, die App und ihre Modelle funktionieren weiterhin.

In einem ersten Test sehen wir uns die Fähigkeiten von „Ask Image“ an. Füttern wir die KI mit einem Bild, können kontextbasiert Fragen gestellt werden. Einen klassischen Kassazettel beispielsweise kann ich vom Modell Gemma-3n-E4B-it-int4 ohne Probleme analysieren lassen.

Sowohl die Berechnung der Gesamtsumme (ohne dass diese auf dem Bild sichtbar ist) als auch Fragen zu einzelnen Inhalten sind kein Problem. Als ich ein Bild des neuen Elektrominibusses von Volkswagen hochlade, wird dieser korrekt als ID.Buzz identifiziert. Eine Nachfrage zum Akku fördert dann aber Zweifel zutage. So stimmen zwar die 77 kWh für den einen Akku, die Daten für die anderen Varianten sind aber falsch bzw. nicht vorhanden.

Bleibende Vertrauensprobleme

Hier entstehen erste Vertrauensprobleme, die ich während der Nutzung der App nie wieder loswerde. Für den AI Chat nehme ich einen Klassiker unter den Fangfragen zur Hand. „Was ist schwerer: 1 Kilogramm Federn oder 1 Kilogramm Gold?“. Das kompakte Gemma-Modell antwortet hier mit voller Überzeugung, dass 1 Kilogramm Federn schwerer seien. Und ist sich auf Nachfrage auch „absolut sicher“. Noch absurder wird es, wenn ich einen Bindestrich in die Frage einbaue. Jetzt beginnt das Modell plötzlich abzuwägen, beantwortet die Frage aber nicht. Auffällig ist auch, dass das Modell Deutsch versteht, dann aber auf Englisch antwortet, sehr wohl aber auch Deutsch antworten kann und das willkürlich auch tut.

Besser schlägt sich hier dann das größte voreingestellte Modell, Gemma-3n-E4B-it-int4. Es erkennt, dass es sich um ein klassisches Rätsel handelt, begründet die Antwort und gibt sogar einen kleinen physikalischen Einblick. Mit fast 22 Sekunden von der Eingabe bis zur fertigen Antwort ist es aber natürlich auch das langsamste. Zumindest auf einem Samsung Galaxy S22 Ultra als Testgerät. 

Mit Prompts spielen

Ebenfalls spielen können wir mit dem Prompt Lab. Hier finden wir voreingestellte Prompts, die sich auf die einzelnen Modelle anwenden lassen. Mit „Free Form“ können wir etwa Texte verfassen lassen, die nach unseren Wünschen aufgebaut werden. „Rewrite Tone“ nimmt unsere Texte und schreibt diese in der Tonalität um.

Darüber hinaus können wir uns Texte mit „Summarize Text“ und sogar Code mit „Code Snippet“ generieren lassen. Auch hier wird dann die Abhängigkeit lokaler Modelle von der Leistungsfähigkeit des Geräts sichtbar. Ein humoristisches Gedicht zum Thema „Vertrauen in LLMs“ liefert die KI ohne Probleme. Für die 3 Absätze braucht sie aber auch 3 Minuten. Nicht besser wird es beim Zusammenfassen eines kurzen Wikipedia-Ausschnitts. Auch hier kommen die Bullet-Points nur sehr zäh auf den Bildschirm. Immerhin, die Aufgaben werden brav erledigt. Auch Halluzinationen konnte ich bei verschiedenen Test-Texten nicht feststellen. 

Fazit

Mit der Google AI Edge Gallery liefert der Internetgigant einen möglichen Blick in die Zukunft der Künstlichen Intelligenz auf dem Smartphone. Zwar ist der Einsatz von lokalen Modellen nicht neu und schon mit einigen Apps möglich, Google scheint hier mit einem anwendungsnahen Aufbau und einer Community rundherum einen ernsthaften Ansatz zu versuchen.

Während die kleineren Modelle schnell die Fakten aus den Augen verlieren, kann vor allem Gemma-3n-E4B-it-int4 überzeugen. Das Tempo ist hier aber noch einer der größten Hemmschuhe, was auch mit dem Smartphone-Modell zusammenhängt. Hier wird auch die Umsetzung auf iOS spannend, dessen Nutzerinnen und Nutzer möglicherweise noch größeres Interesse an einem lokalen AI-Assistenten haben.

Google AI Edge Gallery ist kostenlos auf GitHub verfügbar.