Opera integriert lokale LLMs in One Developer Browser

Der Opera One Browser verfügt bereits über eine eingebaute KI namens Aria auf Basis von ChatGPT. Im One Developer Browser für Entwickler und Nerds geht Opera jetzt einen Schritt weiter und bietet über 150 lokale LLMs zum Download und Implementierung in den Browser an, wie Opera in einem Blogpost schreibt. Unter den zur Verfügung stehenden Modellen finden sich auch namhafte wie etwa Llama von Meta, Gemma von Google oder Mixtral von Mistral AI.


Um ein LLM zu installieren, muss man zuerst das Aria Chatfenster öffnen. Dann muss man beim Dropdown-Menü am oberen Seitenrand den lokalen Modus auswählen. Anschliessend muss man die Einstellungen öffnen. An diesem Punkt findet man alle zur Verfügung stehenden LLMs, welche heruntergeladen und installiert werden können. Nach dem Download-Prozess muss man auf den Menü-Button klicken und einen neuen Chat starten. Im nun geöffneten Chatfenster wählt man im vorhin erwähnten Dropdown das soeben heruntergeladene LLM aus und die KI ist nun bereit, Prompts zu beantworten.

Opera schreibt, dass es noch nie so einfach war, verschiedene LLMs direkt miteinander zu vergleichen. Je nach Grösse des Modells werden pro Download zwei bis zehn Gigabyte Speicher beansprucht. Ausserdem könne die Antwortzeit deutlich länger ausfallen als von Aria gewohnt, da die Bearbeitung von der lokalen Rechenleistung abhängig sei. Opera betont jedoch den Vorteil hinsichtlich Datenschutz, da durch die Nutzung der lokalen KI keine Daten über das Internet auf einen Server übermittelt werden. Es gibt abgesehen vom Speicherplatz keine Limite, wie viele LLMs gleichzeitig installiert werden sollen. Über das Dropdown-Menü kann mit einem Klick auf ein anderes Modell oder aber wieder zurück auf Aria gewechselt werden. (dok)