Nach Microsoft und Google will nun auch
Meta ins Wettrennen der KI-Chatbots einsteigen. Der Zuckerberg-Konzern hat ein KI-basiertes Sprachmodell entwickelt und veröffentlicht, das hauseigene und externe Forscher bei ihrer Arbeit an Konkurrenten zu ChatGPT und Bard unterstützen soll. Die Technologie nennt sich LLaMA (Large Language Model Meta AI) und soll in Zukunft die Meta-Plattform anreichern – im Moment wird sie in Facebook, Instagram & Co. noch nicht eingesetzt.
Bei LLaMA handle es sich um ein kleineres und leistungsfähigeres Modell, das Forschern ohne Zugang zu riesigen Infrastrukturen zugutekommen soll. Damit,
so ein Blogpost von Meta AI, werde der Zugang in diesem wichtigen, sich schnell verändernden Teilbereich der KI-Forschung demokratisiert, denn solche kleineren Modelle liessen sich mit weniger Computing-Aufwand trainieren, testen und einsetzen. LLaMA ist in verschiedenen Grössen von 7 bis 65 Milliarden Parametern verfügbar. GPT-3, die Basis von ChatGPT, arbeitet dagegen mit 175 Milliarden Parametern. Meta selbst hat LLaMA mit Text in den 20 meistverbreiteten Sprachen trainiert, der Schwerpunkt lag auf Sprachen mit lateinischem oder kyrillischem Alphabet. Dabei sollen ausschliesslich öffentlich verfügbare Quellen genutzt worden sein.
Laut dem Forschungspaper des LLaMA-Teams von Meta bringt LLaMA mit 13 Milliarden Parametern in den meisten Benchmarks eine höhere Leistung als GPT-3 mit 175 Milliarden Parametern, und mit 65 Milliarden Parametern ist LLaMA den derzeit besten Sprachmodellen Chinchilla70B und PaLM-540B mit 70 beziehungsweise 540 Milliarden Parametern ebenbürtig.
(ubi)
