Orca-Math heisst ein neues KI-Sprachmodell von
Microsoft, das speziell auf die Lösung mathematischer Probleme trainiert wurde. Wir Microsoft im
Research Blog ausführt, handelt es sich dabei um ein sogenanntes Small Language Model (SLM), das sieben Milliarden Parameter unterstützt und aus einem Fine Tuning von Mistral 7B, einem Open-Source-Modell, hervorgegangen ist. Orca-Math wurde anhand von 200'000 Mathematik-Problemen trainiert. Dabei soll ein iteratives Lernverfahren eingesetzt worden sein, indem Problemlösungen geübt und die Leistung auf Basis von "Lehrer"-Feedback kontinuierlich verbessert worden sei.
In einem Benchmark-Test namens GSM8k pass@1 erreichte Orca-Math einen Wert von 86,8 Prozent, während das zugrunde liegende Model Mistral 7B lediglich 37,8 Prozent erreichte. Das Orca-Math-Ergebnis übertraf auch die Werte der Sprachmodelle Llama-2 von Meta, Gemini Pro von Google oder GPT 3.5 von OpenAI.
Ob und in welcher Weise Orca-Math jemals in Microsoft-Produkten oder -Diensten implementiert werden wird, lässt der Blog-Beitrag offen.
(rd)
