Salesforce stellt Unternehmen einen neuen LLM-Benchmark für CRM-Systeme bereit. Der Benchmark evaluiert laut
Salesforce LLMs für Vertriebs- und Service-Anwendungsfälle hinsichtlich Genauigkeit, Kosten, Geschwindigkeit sowie Vertrauen und Sicherheit und soll so dabei helfen, den Nutzen der generativen KI-Modelle für Geschäftsanwendungen zu bewerten. Diese Bewertung erfolgt dabei auf Grundlage echter CRM-Datensätze von Salesforce und aus dem Kundengeschäft sowie Experteneinschätzungen sowohl von Salesforce-Mitarbeitenden als auch von Kunden.
Der Benchmark bildet Anwendungsfälle wie Zusammenfassungen von Verkaufschancen, Interessentengewinnung, Vorfallsberichte und wissensbasierte Empfehlungen für Supportantworten ab. Somit soll er sich von anderen Benchmarks abheben, die vor allem auf akademische und private Anwendungsfälle abzielen. Zudem umfasst das Angebot ein öffentlich einsehbares Leaderboard, das Unternehmen dabei helfen soll, die Effektivität von generativen, KI-gestützten CRM-Lösungen zu beurteilen und informierter zu entscheiden, welches LLM für ihre CRM-Anforderungen am besten geeignet ist.
"Die grössten, leistungsfähigsten Modelle sind oftmals zu kostspielig und liefern mehr, als eigentlich benötigt wird", so Clara Shih, CEO von
Salesforce AI. In vielen Fällen seien Open-Source und/oder kleinere Modelle zu geringeren Kosten für viele Aufgaben aber mindestens genauso gut geeignet. Auch Geschwindigkeit und Benutzerfreundlichkeit bereiten laut Shih Kopfzerbrechen. Der grösste Hemmschuh liege zudem bei der Datensicherheit, wenn gegebenenfalls vertrauliche Daten in das LLM eingespeist werden. Zu guter Letzt erschwere das exponentielle Wachstum der Modelllandschaft die Übersicht noch weiter.
Der Benchmark wird laut Salesforce als dynamisches Framework kontinuierlich weiterentwickelt und ausgebaut. Die Daten sind kostenfrei über die
Website des Anbieters einsehbar.
(sta)
