Dieser umfassende Kurs über die Evaluierung und Anwendung von LLM-Funktionen vermittelt Ihnen die Fähigkeiten, große Sprachmodelle in realen Szenarien zu analysieren, zu implementieren und zu bewerten. Beginnen Sie mit den Kernfunktionen, lernen Sie Zusammenfassungen und Übersetzungen kennen und erfahren Sie, wie LLMs die Erstellung branchenrelevanter Inhalte unterstützen. Lernen Sie interaktive und analytische Anwendungen kennen - Chatbots, virtuelle Assistenten und Sentimentanalysen mit praktischen Demos unter Verwendung von LangChain und ChromaDB. Schließen Sie mit Benchmarking und Evaluierung ab - nutzen Sie Frameworks wie ROUGE, GLUE, SuperGLUE und BIG-bench, um die Genauigkeit, Relevanz und Leistung von Modellen zu messen. Um diesen Kurs erfolgreich zu absolvieren, sollten Sie über ein grundlegendes Verständnis von LLMs, Python und NLP-Grundlagen verfügen. Am Ende dieses Kurses werden Sie in der Lage sein: - LLM-Fähigkeiten zu erkunden: Zusammenfassungen, Übersetzungen und ihre Anwendungen verstehen - LLM-Anwendungen erstellen: Chatbots und Sentimentnalyse-Tools mit realen Werkzeugen erstellen - Modellleistung evaluieren: ROUGE, GLUE und BIG-bench zum Benchmarking von LLMs verwenden - Anwendungsfälle analysieren: Bewerten Sie Vorteile, Grenzen und Bereitstellung von LLM-gestützten Lösungen. Ideal für KI-Entwickler, ML-Ingenieure und GenAI-Experten.


LLM-Benchmarking und Evaluierungsschulung
Dieser Kurs ist Teil von Spezialisierung für LLM-Anwendungstechnik und Entwicklungszertifizierung

Dozent: Priyanka Mehta
Bei enthalten
Empfohlene Erfahrung
Was Sie lernen werden
Analysieren Sie die CORE LLM-Fähigkeiten: Master-Zusammenfassung, Übersetzung und Inhaltserstellung
GenAI-Anwendungen erstellen: Chatbots und Sentimentanalyse-Tools mit LangChain erstellen
Bewerten Sie die LLM-Leistung: Verwenden Sie Benchmarks wie ROUGE, GLUE und BIG-bench
Anwendungsfälle in der realen Welt anwenden: Verstehen der industriellen Anwendungen und Grenzen von LLMs
Kompetenzen, die Sie erwerben
- Kategorie: Benchmarking
- Kategorie: Verarbeitung natürlicher Sprache
- Kategorie: Prompt Engineering
- Kategorie: ChatGPT
- Kategorie: Anwendungsentwicklung
- Kategorie: Generative KI
- Kategorie: Analytics
- Kategorie: LangChain
- Kategorie: Modellierung großer Sprachen
- Kategorie: LLM-Bewerbung
- Kategorie: Modell Bewertung
Wichtige Details

Zu Ihrem LinkedIn-Profil hinzufügen
Juli 2025
10 Aufgaben
Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

Erweitern Sie Ihre Fachkenntnisse
- Lernen Sie neue Konzepte von Branchenexperten
- Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
- Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
- Erwerben Sie ein Berufszertifikat zur Vorlage

In diesem Kurs gibt es 3 Module
Lernen Sie in diesem grundlegenden Modul die Kernfunktionen großer Sprachmodelle (LLMs) kennen. Lernen Sie die vier Hauptfunktionen kennen, die die Leistung von LLMs ausmachen, einschließlich Zusammenfassung und Inhaltsübersetzung. Verstehen Sie ihre Vorteile, Grenzen und realen Anwendungen in verschiedenen Branchen. Sammeln Sie praktische Erfahrungen mit einer Demo zur Textzusammenfassung und entdecken Sie, wie LLMs Inhalte in verschiedene Sprachen übersetzen.
Das ist alles enthalten
5 Videos1 Lektüre4 Aufgaben
Entdecken Sie in diesem Modul, wie LLMs interaktive und analytische Anwendungen unterstützen. Lernen Sie die Rolle von Chatbots und virtuellen Assistenten bei der Automatisierung von Konversationen in verschiedenen Branchen kennen. Erforschen Sie Sentimentanalysen zur Interpretation von Nutzeremotionen und Feedback. Sammeln Sie praktische Erfahrungen mit Demos wie MultiPDF QA Retriever unter Verwendung von ChromaDB und LangChain und Echtzeit-Sentiment-Erkennung.
Das ist alles enthalten
4 Videos3 Aufgaben
In diesem umfassenden Modul erfahren Sie, wie Sie große Sprachmodelle evaluieren und einem Benchmarking unterziehen können. Lernen Sie die wichtigsten Benchmarking-Schritte und weit verbreitete Frameworks wie ROUGE, GLUE, SuperGLUE und BIG-bench kennen. Verstehen Sie den Bedarf an sich entwickelnden Benchmarks, da LLMs immer fortschrittlicher werden. Machen Sie sich mit Demos vertraut, um die Leistung, Genauigkeit und reale Anwendung von generativen KI-Modellen zu bewerten.
Das ist alles enthalten
9 Videos3 Aufgaben
Erwerben Sie ein Karrierezertifikat.
Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.
Dozent

von
Mehr von Maschinelles Lernen entdecken
Status: Kostenloser Testzeitraum
Status: KostenlosDeepLearning.AI
Status: Kostenloser Testzeitraum
Warum entscheiden sich Menschen für Coursera für ihre Karriere?





Neue Karrieremöglichkeiten mit Coursera Plus
Unbegrenzter Zugang zu 10,000+ Weltklasse-Kursen, praktischen Projekten und berufsqualifizierenden Zertifikatsprogrammen - alles in Ihrem Abonnement enthalten
Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.
Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online
Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.
Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.
Häufig gestellte Fragen
LLM-Evaluierungsbenchmarks sind standardisierte Tests, die zur Bewertung der Leistung, der Argumentation und des Sprachverständnisses von großen Sprachmodellen verwendet werden. Beispiele sind ROUGE, GLUE, SuperGLUE und BIG-bench.
Die Erstellung eines Benchmarks beinhaltet die Definition klarer Aufgaben (z. B. Zusammenfassung, QS), die Sammlung verschiedener Datensätze, die Auswahl von Bewertungsmetriken (wie F1 oder Genauigkeit) und die Validierung des Benchmarks anhand mehrerer LLMs.
Zu den gängigen Metriken gehören ROUGE für die Zusammenfassung, BLEU für die Übersetzung, Genauigkeit, F1-Score und exakte Übereinstimmung für QA-Aufgaben sowie neue aufgabenspezifische Metriken für die generative Leistung.
Weitere Fragen
Finanzielle Unterstützung verfügbar,


