Evaluate & Optimize LLM Performance

kurs ist nicht verfügbar in Deutsch (Deutschland)

Wir übersetzen es in weitere Sprachen.

Evaluate & Optimize LLM Performance

Dieser Kurs ist Teil von Spezialisierung „LLM Optimization & Evaluation“

Dozent: LearningMate

Bei enthalten

Mehr erfahren

3 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

4 Stunden zu vervollständigen

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

3 Module

Verschaffen Sie sich einen Einblick in ein Thema und lernen Sie die Grundlagen.

Stufe Mittel

Empfohlene Erfahrung

4 Stunden zu vervollständigen

Flexibler Zeitplan

In Ihrem eigenen Lerntempo lernen

Was Sie lernen werden

Evaluate LLMs using metrics like BLEU & ROUGE run A/B tests for statistical significance, and optimize model performance with data-driven strategies.

Kompetenzen, die Sie erwerben

Kategorie: LLM Application
Kategorie: Statistical Analysis
Kategorie: Performance Metric
Kategorie: Model Evaluation
Kategorie: Statistical Hypothesis Testing
Kategorie: Natural Language Processing
Kategorie: Business Metrics
Kategorie: Test Script Development
Kategorie: Data-Driven Decision-Making
Kategorie: Large Language Modeling

Werkzeuge, die Sie lernen werden

Kategorie: Prompt Engineering

Wichtige Details

Zertifikat zur Vorlage

Zu Ihrem LinkedIn-Profil hinzufügen

Kürzlich aktualisiert!

Dezember 2025

Bewertungen

3 Zuweisungen¹

KI-bewertet siehe Haftungsausschluss

Unterrichtet in Englisch

Erfahren Sie, wie Mitarbeiter führender Unternehmen gefragte Kompetenzen erwerben.

Weitere Informationen zu Coursera für Unternehmen

Logos von Petrobras, TATA, Danone, Capgemini, P&G und L'Oreal

Erweitern Sie Ihre Fachkenntnisse

Dieser Kurs ist Teil der Spezialisierung Spezialisierung „LLM Optimization & Evaluation“

Wenn Sie sich für diesen Kurs anmelden, werden Sie auch für diese Spezialisierung angemeldet.

Lernen Sie neue Konzepte von Branchenexperten
Gewinnen Sie ein Grundverständnis bestimmter Themen oder Tools
Erwerben Sie berufsrelevante Kompetenzen durch praktische Projekte
Erwerben Sie ein Berufszertifikat zur Vorlage

In diesem Kurs gibt es 3 Module

You've integrated a powerful Large Language Model (LLM) into your application. The initial results are impressive, and your team is excited. But then the hard questions start. Is the new prompt really better than the old one, or does it just "feel" better? How do you prove to stakeholders that switching from GPT-3.5 to GPT-4 is worth the extra cost? When you have two models that give slightly different answers, how do you decide which one is objectively superior?

This introductory module lays the groundwork for quantitative Large Language Mode (LLM) evaluation. Learners will discover why relying on intuition to judge model performance is unsustainable and explore the foundational metrics used to create automated, objective evaluation systems. We will cover both lexical similarity metrics (like BLEU and ROUGE-L) that assess text structure and semantic metrics (like cosine similarity) that capture meaning. By the end of this module, learners will have the conceptual understanding and practical code to build their first automated evaluation script.

Das ist alles enthalten

2 Videos1 Lektüre1 Aufgabe1 Unbewertetes Labor

2 Videos Insgesamt 12 Minuten

How to Compute Lexical Metrics: BLEU & ROUGE-L in Python? 6 Minuten
How to Compute Semantic Similarity with Embeddings? 6 Minuten

1 Lektüre Insgesamt 5 Minuten

A Guide to LLM Evaluation: Lexical and Semantic Metrics 5 Minuten

1 Aufgabe Insgesamt 10 Minuten

Knowledge Check: Choosing Your Metrics 10 Minuten

1 Unbewertetes Labor Insgesamt 60 Minuten

Building Your First Automated Evaluation Script 60 Minuten

This module transitions from raw metrics to credible conclusions. Learners will discover why statistical rigor is non-negotiable when comparing LLM outputs. They will learn to formulate clear hypotheses, design and analyze A/B tests, and interpret results such as p-values and confidence intervals to distinguish true performance gains from random noise. By the end of this module, learners will be equipped to make data-driven decisions with confidence, ensuring that changes to prompts, models, or parameters lead to statistically significant improvements.

Das ist alles enthalten

3 Videos1 Lektüre1 Aufgabe1 Unbewertetes Labor

3 Videos Insgesamt 16 Minuten

Why Guess When You Can Know? The Case of the "Better" Prompt 5 Minuten
The Language of Experimentation: Hypotheses, P-Values, and Power 5 Minuten
Running the Numbers: A/B Test Analysis in Python 7 Minuten

1 Lektüre Insgesamt 7 Minuten

Designing a Fair Race: A/B Testing for LLMs 7 Minuten

1 Aufgabe Insgesamt 10 Minuten

Knowledge Check: Statistical Testing Concepts 10 Minuten

1 Unbewertetes Labor Insgesamt 60 Minuten

Statistical Significance Testing 60 Minuten

Das ist alles enthalten

3 Videos1 Lektüre1 Aufgabe1 Unbewertetes Labor

3 Videos Insgesamt 16 Minuten

From Report to Action: The Optimization Loop 3 Minuten
Case Study: Benchmarking a Sentiment Analyzer 6 Minuten
Scripting Your First Evaluation Report 6 Minuten

1 Lektüre Insgesamt 5 Minuten

Building a Reproducible Evaluation Workflow 5 Minuten

1 Aufgabe Insgesamt 30 Minuten

Final Project: Build Your LLM Evaluation Toolkit 30 Minuten

1 Unbewertetes Labor Insgesamt 8 Minuten

Planning Your Optimization Strategy 8 Minuten

Erwerben Sie ein Karrierezertifikat.

Fügen Sie dieses Zeugnis Ihrem LinkedIn-Profil, Lebenslauf oder CV hinzu. Teilen Sie sie in Social Media und in Ihrer Leistungsbeurteilung.

Dozent

LearningMate

230 Kurse 14.570 Lernende

von

Coursera

Mehr von Machine Learning entdecken

Simplilearn
LLM Benchmarking and Evaluation Training
Kurs
Coursera
Evaluating LLM Performance and Efficiency
Kurs
Coursera
Harnessing LLMs: Strategy, Fine-Tuning & Evaluation
Spezialisierung
Coursera
LLM Optimization & Evaluation
Spezialisierung

Warum entscheiden sich Menschen für Coursera für ihre Karriere?

Felipe M.

Lernender seit 2018

„Es ist eine großartige Erfahrung, in meinem eigenen Tempo zu lernen. Ich kann lernen, wenn ich Zeit und Nerven dazu habe.“

Jennifer J.

Lernender seit 2020

„Bei einem spannenden neuen Projekt konnte ich die neuen Kenntnisse und Kompetenzen aus den Kursen direkt bei der Arbeit anwenden.“

Larry W.

Lernender seit 2021

„Wenn mir Kurse zu Themen fehlen, die meine Universität nicht anbietet, ist Coursera mit die beste Alternative.“

Chaitanya A.

„Man lernt nicht nur, um bei der Arbeit besser zu werden. Es geht noch um viel mehr. Bei Coursera kann ich ohne Grenzen lernen.“

Neue Karrieremöglichkeiten mit Coursera Plus

Unbegrenzter Zugang zu 10,000+ Weltklasse-Kursen, praktischen Projekten und berufsqualifizierenden Zertifikatsprogrammen - alles in Ihrem Abonnement enthalten

Mehr erfahren

Bringen Sie Ihre Karriere mit einem Online-Abschluss voran.

Erwerben Sie einen Abschluss von erstklassigen Universitäten – 100 % online

Erkunden Sie die Abschlüsse

Schließen Sie sich mehr als 3.400 Unternehmen in aller Welt an, die sich für Coursera for Business entschieden haben.

Schulen Sie Ihre Mitarbeiter*innen, um sich in der digitalen Wirtschaft zu behaupten.

Mehr erfahren

Häufig gestellte Fragen

To access the course materials, assignments and to earn a Certificate, you will need to purchase the Certificate experience when you enroll in a course. You can try a Free Trial instead, or apply for Financial Aid. The course may offer 'Full Course, No Certificate' instead. This option lets you see all course materials, submit required assessments, and get a final grade. This also means that you will not be able to purchase a Certificate experience.

When you enroll in the course, you get access to all of the courses in the Specialization, and you earn a certificate when you complete the work. Your electronic Certificate will be added to your Accomplishments page - from there, you can print your Certificate or add it to your LinkedIn profile.

Yes. In select learning programs, you can apply for financial aid or a scholarship if you can’t afford the enrollment fee. If fin aid or scholarship is available for your learning program selection, you’ll find a link to apply on the description page.

Weitere Fragen

Besuchen Sie die das Hilfe-Center für Kursteilnehmer.

Finanzielle Unterstützung verfügbar,

¹ Einige Aufgaben in diesem Kurs werden mit AI bewertet. Für diese Aufgaben werden Ihre Daten in Übereinstimmung mit Datenschutzhinweis von Courseraverwendet.