Jour 11 sur 14 · Your First AI App · 14 min
Évaluer la sortie de l’IA
Si vous ne pouvez pas mesurer si cela s’est amélioré, vous ne faites que deviner
Chaque changement dans un , un modèle ou un réglage de récupération peut améliorer une chose et en dégrader une autre. Sans mesure, vous travaillez à l’aveugle. L’évaluation (evals) est pour l’ingénierie de l’IA ce que les tests automatisés sont pour le logiciel normal.
Ce que couvre cette leçon
- 01Construire un jeu de référence (golden set)
- 02Trois façons de noter
- 03Une toute petite boucle d’évaluation
- 04Faire des évaluations une routine
- 05Un avertissement
Inclus dans cette leçon
- 8diapositives commentées
- 3cases de bande dessinée
- 3questions de quiz
2 modèles de prompts
- Membres
Golden Set Row
A standard format for each evaluation example
- Membres
Judge Rubric
Criteria for a model-as-judge, to be validated against humans
Suivez la leçon complète gratuitement
Inscrivez-vous pour débloquer la leçon complète, la présentation commentée, les modèles et le quiz — et avancer vers votre certificat.
Commencer le cours — gratuit