Jour 11 sur 14 · Your First AI App · 14 min

Évaluer la sortie de l’IA

Si vous ne pouvez pas mesurer si cela s’est amélioré, vous ne faites que deviner

Chaque changement dans un , un modèle ou un réglage de récupération peut améliorer une chose et en dégrader une autre. Sans mesure, vous travaillez à l’aveugle. L’évaluation (evals) est pour l’ingénierie de l’IA ce que les tests automatisés sont pour le logiciel normal.

Ce que couvre cette leçon

  1. 01Construire un jeu de référence (golden set)
  2. 02Trois façons de noter
  3. 03Une toute petite boucle d’évaluation
  4. 04Faire des évaluations une routine
  5. 05Un avertissement

Inclus dans cette leçon

  • 8diapositives commentées
  • 3cases de bande dessinée
  • 3questions de quiz

2 modèles de prompts

  • Golden Set Row

    A standard format for each evaluation example

    Membres
  • Judge Rubric

    Criteria for a model-as-judge, to be validated against humans

    Membres

Suivez la leçon complète gratuitement

Inscrivez-vous pour débloquer la leçon complète, la présentation commentée, les modèles et le quiz — et avancer vers votre certificat.

Commencer le cours — gratuit