trace

메트릭은 데이터에서 예시를 가져와 시스템의 출력을 가져와 그 출력이 얼마나 좋은지 정량화한 점수를 반환하는 함수일 뿐입니다. 무엇이 시스템의 출력을 좋거나 나쁘게 만들까요?

간단한 작업의 경우 ‘정확도’ 또는 ‘정확히 일치’ 또는 ‘F1 점수’가 될 수 있습니다. 간단한 분류나 짧은 형식의 QA 작업이 이에 해당할 수 있습니다.

그러나 대부분의 애플리케이션의 경우, 시스템은 긴 형식의 결과물을 출력합니다. 여기서 메트릭은 아마도 출력의 여러 속성을 검사하는 더 작은 DSPy 프로그램일 것입니다(아마도 LM의 AI 피드백을 사용할 수도 있습니다).