🥑AutoevalsでLLM出力の評価基準を実装する

npm install autoevals

import { LLMClassifierFromTemplate, makePartial } from "autoevals";

const MyScorer = makePartial(
  LLMClassifierFromTemplate({
    name: "MyScorer",
    promptTemplate: `評価プロンプト...
## 質問
{{input}}
## 回答
{{output}}`,
    choiceScores: {
      非常に良い: 1.0,
      良い: 0.75,
      普通: 0.5,
      悪い: 0.25,
      非常に悪い: 0.0,
    },
    model: "gpt-4o-mini",
    useCoT: true,
    temperature: 0,
  }),
  "MyScorer",
);

export const Actionability = makePartial(
  LLMClassifierFromTemplate({
    name: "Actionability",
    promptTemplate: `あなたは実務経験豊富な専門家です。回答の実践可能性を評価してください。
## 評価基準
1. 具体的なアクションステップが含まれているか
2. 明日から実行できる内容か
3. 特別なリソースなしで始められるか
## 質問
{{input}}
## 回答
{{output}}`,
    choiceScores: {
      "非常に実践的: すぐに実行できる": 1.0,
      "実践的: 一部補足が必要": 0.75,
      "やや抽象的: 具体的アクションが不足": 0.5,
      "抽象的: 実践方法が不明確": 0.25,
      "実践困難: 実現が難しい": 0.0,
    },
    model: "gpt-4o-mini",
    useCoT: true,
    temperature: 0,
  }),
  "Actionability",
);

export const ToneAppropriateness = makePartial(
  LLMClassifierFromTemplate({
    name: "ToneAppropriateness",
    promptTemplate: `あなたはコンテンツ編集者です。
回答のトーンを評価してください。
## 望ましいトーン
- 問いを通じた探求
- 理論と実践の架橋
- 共創的な姿勢
## 避けるべきトーン
- 軍事的メタファー（攻略、制圧など）
- 過度に断定的・権威主義的な表現
## 質問
{{input}}
## 回答
{{output}}`,
    choiceScores: {
      "非常に適切: 探求的で共創的": 1.0,
      "適切: 一部調整の余地あり": 0.75,
      "普通: らしさは薄い": 0.5,
      "やや不適切: 違和感がある": 0.25,
      "不適切: トーンから外れている": 0.0,
    },
    model: "gpt-4o-mini",
    useCoT: true,
    temperature: 0,
  }),
  "ToneAppropriateness",
);

promptTemplate: `...
## 求められる回答の深さ: {{specificity}}
## 質問
{{input}}
## 回答
{{output}}`,

const result = await Actionability({
  input: "心理的安全性を高めるには？",
  output: "週次の1on1で部下の話を聴く時間を設けましょう。",
  specificity: "L2",
});