評価用の事例は十分か

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const base = process.env.AI_URL || \"http://ai:4000\";' '// 応答のトークン数。なければ null。' 'function count(data, name) {' '  return data.usage && typeof data.usage[name] === \"number\" ? data.usage[name] : null;' '}' > model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function ask(messages, sample, max) {' '  try {' '    const res = await fetch(base + \"/v1/chat/completions\", {' '      method: \"POST\",' '      headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' '      body: JSON.stringify({ model: \"lab\", messages: messages, max_tokens: max || 100 }),' '      signal: AbortSignal.timeout(30000),' '    });' '    if (res.ok === false) throw new Error(\"status \" + res.status);' '    const data = await res.json();' '    const text = data.choices[0].message.content;' '    return { text, inTokens: count(data, \"prompt_tokens\"), outTokens: count(data, \"completion_tokens\"), recorded: false };' '  } catch (error) {' '    console.log(\"記録済みサンプル: モデルが答えませんでした (\" + error.message + \")。\");' '    return { text: sample, inTokens: null, outTokens: null, recorded: true };' '  }' '}' 'module.exports = { ask };' >> model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { ask } = require(\"./model\");' 'const rows = [' '  \"1 plain yes yes\", \"2 plain yes yes\", \"3 plain no no\", \"4 plain yes yes\", \"5 plain no no\",' '  \"6 plain yes yes\", \"7 mixed yes no\", \"8 mixed no no\", \"9 mixed yes yes\", \"10 plain no no\",' '  \"11 mixed no no\", \"12 edge yes yes\", \"13 mixed yes no\", \"14 edge no no\", \"15 plain yes yes\",' '  \"16 plain no no\", \"17 edge yes yes\", \"18 plain yes no\", \"19 refusal no no\", \"20 refusal no no\",' '].map(function (r) {' '  const p = r.split(\" \");' '  return { id: Number(p[0]), kind: p[1], a: p[2], b: p[3] };' '});' > audit.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const counts = {};' 'rows.forEach(function (r) { counts[r.kind] = (counts[r.kind] || 0) + 1; });' 'const thin = Object.keys(counts).filter(function (k) { return counts[k] < 3; });' 'const apart = rows.filter(function (r) { return r.a < r.b || r.a > r.b; });' 'const same = rows.length - apart.length;' 'const gap = 5;' 'const needed = (100 / gap) * (100 / gap);' >> audit.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' '  console.log(\"件数: \" + rows.length + \"  種類別: \" + JSON.stringify(counts));' '  console.log(\"薄い種類 (3 件未満): \" + thin.join(\", \"));' '  console.log(\"一致: \" + (same * 100 / rows.length) + \" パーセント\");' '  console.log(\"見直す id: \" + apart.map(function (r) { return r.id; }).join(\", \"));' '  console.log(\"差が \" + gap + \" 点なら、約 \" + needed + \" 件が要ります\");' '  const q = \"一文で短く答えてください。同じ事例を二人にラベル付けさせるのは、なぜですか。\";' '  const sample = \"二人の答えが分かれる事例は、事例か決まりがあいまいで、その点数はあてになりにくいからです。\";' '  const reply = await ask([{ role: \"user\", content: q }], sample, 80);' '  console.log(\"モデル: \" + reply.text);' '}' 'main();' >> audit.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent node audit.js

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。