幻覚率を測る

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const base = process.env.AI_URL || \"http://ai:4000\";' '// 応答のトークン数。なければ null。' 'function count(data, name) {' '  return data.usage && typeof data.usage[name] === \"number\" ? data.usage[name] : null;' '}' > model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function ask(messages, sample, max) {' '  try {' '    const res = await fetch(base + \"/v1/chat/completions\", {' '      method: \"POST\",' '      headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' '      body: JSON.stringify({ model: \"lab\", messages: messages, max_tokens: max || 100 }),' '      signal: AbortSignal.timeout(30000),' '    });' '    if (res.ok === false) throw new Error(\"status \" + res.status);' '    const data = await res.json();' '    const text = data.choices[0].message.content;' '    return { text, inTokens: count(data, \"prompt_tokens\"), outTokens: count(data, \"completion_tokens\"), recorded: false };' '  } catch (error) {' '    console.log(\"記録済みサンプル: モデルが答えませんでした (\" + error.message + \")。\");' '    return { text: sample, inTokens: null, outTokens: null, recorded: true };' '  }' '}' 'module.exports = { ask };' >> model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { ask } = require(\"./model\");' 'const source = \"みなと図書館は、平日の9時に開き、17時に閉まります。パソコンは12台あります。会員は6冊を3週間まで借りられます。遅れた本は、1日20円かかります。\";' 'const claims = [' '  [\"9時\", \"開き\"], [\"17時\", \"閉まり\"], [\"パソコン\", \"12台\"], [\"パソコン\", \"20台\"],' '  [\"6冊\", \"借り\"], [\"4週間\"], [\"20円\", \"1日\"], [\"日曜\"],' '];' > rate.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function supported(needs) {' '  return needs.every(function (w) { return source.indexOf(w) >= 0; });' '}' 'const bad = claims.filter(function (c) { return supported(c) === false; });' 'const flags = \"0001000001000001000000100000100000010000\".split(\"\").map(Number);' >> rate.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function interval(list, seed) {' '  const n = list.length;' '  const counts = [];' '  let s = seed;' '  for (let r = 0; r < 200; r++) {' '    let total = 0;' '    for (let k = 0; k < n; k++) { s = (s * 16807) % 2147483647; total += list[s % n]; }' '    counts.push(total);' '  }' '  counts.sort(function (a, b) { return a - b; });' '  return [counts[5] * 100 / n, counts[194] * 100 / n];' '}' >> rate.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' '  console.log(\"裏づけなし: \" + claims.length + \" 件中 \" + bad.length + \" 件 (\" + (bad.length * 100 / claims.length) + \" パーセント)\");' '  const ones = flags.filter(function (f) { return f === 1; }).length;' '  const span = interval(flags, 12345);' '  console.log(\"大きなテスト: \" + flags.length + \" 件中 \" + ones + \" 件 = \" + (ones * 100 / flags.length) + \" パーセント\");' '  console.log(\"区間: \" + span[0] + \" から \" + span[1] + \" パーセント\");' '  const q = \"原文には、図書館は9時に開く、とあります。次の主張は原文で裏づけられますか。「8時に開く」。短く一文で答えてください。\";' '  const sample = \"いいえ、原文は9時に開くと書いているので、その主張は裏づけられません。\";' '  const reply = await ask([{ role: \"user\", content: q }], sample, 80);' '  console.log(\"モデル: \" + reply.text);' '}' 'main();' >> rate.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent node rate.js

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。