検索を答えと別に採点する

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const base = process.env.AI_URL || \"http://ai:4000\";' '// 応答のトークン数。なければ null。' 'function count(data, name) {' '  return data.usage && typeof data.usage[name] === \"number\" ? data.usage[name] : null;' '}' > model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function ask(messages, sample, max) {' '  try {' '    const res = await fetch(base + \"/v1/chat/completions\", {' '      method: \"POST\",' '      headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' '      body: JSON.stringify({ model: \"lab\", messages: messages, max_tokens: max || 100 }),' '      signal: AbortSignal.timeout(30000),' '    });' '    if (res.ok === false) throw new Error(\"status \" + res.status);' '    const data = await res.json();' '    const text = data.choices[0].message.content;' '    return { text, inTokens: count(data, \"prompt_tokens\"), outTokens: count(data, \"completion_tokens\"), recorded: false };' '  } catch (error) {' '    console.log(\"記録済みサンプル: モデルが答えませんでした (\" + error.message + \")。\");' '    return { text: sample, inTokens: null, outTokens: null, recorded: true };' '  }' '}' 'module.exports = { ask };' >> model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { ask } = require(\"./model\");' 'const docs = {' '  d1: \"図書館は9時に開き、17時に閉まります\",' '  d2: \"会員は6冊を3週間まで借りられます\",' '  d3: \"返すのが遅れた本は、1日20円かかります\",' '  d4: \"カフェではスープとお茶を売っています\",' '  d5: \"パソコンは1時間まで無料で使えます\",' '  d6: \"本の更新は、カウンターかネットでできます\",' '  d7: \"図書館は日曜日は休みです\",' '  d8: \"印刷は1ページ10円です\",' '};' > search.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const stop = [\"ですか\", \"ますか\", \"ください\", \"です\", \"ます\", \"から\", \"まで\", \"は\", \"が\", \"を\", \"に\", \"で\", \"の\", \"と\", \"も\", \"へ\", \"や\"];' 'function toHalf(t) {' '  return t.split(\"\").map(function (c) {' '    const n = c.charCodeAt(0);' '    if (n >= 0xFF01 && n <= 0xFF5E) return String.fromCharCode(n - 0xFEE0);' '    return n === 0x3000 ? \" \" : c;' '  }).join(\"\");' '}' >> search.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function tokens(text) {' '  let t = toHalf(text).toLowerCase();' '  stop.forEach(function (s) { t = t.split(s).join(\"|\"); });' '  const out = [];' '  t.split(/[|、。 ?,.]+/).forEach(function (seg) {' '    for (let i = 0; i + 1 < seg.length; i++) {' '      const pair = seg.slice(i, i + 2);' '      if (out.indexOf(pair) < 0) out.push(pair);' '    }' '  });' '  return out;' '}' >> search.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function search(query) {' '  const q = tokens(query);' '  const scored = Object.keys(docs).map(function (id) {' '    const have = tokens(docs[id]);' '    return { id: id, score: q.filter(function (w) { return have.indexOf(w) >= 0; }).length };' '  }).filter(function (s) { return s.score > 0; });' '  scored.sort(function (a, b) { return b.score - a.score || (a.id < b.id ? -1 : 1); });' '  return scored.map(function (s) { return s.id; });' '}' 'const queries = [' '  [\"図書館は何時に開きますか\", [\"d1\"]],' '  [\"図書館が閉まるのはいつですか\", [\"d1\", \"d7\"]],' '  [\"借りた本を遅れずに返すには、いつまでに返せばよいですか\", [\"d2\"]],' '  [\"貸出の延長はできますか\", [\"d6\"]],' '  [\"印刷は1ページいくらですか\", [\"d8\"]],' '];' >> search.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'let sumRr = 0;' 'let sumRecall = 0;' 'queries.forEach(function (item) {' '  const ranked = search(item[0]);' '  const at = ranked.findIndex(function (id) { return item[1].indexOf(id) >= 0; });' '  const rr = at < 0 ? 0 : 1 / (at + 1);' '  const hit = ranked.slice(0, 1).filter(function (id) { return item[1].indexOf(id) >= 0; }).length;' '  sumRr += rr;' '  sumRecall += hit / item[1].length;' '  console.log(item[0] + \" -> \" + (ranked.join(\",\") || \"なし\") + \"  逆順位 \" + rr.toFixed(2));' '});' >> search.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' '  console.log(\"平均の逆順位: \" + (sumRr / queries.length).toFixed(2));' '  console.log(\"1 位までの平均の再現率: \" + (sumRecall / queries.length).toFixed(2));' '  const q = \"次の文だけを使って、一文で答えてください。文: \" + docs.d3 + \"。質問: 借りた本は、いつまでに返せばよいですか。\";' '  const sample = \"この文には書かれていません。遅れた本は1日20円かかる、とだけあります。\";' '  const reply = await ask([{ role: \"user\", content: q }], sample, 80);' '  console.log(\"一番上の文書からの答え: \" + reply.text);' '}' 'main();' >> search.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent node search.js

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。