仕事に合うモデルの大きさを選ぶ

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const base = process.env.AI_URL || \"http://ai:4000\";' '// 応答に含まれるトークン数。なければ null。' 'function count(data, name) {' '  return data.usage && typeof data.usage[name] === \"number\" ? data.usage[name] : null;' '}' > model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function ask(messages, sample, max) {' '  try {' '    const res = await fetch(base + \"/v1/chat/completions\", {' '      method: \"POST\",' '      headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' '      body: JSON.stringify({ model: \"lab\", messages: messages, max_tokens: max || 100 }),' '      signal: AbortSignal.timeout(30000),' '    });' '    if (res.ok === false) throw new Error(\"status \" + res.status);' '    const d = await res.json();' '    return { text: d.choices[0].message.content, inTokens: count(d, \"prompt_tokens\"), outTokens: count(d, \"completion_tokens\"), recorded: false };' '  } catch (error) {' '    console.log(\"記録済みサンプル: モデルが答えませんでした (\" + error.message + \")。\");' '    return { text: sample, inTokens: null, outTokens: null, recorded: true };' '  }' '}' 'module.exports = { ask };' >> model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { ask } = require(\"./model\");' 'const recorded = {' '  small: { cost: 2, passed: [1, 1, 1, 1, 0, 0] },' '  medium: { cost: 9, passed: [1, 1, 1, 1, 1, 0] },' '  large: { cost: 40, passed: [1, 1, 1, 1, 1, 1] },' '};' 'function wins(m) {' '  return m.passed.reduce(function (a, b) { return a + b; }, 0);' '}' 'function rate(m) {' '  return wins(m) * 100 / m.passed.length;' '}' > choose.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'function perCorrect(m) {' '  return m.cost * m.passed.length / wins(m);' '}' 'function choose(need) {' '  let best = \"なし\";' '  let bestCost = Infinity;' '  for (const name of Object.keys(recorded)) {' '    const m = recorded[name];' '    if (rate(m) >= need && m.cost < bestCost) { best = name; bestCost = m.cost; }' '  }' '  return best;' '}' >> choose.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' '  console.log(\"6 件の問い合わせでの記録済みの結果 (今は動かしていない):\");' '  for (const name of Object.keys(recorded)) {' '    const m = recorded[name];' '    console.log(name + \": 正解 \" + rate(m).toFixed(1) + \"%、価格 \" + m.cost + \"、正解一つあたり \" + perCorrect(m).toFixed(2));' '  }' '  console.log(\"80% 必要: \" + choose(80) + \" | 95% 必要: \" + choose(95) + \" | 100% 必要: \" + choose(100));' '  const q = \"自分の問い合わせで小さなモデルを試してから選ぶ理由を、短い一文で書いてください。\";' '  const sample = \"小さなモデルは狭い仕事ではうまくいくことがあり、どこで失敗するかは自分のケースでしか分からないからです。\";' '  const reply = await ask([{ role: \"user\", content: q }], sample, 60);' '  console.log(\"返事: \" + reply.text);' '}' 'main();' >> choose.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent node choose.js

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。