利用制限と安全な再試行

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const base = process.env.AI_URL || \"http://ai:4000\";' '// 応答のトークン数。なければ null。' 'function count(data, name) {' '  return data.usage && typeof data.usage[name] === \"number\" ? data.usage[name] : null;' '}' > model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function ask(messages, sample, max) {' '  try {' '    const res = await fetch(base + \"/v1/chat/completions\", {' '      method: \"POST\",' '      headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' '      body: JSON.stringify({ model: \"lab\", messages: messages, max_tokens: max || 100 }),' '      signal: AbortSignal.timeout(30000),' '    });' '    if (res.ok === false) throw new Error(\"status \" + res.status);' '    const data = await res.json();' '    const text = data.choices[0].message.content;' '    return { text, inTokens: count(data, \"prompt_tokens\"), outTokens: count(data, \"completion_tokens\"), recorded: false };' '  } catch (error) {' '    console.log(\"記録済みサンプル: モデルが答えませんでした (\" + error.message + \")。\");' '    return { text: sample, inTokens: null, outTokens: null, recorded: true };' '  }' '}' 'module.exports = { ask };' >> model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { ask } = require(\"./model\");' 'function delay(attempt, base, cap) { return Math.min(base * Math.pow(2, attempt - 1), cap); }' 'function spread(id, attempt) { return (id * 7 + attempt * 13) % 50; }' 'function run(count, limit, window, base, cap, tries, spreadOn) {' '  const pending = [];' '  const history = {};' '  const counts = {};' '  for (let id = 1; id <= count; id++) { pending.push([0, id, 1]); history[id] = []; }' > retry.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' '  while (pending.length > 0) {' '    pending.sort(function (a, b) { return a[0] - b[0] || a[1] - b[1] || a[2] - b[2]; });' '    const item = pending.shift();' '    const slot = Math.floor(item[0] / window);' '    history[item[1]].push(item[0]);' '    counts[slot] = counts[slot] || 0;' '    if (counts[slot] < limit) { counts[slot] = counts[slot] + 1; continue; }' '    if (item[2] < tries) {' '      const extra = spreadOn ? spread(item[1], item[2]) : 0;' '      pending.push([item[0] + delay(item[2], base, cap) + extra, item[1], item[2] + 1]);' '    }' '  }' '  return history;' '}' >> retry.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' '  for (const on of [false, true]) {' '    const h = run(6, 2, 1000, 400, 2000, 4, on);' '    const seen = {};' '    let worst = 0;' '    for (const id in h) h[id].slice(1).forEach(function (t) { seen[t] = (seen[t] || 0) + 1; worst = Math.max(worst, seen[t]); });' '    console.log((on ? \"ばらつきあり\" : \"ばらつきなし\") + \": 同じ 1 ミリ秒での再試行の最多 \" + worst);' '    console.log(\"  リクエスト 3 の試行 \" + h[3].join(\" \") + \"、リクエスト 5 は \" + h[5].join(\" \"));' '  }' '  const reply = await ask([{ role: \"user\", content: \"短く一文で答えてください。再試行の待ち時間に、ばらつきを足すのは、なぜですか。\" }], \"多くの呼び出しが同じ瞬間に再試行して、サービスをまた過負荷にしないためです。\", 80);' '  console.log(\"モデル: \" + reply.text);' '}' 'main();' >> retry.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent node retry.js

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。