遅延の予算とストリーミング

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const base = process.env.AI_URL || \"http://ai:4000\";' '// 応答のトークン数。なければ null。' 'function count(data, name) {' '  return data.usage && typeof data.usage[name] === \"number\" ? data.usage[name] : null;' '}' > model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function ask(messages, sample, max) {' '  try {' '    const res = await fetch(base + \"/v1/chat/completions\", {' '      method: \"POST\",' '      headers: { \"content-type\": \"application/json\", authorization: \"Bearer lab\" },' '      body: JSON.stringify({ model: \"lab\", messages: messages, max_tokens: max || 100 }),' '      signal: AbortSignal.timeout(30000),' '    });' '    if (res.ok === false) throw new Error(\"status \" + res.status);' '    const data = await res.json();' '    const text = data.choices[0].message.content;' '    return { text, inTokens: count(data, \"prompt_tokens\"), outTokens: count(data, \"completion_tokens\"), recorded: false };' '  } catch (error) {' '    console.log(\"記録済みサンプル: モデルが答えませんでした (\" + error.message + \")。\");' '    return { text: sample, inTokens: null, outTokens: null, recorded: true };' '  }' '}' 'module.exports = { ask };' >> model.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const { ask } = require(\"./model\");' 'function total(r) { return r.ttft + r.perToken * r.tokens; }' 'function first(r) { return r.streamed ? r.ttft : total(r); }' 'const replies = [' '  { name: \"短い返答\", ttft: 600, perToken: 20, tokens: 30, streamed: false },' '  { name: \"長い返答\", ttft: 600, perToken: 20, tokens: 300, streamed: false },' '  { name: \"長い返答(ストリーム)\", ttft: 600, perToken: 20, tokens: 300, streamed: true },' '];' > latency.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'const parts = [[\"待ち行列\", 150], [\"資料の検索\", 400], [\"モデルの最初のトークン\", 600], [\"安全の検査\", 200]];' 'function budget(limit) {' '  let sum = 0;' '  let over = \"なし\";' '  for (const p of parts) {' '    sum = sum + p[1];' '    if (sum > limit && over === \"なし\") over = p[0];' '  }' '  return \"合計 \" + sum + \"、残り \" + (limit - sum) + \"、最初に超えた部分: \" + over;' '}' >> latency.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent sh -c "printf '%s\n' 'async function main() {' '  for (const r of replies) console.log(r.name + \": 最初 \" + first(r) + \"、合計 \" + total(r));' '  console.log(\"予算 1000: \" + budget(1000));' '  console.log(\"予算 2000: \" + budget(2000));' '  const started = Date.now();' '  const reply = await ask([{ role: \"user\", content: \"短く一文で答えてください。言葉が早く出ると、利用者がうれしいのは、なぜですか。\" }], \"すぐに読み始められるので、待つ時間が短く感じられるからです。\", 80);' '  console.log(\"モデル: \" + reply.text);' '  console.log(\"返答全体の測った待ち時間: \" + (reply.recorded ? \"測っていません\" : Date.now() - started + \" ms\"));' '}' 'main();' >> latency.js"

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。

docker exec -w /home/node/project agent node latency.js

ここでは表示のみで、実行されません。無料アカウントを作成すると、実行ボタンで自分のラボのターミナルに入力できます。