答えに数字が入る質問
AIエンジニアの面接では、モデルを使う機能をどう確かめ、動かし、直したかがよく聞かれます。「モデルが間違った答えを出したときのことを話してください」。こうした質問はよくあります。
強い答えは、数字の入った短い話です。このレッスンでは、よくある質問の種類と、それぞれに証拠で答える方法を見ます。
このレッスンのゴール
メモ
AIエンジニアの面接の質問に、証拠を使って答えられる。
今日のキーワード
| ことば | いみ | れい |
|---|---|---|
| 証拠 | 主張を支える数字や結果です。 | 20問中18問正解 |
| 知識の質問 | 考え方を説明してもらう質問です。 | |
| 設計の質問 | どう作るかを聞く質問です。 | |
| 経験の質問 | 前に何をしたかを聞く質問です。 | |
| 模範解答 | 自分の答えと比べるための答えの例です。 |
学生が入力するセルは、このプレビューでは空白です。
質問には3つの種類がある
多くの質問は、3つの種類に分かれます。知識の質問は、検索やトークンのような考え方の説明を求めます。
設計の質問は、安全なエージェントのようなものをどう作るかを聞きます。経験の質問は、あなたが何をしたかを聞きます。面接の形は会社によって違うので、これは練習の目安で、台本ではありません。
種類ごとのよくある質問
| 種類 | 質問の例 | 面接官が聞きたいこと |
|---|---|---|
| 知識 | アプリはどうやってモデルに正しい情報を渡しますか。 | 検索を、やさしい言葉で |
| 知識 | なぜ平均のレイテンシーだけでは足りないのですか。 | 遅いリクエストと95パーセンタイル |
| 設計 | エージェントが害を出さないようにするには。 | 許可リスト、上限、人の承認をコードで |
| 設計 | 機能が公開できる状態だと、どうわかりますか。 | 仕様書、評価セット、合格ライン |
| 経験 | モデルが間違った答えを出したときの話をしてください。 | 何を見て、何をして、どうなったか |
学生が入力するセルは、このプレビューでは空白です。
起きたことと数字で答える
よい経験の答えには、3つの部分があります。どんな状況だったか。何を、なぜしたか。その後、数字が何を示したか。
2分以内にまとめます。あいまいな例を3つより、総仕上げ演習の本当の例を1つ使います。下のプログラムは、2つの答えに数字があるかを確かめます。数字は、一番わかりやすい証拠のしるしです。
やってみよう: 証拠があるのはどちら
# 「確かめた機能について話してください」への2つの答えです。
answers = [
"チャットボットを作りました。とてもうまくいき、みんな喜んでくれました。",
"文書アシスタントを20問の評価セットで確かめました。"
+ "最初は16問でしたが、検索を直して19問になりました。",
]
for answer in answers:
has_number = False
for ch in answer:
if ch.isdigit():
has_number = True
if has_number:
print("証拠あり:", answer[:20])
else:
print("数字なし:", answer[:20])
# 1つ目の答えを、数字の入った文に書き直して実行しましょう。
模範解答で練習する
質問を読み、声に出して答え、模範解答と比べます。模範解答を丸暗記してはいけません。自分の答えに足りないもの、つまり理由、数字、限界に気づくために使います。
わからないことがあれば、わからないと言い、どう調べるかを話します。それが正直な答えで、判断力も伝わります。
模範解答付きの練習問題
| 質問 | 模範解答の要点 |
|---|---|
| 文書アシスタントをどう確かめますか。 | 答えのないケースを含む20件の評価セットで確かめ、18問正解で推測なしなら公開します。 |
| エージェントにどんな制限を付けますか。 | 許可リストとステップの上限をコードに書き、危ない操作は人が承認します。 |
| 機能が遅いと言われたら、何を見ますか。 | まず95パーセンタイルを見て、次にログで一番遅いリクエストを見ます。 |
| 次にプロジェクトのどこを変えますか。 | 既知の限界を1つ挙げ、なぜ大事か、直したことをどう測るかを話します。 |
| 答えがわからなかったら。 | わからないと言い、どう調べて確かめるかを話します。 |
学生が入力するセルは、このプレビューでは空白です。
よくある誤解
注意
多くの人は、道具の名前をできるだけたくさん挙げるのが一番よい答えだと考えます。名前を並べても、判断力は何も伝わりません。選んだことを1つ挙げ、なぜ選んだか、数字が何を示したかを話しましょう。