AI 時代で優れた BA になるためにモデルの学習方法を知る必要はありません。しかし LLM がどのように動作するか を理解していなければ、誤った受け入れ基準を書き、深刻なリスクを見落とし、技術チームが不適切なソリューションを提案したときに押し返すことができません。
この記事はコアな AI 概念をビジネス言語で説明します — コードなし、数学なし。
1. LLM とは何か — BA 言語で説明する
LLM（Large Language Model）は、膨大な量のテキストで学習し、次のトークンをもっともらしく予測する AI の一形態です。
こう考えてください：質問をモデルに与える → モデルは読んだ数十億のテキストフラグメントからパターンを見つける → 合理的に聞こえる回答を生成する。
BA が覚えておくべきこと：
- LLM は会話間でメモリを持ちません（システムが保存しない限り）
- LLM はトレーニングのカットオフ日以降の最新情報を知りません
- LLM は「真実を知っている」わけではありません — もっともらしいテキストを生成しますが、必ずしも正確ではありません
→ 作成すべき要件：「LLM が最新ではない可能性があるため、最新のポリシー/価格/規制に関する質問に回答する際は免責事項を表示しなければならない。」
2. RAG — AI があなたのドキュメントを読む必要があるとき
RAG（Retrieval-Augmented Generation） は、LLM が企業の社内情報を知らないという問題を解決します。
仕組み：
- ユーザーが質問する：「返金ポリシーは何ですか？」
- システムが社内ナレッジベース（FAQ、ポリシードキュメントなど）を検索する
- 関連する段落を取得 → プロンプトに追加 → LLM がそれに基づいて回答する
BA が覚えておくべきこと：
- RAG はソースドキュメントの品質が高い場合にのみ機能します — ゴミを入れればゴミが出る
- 決定が必要：どのドキュメントをインデックスしてよいか？
- ポリシーが変更されたときのナレッジベース更新に関するポリシーが必要です
→ 作成すべき要件：「ポリシー変更から24時間以内にナレッジベースを更新しなければならない。各回答で使用されたソースドキュメントをシステムがログに記録しなければならない。」
3. ハルシネーション — BA が無視できないリスク
ハルシネーションとは、AI が誤りまたは存在しない情報を生成するにもかかわらず、それを事実であるかのように自信を持って提示することです。
実際の事例：
- AI が「製品Xは3年保証」と言うが、実際は1年
- AI が存在しないサポート電話番号を生成する
- AI が元のドキュメントに存在しない契約条項を引用する
これが BA にとって重要な理由は？
AI プロダクトが顧客に誤った情報を提供すると → 法的リスク、信頼の喪失、または実際の財務的損害。
→ 受け入れ基準のサンプル：
GIVEN ユーザーがポリシー情報について質問する
WHEN AI がナレッジベースで情報を見つけられない
THEN AI は自分で推測するのではなく「この情報については確信が持てません、〇〇にお問い合わせください...」と回答しなければならない
4. 信頼スコア — AI をいつ信頼するか
多くの AI システムには信頼スコアがあります — モデルがその回答にどれだけ「自信がある」かを示す数値です。
BA が決定すべきこと：
- どの信頼しきい値で AI は自律的に回答できるか？
- そのしきい値以下では何をするか：免責事項を表示する、人間のエージェントにエスカレーションする、または回答を断る？
→ 要件のサンプル：「信頼スコアが0.7未満の場合、システムは「この情報は確認が必要です」というフレーズを追加し、エージェントへの連絡リンクを提供しなければならない。」
5. ガードレール — ユーザーと会社を守る
ガードレールとは、AI が行ったり言ったりすることを制限するルールです。
一般的なガードレールの種類：
| 種類 | 例 |
|---|---|
| コンテンツフィルター | 暴力的または差別的なコンテンツを生成してはならない |
| トピック制限 | カスタマーサービスのチャットボットは製品の質問にのみ回答し、政治については議論しない |
| 出力形式 | 常に日本語で回答し、200語を超えてはならない |
| PII 保護 | 回答でクレジットカード番号やパスポート番号を繰り返してはならない |
| 人間への移行 | ユーザーが実際の人間と話すことを要求した場合、拒否してはならない |
ガードレールを定義するのは BA です — AI エンジニアではありません。BA はビジネスコンテキスト、法的リスク、ユーザーの期待を理解しているからです。
6. BA のための AI リテラシーチェックリスト — まとめ
AI 機能に取り組む際は、次の質問をしてください：
データについて：
- トレーニングデータに PII や機密情報が含まれているか？
- ナレッジベースはどのくらいの頻度で更新されるか？
AI の動作について：
- AI が知らないとき → どうするか？
- AI が間違っているとき → 誰が責任を負うか？
- 自律回答とエスカレーションの信頼しきい値はいくつか？
制限について：
- AI が議論してはならないトピックは何か？
- どのような出力形式基準に従う必要があるか？
- いつユーザーを人間のエージェントに引き渡す必要があるか？
BA はガードレールをコーディングする必要はありませんが、AI エンジニアが正確に実装できるよう仕様を書かなければなりません。