これは、AI担当を任された人がほぼ全員くぐる関門だ。技術そのものより先に、言葉の壁が立ちはだかる。やっかいなのは、言葉でつまずくと「この人、よく分かってないな」と思われ、提案そのものが軽く扱われてしまうこと。中身は正しくても、用語の発音ひとつで信頼が削れる。理不尽だが、人間はそういう生き物だ。
だから今日は、現場で頻出する2つの言葉――プロンプトとRAG――を、技術書ではなく実務の文脈で翻訳しておく。同僚や上司に説明するとき、自分の言葉が出てくる状態を作るのが目的だ。
なぜ今、用語の話なのか
AINOW（AI専門メディア、2026-06確認）の記事構成を見ると、主力コンテンツは「ツール比較」「稟議書テンプレート」「ROI計算」といった、すでに導入を前提とした実務ノウハウに移っている。つまり業界の重心は「AIとは何か」から「どう使い倒すか」へ動いた。
ところが現場の中小企業では、この移行がきれいに起きていない。Medium（2026-06確認）のAIトピックでは、AIを「魔法」「エージェント」と過度に修辞化する言語表現そのものが問題視され始めている。言葉が独り歩きし、中身が伝わらないまま現場に降りてくる。この温度差のあいだに立たされているのが、ほかでもないAI担当者だ。
業界は先へ進む。でも社内の同僚は「プロンプトって何の略？」のところで止まっている。その断絶を埋めるのが、今日の用語解説の意味になる。
プロンプト：AIへの「指示書」、ただし相手は新人
プロンプト（prompt）とは、AIに対して打ち込む指示や質問の文章のことだ。「この議事録を3行に要約して」と入力すれば、その一文がプロンプトになる。
ここまでは多くの人が知っている。問題は、プロンプトの良し悪しで結果が大きく変わるという感覚が共有されていないことだ。
たとえるなら、AIは知識は豊富だが、あなたの会社の事情をまったく知らない新人だ。「いい感じにまとめといて」と頼めば、いい感じの基準が分からず、当たり障りのない文章を返してくる。一方で「取引先A社向けの謝罪文。原因は納期遅延。次回の改善策を1つ添えて、200字程度、堅すぎない丁寧語で」と渡せば、新人でも形になる文章を出す。
ここで観察として面白いのは、多くの人が「いい感じに」で頼んで、出てきた答えに失望することだ。そして「AIは使えない」と結論づける。実際には、指示があいまいだっただけのことが多い。TechCrunch（2026-06確認）では、トークン数の最適化に過度にこだわって逆に生産性が落ちる「Tokenmaxxing」という現象も指摘されている。凝りすぎても、雑すぎても外す。プロンプトとは、ちょうどいい具体度を探る作業だ、と説明できれば、同僚への伝え方として十分機能する。
社内でこれを伝えるとき、「呪文を覚えましょう」ではなく「新人に仕事を頼むときの言葉を、そのまま打ち込めばいい」と言い換える。これだけで、身構えていた人の表情が少しゆるむ。
RAG：AIに「自社の資料」を読ませてから答えさせる仕組み
次がRAG（Retrieval-Augmented Generation、検索拡張生成）。直訳すると「検索して補強しながら文章を生成する」となるが、これでは現場に伝わらない。
平易に言えば、AIに自社の資料を渡して、その中身に基づいて答えさせる仕組みだ。
通常のChatGPTは、インターネット全体から学んだ一般知識で答える。だから「うちの就業規則では有給は何日付与？」と聞いても、あなたの会社の規則を知らないので答えられない。ここで、就業規則のファイルをAIに参照させてから質問する。すると「御社の規則では入社6か月後に10日」と、自社の事実に沿って答えてくれる。この「資料を参照させてから答えさせる」部分がRAGだ。
すでに本メディアでも触れたNotebookLMのような、資料を読み込ませて質問するツールは、考え方としてはこのRAGに近い。社内マニュアルや過去の問い合わせ履歴をAIに読ませ、新人や他部署の質問に自動で答えさせる――これが中小企業にとっての現実的な使いどころになる。
ここでひとつ、誤解を解いておきたい。RAGは「AIを賢くする魔法」ではない。渡した資料が古ければ、古い答えが返る。就業規則が3年前のバージョンなら、3年前のルールで答える。AIは渡されたものを忠実に読むだけで、資料の正しさまでは判断しない。だからRAGの成否は、渡す資料を誰がどう整理するかにかかっている。技術ではなく、整理整頓の話になる。これは野良AI担当にとって、むしろ朗報かもしれない。プログラミングではなく、書類整理のセンスが効くのだから。
自社規模に翻訳すると、何を意味するか
ここまでをミクロ視点――社員30〜200人規模の会社――に落とす。
プロンプトは、個人の作業を変える話だ。明日からでも、誰かひとりが「いい感じに」をやめて具体的に書くだけで結果が変わる。導入コストはゼロに近い。
RAGは、組織の知識を変える話だ。「あの人にしか分からない」状態の暗黙知を、資料という形でAIに読ませれば、属人化したブラックボックスが少しだけ開く。総務担当が休んでも、過去の対応履歴を読んだAIが一次回答を返せる。ただしこちらは、資料の整理という地味な前工程が必ず発生する。
The Decoder（2026-06確認）では、AIの職場浸透を左右する最大の要因は性能ではなく「信頼」だと指摘されている。これは中小企業でもそのまま当てはまる。プロンプトで小さな成功体験を積み、RAGで自社の事実に沿った答えを返す。この順番で信頼が育つ。いきなりRAGの大掛かりな仕組みから入ると、整理が追いつかず、出てきた答えがずれ、「やっぱりAIは使えない」に逆戻りする。
業界全体はエージェント化――AIが自律的に作業をこなす方向――へ急いでいる。Stanford AI Index 2026では米中のモデル性能差が2.7%まで縮小し、もはや性能で語る時代ではなくなりつつある。だが現場の足元では、プロンプトとRAGという基礎語が、まだ同僚に伝わっていない。マクロの最先端と、ミクロの足元には、平気で2〜3年の時差がある。担当者がやるべきは、最先端を追うことではなく、この時差を埋める通訳に徹することだ。
今やるべき準備
特別な投資はいらない。3つだけ挙げる。
第一に、プロンプトを「新人への指示」と言い換える台本を1つ持つ。社内で説明を求められたとき、専門用語ではなく具体例で答えられる準備をしておく。
第二に、RAGを試すなら、まず1つの資料から始める。就業規則でも、よくある問い合わせ集でも、最も質問が集中する1ファイルを選ぶ。全社の資料をいきなり投入しない。
第三に、渡す資料が最新かどうか、人間が確認する役割を1人決める。RAGの答えの質は、ここで9割決まる。
今日の総括
RAGもプロンプトも、ほどいてしまえば難しい言葉ではない。プロンプトは「AIへの指示書」、RAGは「自社資料を読ませてから答えさせる仕組み」。この2文を、自分の言葉で言えるようにしておく。それだけで、会議室でひやりとする場面は減る。
そして忘れてはいけないのは、用語を正しく説明できることと、現場で使われることは別だということ。言葉の壁を越えた先に、もう一つ「同僚が使わない」という壁がある。だが少なくとも、最初の壁でつまずかなくなれば、提案の土俵には立てる。先に進む業界と、止まっている社内。そのあいだに立つ通訳が、いま一番足りていない役割だ。
本記事はAI編集を経たのち、編集長が事実確認と品質チェックを実施しています。