2026/08/25

ChatGPT・LLMを既存システムに組み込むには？開発会社の選び方と依頼前の確認事項

カテゴリー：

システム開発

タグ：

ChatGPTやLLMは、既存の業務システムやWebシステムへ組み込めます。分類、要約、検索、入力補助を業務フローに追加する方法です。

ただし、LLM APIを呼び出す処理だけでは業務システムとして完成しません。既存システムの認証・権限、入力データ、期待する出力、誤回答時の扱い、ログ、障害対応、利用量とコストまで設計する必要があります。開発会社を選ぶ際も、LLMの知識だけでなく、既存システムを読み解き、本番運用まで設計できるかが重要です。

機能、構成、PoC、費用、依頼先の確認項目を整理します。

1. ChatGPT・LLMは既存システムへ組み込める

既存システムへの組込みは、通常、利用中の画面から送られた情報をバックエンドが受け取り、LLM APIへ必要なデータを渡し、結果を画面へ返す形で行います。現在の認証や業務フローの中で、参照情報を権限に応じて制限し、AIの出力を人の承認後に保存することもできます。

OpenAIを利用する新規開発では、2026年8月の公式情報上、Responses APIが推奨されています。Chat Completions APIも引き続き提供されています。APIやモデルは、必要な機能、既存構成、移行性、費用、運用条件で選びます。

新規アプリとして開発する場合の概要は、ChatGPTアプリ開発の方法も参考にしてください。

2. 既存システムへ追加できるAI機能

LLMを組み込む目的は、「AI機能を付けること」ではなく、既存業務のどこを改善するかです。候補には次のようなものがあります。

問い合わせ対応支援： メールやフォームを分類・要約し、振り分け情報や回答案を作る
社内文書検索： 規程やマニュアルを検索し、関連箇所と回答候補を示す
PDF・文書処理： 氏名、日付、金額などを抽出し、入力候補を作る
文章生成・入力補助： 管理画面内で説明文や返信文を作り、自由文を既定項目へ整理する
自然言語検索・判断補助： 質問から社内データや外部サービスを検索し、根拠と候補を示す

自動送信・自動登録まで行うか、人の承認を必須にするかは、誤りの影響、アクセス権、回答根拠の必要性から判断します。

まずは、入力と期待する出力を説明でき、効果と誤りを測定できる業務から検討します。用途を広げすぎると評価基準が曖昧になり、PoCの成否も判断できません。

AIシステム開発全体の進め方は、AIシステム開発の方法と運用までの流れも参考になります。

3. LLM組込みの基本構成

一般的な処理の流れは、次のとおりです。

利用者が既存システムの画面から文章やファイルを送信する
バックエンドが利用者を認証し、その操作とデータへの権限を確認する
入力を検証し、業務ルールや指示を加えてLLM APIへ送る
必要に応じてDB、検索基盤、RAG、外部APIから情報を取得する
LLMの結果を受け取り、内容と形式を検証する
既存画面へ表示するか、人の承認後に保存・実行する

発注担当者が確認すべきなのはAPIの名称より、既存システムのどこを変更するかです。画面、バックエンド、データ取得、権限、結果の検証、保存・実行の各範囲と、変更しない範囲を開発会社に説明してもらいます。

function callingやStructured Outputsは、外部機能との接続や出力形式の統一に使える選択肢です。採用する場合は、実行を許可する処理、権限確認、出力内容の検証まで設計対象になっているかを確認します。機能名を採用すること自体が目的ではありません。

APIキーはブラウザへ露出させず、バックエンドの安全な場所で管理します。応答遅延やAPI障害が起きた場合の動作、利用量とコストの管理、モデル変更時の切替と再評価まで含め、既存業務を止めない構成になっているかも確認します。

4. 組込み前に整理するデータ・業務フロー・権限

開発前に、「誰が、どの画面で、何を入力し、どの情報を参照し、結果を何に使うか」を整理します。

入力と出力を具体化する

入力対象、量、形式、更新頻度を確認します。出力は自由文、DBへ保存する項目、外部処理を動かす指示に分け、誤りが出た場合の再生成・差戻し・人による修正も決めます。

権限とデータ範囲を決める

個人情報や機密情報は送信範囲を絞り、検索やRAGにも既存の閲覧権限を反映します。入力、出力、参照文書、操作ログの保存場所と期間も決めます。

OpenAI APIへ送信したデータは、公式方針上、明示的にオプトインしない限りモデルの学習には使用されません。ただし、これはデータが一切保持されないという意味ではありません。標準の不正利用監視ログやResponses APIの保存設定、利用資格と承認が必要なデータ保持オプションを、採用時の最新仕様で確認する必要があります。