AIが出した調達分析の数字を、元のデータで確かめる

AI の答えの数字は、そのままでは使えない

官公庁の調達を調べるとき、ChatGPT や Claude などの AI アシスタントにデータを渡して「どの省庁が一番多く発注しているか」と聞く人が増えています。AI は読みやすい文章に数字を入れて答えますが、その数字がデータと一致しているとは限りません。写し間違えた数字も、計算を誤った数字も、データにない数字も、同じ自信のある書き方で出てきます。

ハシケは、日本で履行される米国連邦調達の案件と、日本の中央省庁の落札結果という公開記録を日英二か国語で整理しているサービスです。政府とは関係のない民間のサービスです。ハシケの数字には、何を数えたか、いつの期間か、どの出典かが必ず付いています。この表示があるので、AI の答えを確かめるときの基準として使えます。

社内の報告書や入札の検討資料に AI の答えを使う前に、その数字を元のデータと照らし合わせる作業が要ります。以下は、その照合を毎回同じやり方で行うための手順と、そのまま使える依頼文です。

• ·AI アシスタント：ChatGPT や Claude のように、文章の質問に文章で答えるツール。中で動いている仕組みを言語モデルと呼びます。
• ·母集団：ある数字が数えた記録の範囲。たとえば「ある府省の直近60か月の落札結果」。同じ数字でも、母集団が変われば意味が変わります。

AI の答えの数字がずれる仕組み

AI の答えに出てくる数字は、データから写したもの、AI がデータから計算したもの（合計や割合など）、データのどこにもないもの、のいずれかです。確かめる作業は、数字をこのどれかに振り分け、写した数字は元の値と一致するか、計算した数字は計算が正しいかを見ることです。データにない数字には出典がありません。

数字が一致していても、母集団や期間の説明が変わっていれば誤りです。ハシケの supplier_profile（一社の落札実績）と buyer_profile（一府省の発注実績）は、直近60か月の件数と金額を返します。AI がそれを「累計」や「年間」と書いていたら、数字は正しくても文章はデータと食い違っています。

照合の基準になるデータ

基準になるのは、AI に渡したデータそのものです。ハシケからデータを取り出す方法は、ページをテキストファイルとして保存する Markdown の書き出し、プログラムからデータを取得する公開 API、AI アシスタントがハシケに直接問い合わせる MCP（Model Context Protocol）の三つです。ハシケのサービス登録情報には、MCP ツールが9、公開 API のエンドポイントが11、ダウンロード形式が3定義されています。CSV や Excel の書き出しはありません。どの経路で渡しても、照合の手順は同じです。

AI が MCP でハシケから数字を取ってきた場合は、AI を通さずに同じ数字を取り直せます。公開 API のエンドポイントはそれぞれ一つの MCP ツールに対応していて、同じ集計を返すからです。下の例は、法人番号（国税庁が法人ごとに指定する番号）で一社の落札実績を取り直すリクエストです。

curl https://hashike.io/api/v1/companies/{corporateNumber} \
  -H "Authorization: Bearer <token>"

照合の手順

1. AI に渡すデータを保存しておきます。ログインした状態で案件ページから Markdown を書き出すか、API のレスポンスをファイルに残します。AI アシスタントを MCP でハシケにつないでいる場合は、AI が呼び出したツール名と指定した条件を控えます。
2. 分析と同時に、数字ごとの出どころを答えさせます。下の一つ目の依頼文は、答えの最後に、数字ごとの単位、母集団、期間、データ内の位置をまとめた表を付けさせます。
3. 表の数字を、保存したデータと一文字ずつ照らし合わせます。四捨五入した値、単位を変えた値、通貨を換算した値は一致とみなしません。
4. 母集団と期間の書き方を確かめます。直近60か月の数字が累計や年間の数字として書かれていないか、日本の会計年度と米国連邦政府の会計年度が混同されていないかを見ます。
5. 円とドルが一つの計算に入っていないかを確かめます。日本の府省の落札額は円、米国連邦契約の金額はドルで、出典も会計年度も違うため、足すことも比べることもできません。
6. データにない数字と、計算が合わない数字を答えから外します。残った数字だけを報告書に使います。

Using only the Hashike data below, answer this question: <your question>.

Rules:
- Copy every figure exactly as it appears in the data. Do not round, convert currencies or change units.
- Never add or rank a JPY amount together with a USD amount.
- If you calculate a figure yourself, label it "computed" and show the calculation.
- If the data does not contain a figure you need, say so instead of estimating.

End your answer with a table with these columns: figure, unit or currency, what was counted (population), period, where in the data it appears (field name or heading), copied or computed.

Data:
<paste the Hashike Markdown export or API response here>

新しい会話でもう一度確かめる

答えを書いた会話の中で同じ AI に確認させると、自分が書いた内容に引きずられることがあります。新しい会話を開き、元のデータと答えだけを渡して確認させます。その判定も、最後は自分でデータと照らし合わせます。

You are checking an analysis against its source data. Do not judge whether the analysis is persuasive; only check its figures.

For every number in the ANSWER, report one line with:
- the number as written in the answer
- verdict: MATCHES (identical value, unit and currency in the DATA), DIFFERS (a value exists in the DATA for the same thing but is different), COMPUTED (derived from DATA values; show the calculation and whether it is correct), or NOT IN DATA
- whether the answer describes the population and period the same way the DATA does
- whether the number mixes JPY and USD amounts

Quote the line of the DATA you relied on for each verdict.

DATA:
<paste the Hashike Markdown export or API response>

ANSWER:
<paste the AI answer>

この照合で確かめられるのは、答えの数字がハシケのデータと一致しているかどうかだけです。ハシケは公開記録を整理するサービスで、どの案件に応札すべきかは評価しません。

利用枠について

APIとMCPの利用はプランの利用枠で計量され、各レスポンスに残りの枠が記載されます。答えを確かめるために同じ呼び出しを繰り返すと、その分の枠も使います。