AIキャリアルート経験から探す

品質を高める / AI Evaluation Scientist

AI評価エンジニア

AIの出力をテストするだけでなく、評価指標自体の妥当性を確かめ、データ、統計、実験設計を使って品質を測る領域です。ソフトウェア品質の経験は関連しますが、統計学や機械学習の知識も求める求人例があります。

乗り換え元になる経験

  • 品質
  • 機械学習
品質保証、テスト自動化、CI/CDデータ分析、統計、実験設計機械学習または生成AIの評価

掲載出典の確認日

掲載している各出典の確認日（ページの更新日とは別）を示していますので、最新の募集状況と給与は公式の掲載元で確認してください。

公開求人に記載された給与

以下は2026-10-07に確認した、国内企業が自社の採用ページに掲載している求人です。年額で示す求人と月額で示す求人が混在するため、単位をそろえず求人ページの表記をそのまま載せています。職種名は求人ページ上の表記です。

企業・掲載元職種名給与の記載経験年数の記載
JAPAN AI（ジーニーグループ） 自社採用ページ（HRMOS）／確認日 2026-10-07AI Evaluation Scientist月給571,429円〜1,142,857円（固定残業手当45時間分を含む）機械学習・データサイエンス職の実務3年以上、統計学と実験計画法の知識など
株式会社HERP 自社採用ページ（HERP）／確認日 2026-10-07LLMOpsエンジニア（Tech Lead）年収600万円〜1,080万円（30時間分のみなし残業代を含む）Webアプリ開発の実務3年以上、LLMを組み込んだアプリ開発の経験など
CARTA HOLDINGS 自社採用ページ（HRMOS）／確認日 2026-10-07CTO室 AI Lab リードデータサイエンティスト月給432,273円〜915,182円（固定残業45時間分を含む）、想定年収800万円〜1,600万円Pythonでのデータ分析・モデリングの実務5年程度、LLMの評価手法の理解など

給与は求人ページの表記をそのまま載せたもので、当サイトが推定・換算した数値は含みません。提示額は経験や選考の結果で決まります。

給与とあわせて、経験と相談先を確認する

給与の記載は個別の求人例です。自分の経験を整理し、希望する職種の求人を扱っているか、相談先の対象や条件を確認しましょう。

転職相談先の対象と条件を比べる 今の経験と職種の接点を整理する

求人を掲載している企業の例

企業が公開した求人の確認例です。最新の募集状況と応募条件は、リンク先で確認してください。

JAPAN AI（ジーニーグループ）

AI Evaluation Scientist / Japanese

仕事内容の抜粋
AIの評価指標、自動評価の仕組み、統計的な実験を設計し、品質と安全性を検証する。
必須経験の抜粋
関連分野の修士相当。機械学習、データ分析、研究、評価などの経験3年以上。LLM評価、統計、Pythonなど。

企業の採用ページ掲載を確認確認日

求人ページを見る

LLMの評価（Evals）は、AIの出力が決めた基準を満たしているかを、テストデータと採点の仕組みで確かめることです。プロンプトやモデルを変えるたびに同じテストを回し、品質が下がっていないかを確認します。

LLM-as-a-Judgeは、その採点を別のLLMに任せる手法です。人手より速く大量に採点できる一方、回答の順番や長さに判定が左右される偏りがあると、原論文が報告しています。

このページは、評価の仕組みを作って製品の品質判断を支える職種を扱います。2026-10-07に確認した国内の公式求人では、評価を職種名の主軸にしていたのはJAPAN AIの1件で、ほかに仕事内容の一部として評価を挙げる求人がありました。

LLMの評価（Evals）とは

OpenAIの開発者向けドキュメントは、Evalsを、LLMアプリの出力が指定したスタイルや内容の基準を満たすかをテストする仕組みと説明しています。進め方は、タスクを定義し、テストデータで実行し、結果を分析して改善する、の3段階です。

通常のソフトウェアテストと違うのは、同じ入力でも出力が毎回少しずつ変わり、正解が1つに決まらないことが多い点です。そのため、1件ずつの合否より、多数のテストケースでの成績を変更の前後で比べる使い方が中心になります。

Anthropicの評価ドキュメントは、採点の方法を次の3つに分けて長所と短所を比べています。そのうえで、できる限り自動化し、少数の丁寧な人手採点より多数の自動採点を優先するよう勧めています。

コードで採点する
完全一致やキーワードの有無など、規則で判定します。速く安く、結果がぶれない一方、言い換えやニュアンスは判定できません。
人が採点する
複雑で主観的な判断ができます。一方で量をこなせず、費用がかかり、採点者ごとに判断がぶれます。
LLMが採点する
言い換えやニュアンスを扱え、量もこなせます。一方で費用がかかり、判定がぶれることがあります。

LLM-as-a-Judgeとは：人の判断とどこまで一致するか

Zhengらが2023年に発表した論文「Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena」は、GPT-4のような強いLLMに回答を採点させると、人の判断と80%を超えて一致し、人同士の一致と同じ水準だったと報告しました。

ただしこれは、論文が用意した対話の質問集（MT-Bench）と、利用者が2つの回答を比べて投票するサイト（Chatbot Arena）での結果です。どの業務でも同じ精度が出るという意味ではありません。同じ論文は、採点役のLLMに次の偏りがあることも示しています。

順番の偏り
2つの回答の順番を入れ替えると、判定が変わることがあります。
長さの偏り
内容が同じでも、長い回答を高く評価しやすくなります。
自分びいき
採点役と同じモデルが書いた回答を、高く評価しやすくなります。
推論の限界
数学のように正解のある問題で、採点を誤ることがあります。

評価の仕組みを作る流れ

Anthropicの評価ドキュメントは、最初に成功基準を具体的で測れる形で決めるよう勧めています。「うまく分類する」のような言い方ではなく、決めたテストデータでの指標を数値の目標にする、という形です。そのうえで、次の順に仕組みを作ります。

LLM-as-a-Judgeを使う場合、原論文は順番を入れ替えて2回判定する方法や、参照用の正解を渡して採点させる方法で偏りを減らせることを示しています。Anthropicのドキュメントも、採点基準を明確に書き、1〜5の点数か合否の二択で答えさせるよう勧めています。

エージェントの評価はさらに難しくなります。Anthropicは2026-01-09の技術記事で、エージェントは自律的に動くため評価が難しいと述べ、コード、モデル、人の3種類の採点を組み合わせるよう勧めています。OpenAIのドキュメントは、エージェントの実行記録（どのツールをどう呼んだか）を採点し、ツールの選び間違いや規則違反を見つける方法を紹介しています。

成功基準を決める
何を測るかを数値で決めます。正しさのほか、有害な出力の割合や応答時間など、複数の観点で決める例が示されています。
テストケースを集める
実際の利用に近い入力に、無関係な入力、長すぎる入力、あいまいな入力といった境界の例を混ぜます。
採点方法を選ぶ
コード、LLM、人の採点を、観点ごとに使い分けます。
変更のたびに回す
プロンプトやモデルを変えるたびに同じテストを実行し、前回との差を確かめます。

国内の公式求人が求めるもの

2026-10-07に国内の企業公式求人を確認したところ、評価を職種名の主軸にしていたのはJAPAN AIの1件でした。HERPとCARTA HOLDINGSは、仕事内容の一部として評価の仕組みづくりや評価指標の設計を挙げています。

求める経験は求人によって大きく異なります。JAPAN AIは修士以上または同等の実務経験、機械学習・データサイエンス職の実務3年以上、統計学と実験計画法の知識を必須にしています。一方、HERPはWebアプリ開発3年以上と、AIの出力の品質や運用の課題に向き合った経験を必須にしています。

企業・出典職種名担当範囲（公式の記述の要約）
JAPAN AI（ジーニーグループ） 確認日 2026-10-07AI Evaluation ScientistAIエージェントの品質評価基盤の設計と運用をリードし、評価指標の研究開発、自動評価の仕組み、安全性の検証、統計的な実験計画による品質改善を担う。
HERP 確認日 2026-10-07LLMOpsエンジニア（Tech Lead）生成AI機能のプロンプト設計やRAG設計とあわせて、AIの出力の品質評価（Evals）の仕組みづくりを担う。
CARTA HOLDINGS 確認日 2026-10-07CTO室 AI Lab リードデータサイエンティスト生成AIの案件で、モデルの選定や学習とあわせて評価指標を設計し、精度の評価を担う。LLM-as-a-Judgeの手法にも取り組む。

担当範囲は公式求人の記述を当サイトで要約したものです。募集の継続は保証しないため、最新の内容は各求人で確認してください。

開発・テスト自動化の経験のどこが接点になるか

テストを自動化し、CIで品質の後戻りを止めてきた経験は、評価の仕組みづくりに近い内容です。テストデータを用意し、変更の前後で結果を比べ、基準を満たさない変更を止めるという流れは、通常のテストと同じです。

足りなくなりやすいのは、正解が1つに決まらない出力を測る方法と、結果のぶれを統計的に扱う知識です。評価を含めて身につけたい技術は学習ロードマップの「キャッチアップすべき4つの技術」で整理しています。

ただし、これらは応募資格ではありません。評価を主軸にした求人は、統計や機械学習の実務経験を別に求めています。

仕事内容と成果

  • 評価メトリクス、ベンチマーク、評価データセットを設計する。
  • 自動評価をCI/CDに組み込み、変更による品質低下を検知する。
  • 安全性テストと統計分析を行い、開発チームへ改善材料を返す。

目指す状態：モデルやプロンプトの変更を、品質と安全性の根拠を持って判断できるようにする。

経験の接点

以下は経験を整理するための軸であり、採用要件ではありません。

品質機械学習データ生成AIバックエンドクラウド

ある求人例の要件

職種全体の要件ではなく、公開情報で確認した個別の例です。

  • JAPAN AIの例では、LLMまたは生成AIの評価手法、統計学・実験計画法、PythonでのMLまたは評価パイプライン構築を必須条件としている。
  • 同求人はMLエンジニア、データサイエンティスト、リサーチエンジニア、またはML評価関連職種で3年以上の実務経験を必須条件としている。

応募前に準備すること

  1. 01

    評価対象を具体化する

    正しさ、安全性、タスク成功など、何を測るかと測れない理由を分けて書く。

  2. 02

    比較可能な評価を実装する

    固定データ、期待値、集計方法を用意し、変更前後の差を再現可能にする。

  3. 03

    統計の前提を確認する

    サンプルの偏り、比較方法、判断の限界を説明できる分析を行う。

AI分野の学習ルートを探す

面談で確認する質問

  • 評価指標は人間の判断とどのように照合していますか。
  • 品質ゲートを通過できない変更は、誰がどの根拠で判断しますか。
  • 安全性評価と通常の機能品質評価は、どこまで同じ基盤で扱いますか。

よくある質問

LLM-as-a-Judgeとは何ですか？

AIの回答の採点を、別のLLMに任せる手法です。2023年の原論文では、強いLLMの採点が人の判断と80%を超えて一致しましたが、回答の順番や長さに判定が左右される偏りも報告されています。

Evals（LLMの評価）とは何ですか？

AIの出力が決めた基準を満たしているかを、テストデータと採点の仕組みで確かめることです。プロンプトやモデルを変えるたびに同じテストを回して、品質が下がっていないかを確認します。

未経験からAI評価エンジニアを目指せますか？

今回確認した公式求人は、どれも実務経験を前提にしています。評価を主軸にしたJAPAN AIの求人は、機械学習・データサイエンス職の実務3年以上と統計の知識を必須にしています。開発やテスト自動化の経験がある場合は、LLMアプリの評価を自分で作り、変更前後の差を測った記録を残すと、要件に照らして説明できる材料になります。

このページの出典

本文で引用した公開情報です。掲載内容は確認日時点のもので、以後の変更は反映していません。