Research #027：適職診断は、当たるのか。

Abstract

要旨— 自分の失敗作を、解剖する

私たちは適職診断を作って、公開した。公的データを使い、482の職業を並べ、10問ほどで「あなたに向く仕事」を出す。そして使ってみたら、当たらなかった。

まず疑ったのは、自分の実装である。そこで診断を6つの実験にかけた。結果、診断はちゃんと動いていた。全問まったく逆に答えれば、出てくる仕事の重なりは0%になる。別人どうしなら3%しか重ならない。デタラメでもなければ、誰にでも同じ答えを返す占いでもない。入力に、忠実に反応していた。

ではなぜ当たらないのか。答えは、診断の外にあった。「好みが合う仕事は、向いている仕事だ」という前提そのものが、統計的にほとんど支持されていない。興味と職務満足の相関は、53件の研究をまとめたメタ分析で r = .17。説明力にして3〜6%である。

診断は正しく動いていた。壊れていたのは「診断」という考え方のほうだった。

Method

方法— 何を、どう調べたか

実験台: 私たち自身が作って公開した適職診断。厚生労働省の職業情報提供サイト（日本版O-NET）の 482職業に、RIASEC（現実的・研究的・芸術的・社会的・企業的・慣習的）の6次元プロフィールが付いている。
仕組み: 回答から本人の6次元プロフィールを作り、職業側の6次元プロフィールとの相関（ピアソン相関）で482職業を並べ替える。上位を「あなたに向く仕事」として出す。世に出ている適職診断の、ごく標準的なやり方である。
実験: ランダムな回答者を数千人つくり、診断の挙動を測った。逆に答えたらどうなるか。デタラメに答えたらどうなるか。誰にでも出る仕事はあるか。表示される「マッチ度%」は何を意味しているか。
天井の確認: 実装をすべて直したとして、どこまで当たりうるのか。興味と職務満足の関係を調べた既存のメタ分析に照らした。

Result 1

診断は、壊れていなかった— まず自分を疑った結果

適職診断を叩くのは簡単だが、その前に「これはただの乱数ではないか」を確かめる必要がある。2つの実験で潰した。

全問まったく逆に答えたら、結果は変わるか重なり 0% 上位8職業は、まるごと入れ替わる。診断は入力を見ている。

別人どうし（サイコロで答えた2人）の結果は、どれだけ重なるか 3% 誰にでも同じ答えを返す占いではない。ちゃんと個人差が出ている。

つまり、この診断はノイズではない。入力に忠実に、一貫して反応している。もし「当たらない」の原因が乱数なら、話はここで終わっていた。終わらなかった。

Result 2

それでも、欠陥は4つあった— 動いていることと、正しいことは違う

「全部やりたい」人と「どれもふつう」の人は、違う結果になるか 100% 一致ならない。相関という物差しは「熱量」を捨て、かたちだけを見る。だから、何にでも燃える人と、何にも燃えない人が、同じ仕事を薦められる。

全問「ふつう」と答えたら、何が出るか計算できない 6つの数字が全部同じだと、相関は数学的に定義されない。ど真ん中の人は、診断できない。

482職業のうち、誰かの「1位」になれるのは何職業か 338職業 3,000人ぶんのランダムな回答を流しても、144職業（30%）はどんな人にとっても1位にならない。他の職業にかたちを"支配"されていて、構造的に浮上できない。

誰にでも出てくる仕事はあるかある Webマーケティング（4.2%の人にとっての1位）、ファッションデザイナー（3.1%）、DTPオペレーター（2.9%）、建築設計技術者（2.9%）。クリエイティブ職が、万人に薦められやすい。

Result 3

「マッチ度」の目盛りは、盛られていた— 触ってみてほしい

診断結果には「マッチ度 86%」のような数字が出る。この数字が何を意味しているのか、下のつまみを動かして確かめてほしい。左端が「あなたと正反対の仕事」、真ん中が「まったく無関係な仕事」である。

あなたと、その職業の実際の相関 r = +0.00

−1.0　正反対0　無関係+1.0　完全一致

50%

相関が完全にゼロ——つまり、あなたとまったく関係のない職業にも、「マッチ度 50%」と表示される。負の相関、すなわち「あなたと正反対の職業」ですら、30%と出る。0%はどう頑張っても出ない。

私たちの診断で「1位」に表示される数字は、中央値で 86% だった。立派に見える。しかしそれは、この目盛りの上での86%である。482職業のうち55%が「50%以上」と表示される。数字は、そう感じさせるためにそこにある。

※ 念のため：これは他社の診断ではなく、私たち自身が公開したものの解剖です。

同じ形の目盛りは、パーセント表示のある適職診断に広く見られます。「相関を0〜100%に線形変換する」以上のことを、たいていの診断はしていません。

Conclusion

結論— 天井は、実装の外にあった

では、ここまでの欠陥を全部直せば、適職診断は当たるようになるのか。ならない。天井は実装の外にある。

適職診断の理論的支柱は、Holland の「一致（congruence）」仮説である。好みに合う環境にいる人は、満足し、成果を出す——という考え方だ。この仮説は、半世紀にわたって検証されてきた。そして 53件の研究をまとめたメタ分析で、一致度と職務満足の相関は r = .17 だった。説明力にして3〜6%。別のメタ分析では、有意ですらない。しかも報告によれば、方法論的に弱い研究ほど、強い相関が出ている。

職務満足を決めているのは、給料であり、裁量であり、上司であり、生活との両立である。好みは、そのどれよりも小さい。完璧に実装しても、3%しか当たらない。私たちが感じた「当たらない」は、故障ではなく、仕様だった。

好みは測れる。それは本当だ。だが、好みから適職は出ない。これは診断技術の問題ではなく、問いの立て方の問題である。

当たらない診断を作ってしまった。だから、測るものを変えた。

※ これは自作の適職診断の、自己監査です。

実験はランダムな回答者による挙動測定であり、実在の利用者の満足度を追跡したものではありません。メタ分析の数値は既存研究からの引用で、私たちが再現したものではありません。RIASEC そのものが無価値だと主張するものでもありません——興味の地図としては機能します。「適職を当てる道具」としては期待に届かない、という話です。

Afterword

では、何なら測れるのか— 好みではなく、構造

好みは当たらない。しかし、あなたの仕事に何が起きるかは、測れる。私たちは診断を作り直すのではなく、測る対象を変えた。

その仕事の作業のうち、どれだけが生成AIで扱える範囲に入るのか。一度キャリアを離れたとき、正規で戻れる確率はどれだけか。同じ職種の男性と女性で、給与はどれだけ違うのか。パートに切り替えたとき、時間単価はどれだけ守られるのか。これらはすべて、賃金構造基本統計調査と就業構造基本調査で実測できる。好みと違って、これらは事実である。当たる・当たらないの問題が、そもそも起きない。

「あなたに向いている仕事」は分からなかった。だが「あなたの仕事に、これから何が起きるか」は分かる。私たちが次に作ったのは、そちらだった。

これは allfesta Labs の研究です

この自由研究の足回りは、自分の失敗作です。

AI自由研究は、福岡発の AI 会社 allfesta の研究部門です。本稿で解剖した適職診断は、私たちが実際に作って公開したものです。実験・集計・結果の解釈と言語化は AI が行い、研究部が検証しています。この監査を受けて、私たちは「好み」ではなく「構造」を測る道具へ舵を切りました。

AIが来ても残れるかを測る → LINEで新作研究を受け取る

References

ネタもと— 一次資料・前提

ATsabari, O., Tziner, A., & Meir, E. I. (2005). Updated Meta-Analysis on the Relationship Between Congruence and Satisfaction. Journal of Career Assessment.
53研究。一致度と職務満足の加重平均相関 r = .17（環境側を独立に測ると .25 前後まで上がる）。本稿の「天井」の根拠。
BHolland, J. L. Making Vocational Choices: A Theory of Vocational Personalities and Work Environments (3rd ed., 1997)
RIASEC と一致仮説の原典。世に出ている適職診断のほとんどが、ここから来ている。
C職業情報提供サイト（日本版O-NET）／独立行政法人労働政策研究・研修機構
482職業の RIASEC プロフィール。本稿の一次データ。
D厚生労働省「賃金構造基本統計調査」／総務省「就業構造基本調査」
「好みではなく構造を測る」と述べた根拠。職種ごとの賃金・雇用形態・復帰の実績はここで実測できる。