製造業では、よく「品質は工程で作られる」と言われます。
完成した製品を検査して不良品を取り除くだけではなく、どの工程で問題が起きたのかを確認し、工程そのものを改善することで、品質を安定させていく考え方です。
私は製造業に携わってきたこともあり、この考え方にはなじみがありました。
一方で、中小企業診断士の二次試験について考えていたとき、少し気になることがありました。
近年はAIによる答案添削サービスが増え、完成した答案を入力すれば、点数の目安や改善点を返してもらえるようになっています。自分だけでは気付かなかった表現の不足や、設問要求とのずれを確認できるため、便利な仕組みだと思います。
ただ、評価の対象となっているのはいつも完成した答案です。
製造業で考えると、これは完成品を検査し、良品か不良品かを判定している状態に近いのではないかと思いました。
もちろん、完成品の検査は必要です。しかし、完成品だけを見ても、なぜその結果になったのかまでは分かりません。
では、品質管理の考え方を学習へ持ち込んだら、何が見えるのでしょうか。
答案の品質も、解答工程で作られるのではないか。
そんな仮説から、小さなPoCを始めました。
中小企業診断士の二次試験とは
中小企業診断士の二次試験は、企業の事例が書かれた文章を読み、その企業が抱える課題や今後の施策について、決められた文字数で答える記述式の試験です。
受験生は、限られた時間の中で事例企業の状況を把握し、設問で何を問われているかを解釈したうえで、文章中から根拠を探し、答案を組み立てます。
計算問題のように答えが一つに決まる試験ではありません(事例Ⅳを除く)。また、公式の模範解答が示されないため、自分の答案のどこがよく、どこに問題があったのかを明確に判断することが難しい試験でもあります。
そのため、受験生は予備校の模範答案や再現答案、添削サービスなどを参考にしながら、自分の解き方を改善していきます。しかし、完成答案を比較するだけでは、解答中のどこで迷い、どの判断を誤り、なぜその答案になったのかまでは確認できません。
この点が、今回「完成答案ではなく工程を見てみよう」と考えた背景です。
答案を「完成品」として考えてみる
答案が完成するまでには、いくつもの工程があります。
今回は、AAS流の標準解法を参考に、解答プロセスを次の6工程に分けました。
- Step1 設問分析
- Step2 与件読解
- Step3 根拠抽出
- Step4 因果構築
- Step5 骨子作成
- Step6 答案作成
製造業に置き換えると、これらは一つの製品を作るための標準工程に当たります。
高得点の答案を安定して作れないのであれば、完成答案だけではなく、途中のどこかにばらつきや停滞があるのではないか。
その工程を可視化すれば、改善すべき場所も見つけやすくなるのではないかと考えました。
解答中の思考をデータとして残す
そこで手始めに、平成30年度の事例Ⅱを対象に、私自身が解答して検証してみました。
分析に利用したデータは、書き込み済みの問題用紙、解答中のThink Aloud音声、作成した骨子、最終答案です。
Think Aloudとは、考えていることを意図的に声に出しながら作業する方法です。
例えば、「この設問は新規顧客の獲得を聞いている」「この記述は強みとして使えそう」「ターゲットをどう整理するか迷う」といった思考を、解答しながら音声として残します。
答案だけでは、どこで迷ったのか、なぜその根拠を選んだのか、どの段階で考えが変わったのかは分かりません。
しかし、問題用紙への書き込みや音声、骨子を時系列で確認すれば、完成答案になるまでの工程をある程度たどることができます。
今回は、これらのデータをGeminiで分析し、工程ごとの状態を評価できるか試しました。
なお、完成答案の推定得点については、ねね子さんが公開しているAI採点プロンプトを利用し、工程評価とは分けて実施しています。
もっとも、今回確認したかったのはAIの採点精度ではなく(これはもう上記プロンプトが優秀です!)、完成答案の評価とは別に、解答工程を分析することが可能かどうかです。
完成答案からは見えなかった9分間
PoCを行った結果、工程ごとの評価は一定程度成立しました。
工程別の評価に加え、どこで思考が止まったのかを時系列で確認し、改善点を整理するところまで進めることができました。
今回、特に目立ったのは、Step4の因果構築です。
解答中の記録をたどると、この工程で約9分間、思考が停滞していました。さらに細かく見ると、ターゲットをどう整理するかという部分で、約6分間迷っていたことも確認できました。
完成答案だけを評価した場合、「第2問は18点程度だった」という結果は得られます。しかし、その答案だけを何度読み返しても、なぜ時間が足りなくなったのか、どこで考えが止まっていたのかまでは分かりません。
工程を見ることで、「因果構築に時間がかかった」「その中でも、ターゲットの整理で迷っていた」という原因までたどれるようになりました。
今回の検証では、結果を評価するだけではなく、結果を生んだ原因まで振り返ることができる可能性を確認できました。
苦手なのは「答案」ではなく「工程」かもしれない
二次試験の対策では、事例問題を最初から最後まで解く総合演習に加え、決められた文字数で答案をまとめる「100字訓練」など、さまざまな個別練習が行われています。
ただし、その練習が本当に自分の弱点に合っているかは、必ずしも明確ではありません。
根拠を見つける工程に課題がある人が、答案の文章表現だけを繰り返し練習しても、十分な改善にはつながらないかもしれません。逆に、必要な要素は見つけられているものの、限られた文字数にまとめられない人には、文章化の練習が有効だと考えられます。
これまでは、自分の苦手な工程を明確にしないまま、一般的に推奨されている対策に取り組み、結果として練習が空振りに終わっていた可能性もあります。
工程評価ができれば、
- SWOTのマーキング
- 設問解釈
- 根拠抽出
- 因果構築
といった工程ごとの練習へ分解できるかもしれません。
過去問を何度も総合演習として消費するのではなく、苦手な工程だけを短時間で練習し、最後に過去問で全体を確認する方法も考えられます。
まとまった時間が取れない日には、「今日は設問解釈だけ」「今日は因果構築だけ」という学習もできるかもしれません。
将来的には、工程評価の結果から次に取り組むべき練習を提案するAIコーチや、演習中に標準工程を確認する対話型の支援も考えられます。
ただし、これらは現時点では構想段階です。まずは工程評価そのものが、他の事例や他の受験者でも成立するかを検証する必要があります。
品質管理の考え方は、学習にも使えるのか
今回のPoCは、まず私自身を対象に実施した小さな実験です。
この結果だけで工程評価の有効性が証明されたとは言えませんし、この方法で得点が上がるとも断定できません。
一方で、完成答案だけでは見えなかった思考の停滞や、その原因になった工程を可視化できる可能性は確認できました。
「品質は工程で作られる」という製造業ではなじみのある考え方を学習へ応用することで、これまでとは違う改善の切り口が見えてきたように思います。
今回試したかったのは、AIで答案を採点することではなく、AIを使って学習の工程を観察し、改善できる形に整理すること。そして、AIが示した改善案をそのまま受け入れるのではなく、自分で選び、自分の標準を育てていくことです。
この考え方が他の事例や他の受験者にも当てはまるのか、まだ分かりません。
ただ、学習の結果だけではなく、その結果を生んだ工程を見るという視点には、もう少し検証する価値がありそうです。
今後も実際に試しながら、品質管理の考え方を学習へ応用できるか検証していきたいと思います。