機械学習モデルを開発する際、私たちは精度（precision）や再現率（recall）、F1スコアといった定量的な指標を用いて性能を評価することが一般的です。これらの指標は、知識クレームの妥当性を確立するための尺度ですが、その焦点は提案されたアーティファクトの性能に狭く限定されています。

一方で、科学的な知識は信頼性があり、依拠できるものであるべきですが、アーティファクト（モデル、手法、インスタンス、理論）を開発・評価するデザイン・サイエンス・リサーチ（DSR）においては、妥当性（Validity）の概念はこれまで一貫して確立されていませんでした。その結果、実務家は、これらの指標だけでは、現実世界での様々な条件やユーザーグループへの適用性といった包括的な妥当性を検討することが難しいという課題に直面しています。

この記事では、この課題に対応するため、アーティファクトに関する知識クレーム (Knowledge Claims) を体系的に明確化し、検証するためのデザインサイエンス妥当性フレームワーク（DSVF）を開設します。DSVFは、研究者や実務者が、自身が開発したアーティファクトの貢献度を明確にし、その信頼性（Credibility）と実務上の影響力（Impact）を高めるための系統的な手段を提供します。

貢献度を定義するデザインサイエンス知識クレーム

デザインサイエンス（Design Science: DSR）とは、情報システム、コンピューターサイエンス、工学といった様々な分野で実践される研究のジャンルであり、現実世界の課題を解決するアーティファクト（成果物）を開発し、評価することを含みます。ここでいうアーティファクトには、機械学習モデルを含むインスタンス（実装されたシステム）のほか、モデル、手法、そして設計理論などが含まれます。デザインサイエンスの主要な目標は、これらのアーティファクトを通じて課題に対処するだけでなく、再利用可能な設計知識（Design Knowledge）を生成することにあります。

ここで議論しているデザインサイエンス妥当性フレームワーク（DSVF）は、この設計貢献を系統的に評価するために、アーティファクトに関する知識クレーム (Knowledge Claims) を3つの主要なタイプに分類します。知識クレームとは、アーティファクトが科学と社会に対してどのような貢献をするかを主張する命題です。

知識クレームの3つの主要なタイプ

DSVFが提供する体系化された知識クレームは以下の通りです。

1. 基準クレーム (Criterion Claims)

これは、アーティファクトの有用性（Utility）に関する最も基本的な主張です。デザインサイエンス研究の論文では、少なくとも1つの基準クレームが暗黙的または明示的に主張されるべきだとされています。このクレームは、アーティファクトが既存の解決策やプロセス（State of the Art / Criteria）と比較して、より速い (Faster) 、より効率的 (More efficient) 、より安価 (Cheaper) といった、何らかの優位性を提供することを示します。

2. 因果的クレーム (Causal Claims)

基準クレームが「何が機能したか」を示すのに対し、因果的クレームは「なぜそれが機能したか」を解明します。これは、アーティファクトの特定の設計要素（Design Features）が、主張された成果を生み出す原因である程度に関する知識クレームです。このクレームを検証し確立することは、アーティファクトの開発から得られる設計知識を深めるために役立ちます。例えば、機械学習モデルの特定のアーキテクチャや機能セットが、なぜ性能向上に貢献したのかを突き止め、共有することに相当します。

3. コンテキストクレーム (Context Claims)

このクレームは、アーティファクトの主張された成果が、いつ、どのような条件や境界の下で成立すると期待されるかを明示します。この情報は、実務家が、研究で使われたコンテキストと同一ではない様々な新しい設定でアーティファクトを再利用する際の成功可能性を高めるために非常に重要です。コンテキストクレームは、知見の一般化の範囲を明確にする役割を果たします。

原則として、すべてのデザインサイエンスのプロジェクトは少なくとも基準クレームを必要としますが、因果的クレームやコンテキストクレームを追加することで、研究の貢献度を深め、「なぜ」機能するのか、「どこまで」機能するのかという理解をさらに促進させることができます。

3つの主要な妥当性タイプとML実装への応用

デザインサイエンス妥当性フレームワーク（DSVF）は、前述した知識クレーム（基準、因果、コンテキスト）に対応し、基準妥当性（Criterion Validity）、因果的妥当性（Causal Validity）、コンテキスト妥当性（Context Validity）という3つの主要な妥当性タイプを定義しています。妥当性（Validity）とは、焦点となるアーティファクトに関する知識クレームが、証拠によってどの程度裏付けられているかを示す度合いです。この体系的な評価手法を適用することで、研究者は自身が開発したアーティファクトの貢献を明確にし、その信頼性を高めることができます。

基準妥当性：性能と貢献度の客観的測定

基準妥当性は、アーティファクトの有用性に関するクレームが、標準となる参照エンティティ（基準/Criterion）との比較を通じて、どの程度支持されているかを示すものです。すべてのデザインサイエンスプロジェクトは、少なくとも一つの基準クレームを伴うべきだとされており、この基準妥当性の確立は不可欠です。

この比較の基準（Criterion）となる参照エンティティは、一般に認められた最先端技術（State-of-the-Art）のアーティファクトや、既存の解決策、あるいは自然界の既存のプロセスであり得ます。強い基準クレームを確立するためには、開発の早い段階で、一般に認められた最先端のアーティファクトやプロセスを比較対象として特定することが重要です。

基準妥当性には、主に2つのサブタイプがあります。

1. 効力基準妥当性 (Criterion Efficacy Validity):
   • これは、焦点となるアーティファクトの出力や、それがソシオテクニカルシステム（社会システムと技術システムを統合したシステム）に与える効果を、標準とされる参照エンティティの出力と比較して検証し、効力に関するクレームを支持するものです。
   • 機械学習の分野で広く用いられる精度（precision）、再現率（recall）、F1スコアなどのメトリクスは、この効力妥当性を確立するための定量的な測定値を提供します。例えば、予測的なクレームがない場合、テストセットの真の値との性能比較は、同時発生妥当性（Concurrent Validity）の一種として機能します。
2. 特性基準妥当性 (Criterion Characteristic Validity):
   • こちらは、参照エンティティが具体的な出力を生成しない場合（例：理論やモデルなど）、あるいは、出力が直接自動で比較できない場合（例：2つの生成AIの出力比較）に利用されます。
   • この場合、アーティファクトの特性、例えばユーザーインターフェースや概念的な構造といった貢献に着目し、評価者が比較検証を実施することで、クレームを裏付けます。

因果的妥当性：モデルの「なぜ」を解明する

因果的妥当性（Causal Validity）は、「何が機能したか」という結果だけでなく、「なぜそれが機能したか」という因果的クレームを支持するために使われます。これは、アーティファクトの特定の設計要素（Design Features）が、主張された有用性（Utility）を生み出す原因であるという主張を裏付けるものです。この妥当性を確立することで、アーティファクトの開発から得られる設計知識（Design Knowledge）を深めることができます。

この妥当性を検証する典型的な手法が、操作済みアーティファクト（Manipulated artifact）、つまり意図的に特定のコンポーネントを変更したバージョンとの比較です。これは機械学習の分野で一般的に「アブレーション研究（Ablation study）」として知られており、特定の機能やコンポーネントを取り除くか変更することで、その部分が全体性能に与える因果的影響を推論します。例えば、特定の拡張された特徴セットがベースラインより優れていることを主張するために、各特徴セットの因果的影響を検証する評価が実施されます。

複雑なAI/MLテクノロジーは往々にしてブラックボックス化しがちですが、因果的妥当性を確立することは、設計上の選択と望ましい成果との間の具体的な因果メカニズムを提供するため、より良いアーティファクトの構築と、設計知識の共有に不可欠なステップとなります。因果的妥当性も、効力（出力）に関する効力因果的妥当性 (Causal Efficacy Validity)と、特性（構造）に関する特性因果的妥当性 (Causal Characteristic Validity)の2つのサブタイプを持ちます。

コンテキスト妥当性：現実世界での一般化と信頼性

コンテキスト妥当性（Context Validity）は、基準クレームや因果的クレームが、特定のソシオテクニカルシステムや条件の下でどの程度支持されるか、あるいは異なるコンテキスト間で一般化できるかを示す妥当性タイプです。

アーティファクトが適用される文脈を明示するコンテキストクレームは、実務家が、元の研究設定とは同一ではない様々な設定でアーティファクトを再利用する際の成功可能性を高めるために、非常に価値のある情報となります。

コンテキスト妥当性は、主に以下の二つのサブタイプに分けられます。

1. 生態学的妥当性 (Ecological Validity):
   • 評価が行われたソシオテクニカルシステムが、アーティファクトが意図されている現実世界のターゲットシステムにどの程度対応しているか（類似しているか）を評価します。
   • 例えば、実際の組織の設定（自然主義的環境）で評価を実施する手法は、高い生態学的妥当性を持つ傾向があります。
2. 外部妥当性 (External Validity):
   • アーティファクトの有用性が、元の開発設定だけでなく、複数の異なるソシオテクニカルシステムにおいても維持されることを評価することで実現されます。
   • 開発されたアーティファクトが、元の環境とは異なる設定（例：別の国や組織）で再利用されても、その有用性が保持されることを示す場合、高い外部妥当性が確立されたと言えます。

このコンテキスト妥当性は、実務においてアーティファクトを安全かつ信頼できる形で適用するために役立ちます。現実世界で予期せぬ状況にモデルが晒された際に、意図された目的を果たせなくなる可能性を低減するためです。

DSVFは、単に性能指標を追うだけでなく、「その技術は本当に約束された貢献をしているのか」「なぜそれが機能するのか」「どこまで適用できるのか」という、科学的知識の信頼性（Credibility）を高めるための系統的な思考ツールを提供していると言えるでしょう。これは、モデルがベンチマークをクリアしたからといって実社会で成功するとは限らない、という複雑な現実に対応するための設計図のようなものです。

おわりに

結論として、デザインサイエンス妥当性フレームワーク（DSVF）は、アーティファクトに関する知識クレームと、それを裏付ける証拠を結びつける系統的な論理を明確化します。科学的な知識は信頼できるものであるべきであり、DSVFは、研究者や実務者に対し、検証活動の基盤を強化し、合意された規範に基づく共通の語彙（スタンダード・ボキャブラリー）を提供することで、検証結果を明確に報告する機会を提供します。

このフレームワークを活用することで、特に機械学習システムなどの最新技術の貢献度を、「なぜ機能するのか」「どこで機能するのか」「どれほど機能するのか」という観点から、より高い透明性を持って評価・伝達することが可能となります。これにより、技術への信頼と投資の正当性を確立することができます。

技術の信頼性を確立し、実務への影響力を最大化するために、以下の実践が推奨されます。

1. アーティファクトに関する知識クレームを常に明示すること。
2. 少なくとも一つは、最先端技術（State-of-the-Art）との比較を含む基準クレームを検証すること。
3. 設計知識を深め、実務での安全な適用を確実にするために、因果的およびコンテキストクレームの検証を検討すること。

DSVFを通じて知識クレームが明確にされることで、他の研究者による貢献の拡張が可能となり、結果として、最先端技術が生み出す知識の累積的な進歩が加速されます。

More Information

• arXiv:2503.09466, K. Larsen et al., 「Validity in Design Science」, https://arxiv.org/abs/2503.09466