機械学習モデルの性能は、学習データの質に大きく左右されます。特に、データに含まれるラベル（正解データ）が誤っていたり、不正確であったりする場合、モデルの精度や信頼性が著しく低下する可能性があります。このようなラベルの誤りを「ラベルノイズ」と呼びます。

ラベルノイズは、データ収集時の人的ミス、センサーの故障、意図的なデータ改ざんなど、様々な原因で発生します。ノイズの混入は、モデルが誤ったパターンを学習してしまうことにつながり、結果として、未知のデータに対して正しい予測を行う能力（汎化能力）が低下してしまいます。

近年、ラベルノイズ問題に対処するため、様々な手法が研究されています。

• データ前処理: ノイズを含むデータを事前に洗い出し、除去したり、信頼性の高いデータに置き換える手法です。
• 学習アルゴリズムの改良: ノイズの存在を考慮した学習アルゴリズムを開発することで、ノイズの影響を軽減します。Snorkelのような弱教師あり学習手法は、この一例です。
• ロバストなモデル設計: ノイズに対して頑健なモデルを設計することで、ノイズの影響を受けにくいモデルを構築します。IRBL（Importance Reweighting for Biquality Learning）などは、この考えに基づいた手法です。

また、ラベルノイズと関連して、データセットシフトや概念ドリフトといった問題も発生することがあります。これらの問題に対処するためには、Kernel Mean MatchingやProbabilistic Density Ratio Estimationなどの手法が有効です。これらの手法は、信頼できるデータとそうでないデータの特徴分布を近づけることで、モデルの信頼性を向上させます。

今回は、ラベルノイズがモデルに与える影響、およびその対策について解説します。

ラベルノイズの種類

機械学習において、ラベルノイズは大きく分けて2つの種類に分類されます。

• 対称ノイズ: 各ラベルが、他の全てのラベルに等しい確率で誤って付け替えられるノイズです。アノテーターの単純なミスなど、ランダムな要因によって発生することが多く、どのラベルも誤りやすいという特徴があります。
  • サイコロを振ってランダムにラベルを決めるようなイメージです。どのラベルも平等に誤る可能性があります。
• 非対称ノイズ: 特定のラベルが、他の特定のラベルに誤って付け替えられやすい、つまり、誤り方が偏っているノイズです。例えば、似たような特徴を持つクラスを区別しにくい場合など、アノテーションプロセスにおける体系的な問題が原因で発生することがあります。
  • 特定のラベルに磁石があるようなイメージです。他のラベルを引き寄せやすい、つまり、誤りやすいということです。

ラベルノイズが存在すると、機械学習モデルの学習が妨げられ、精度が低下する可能性があります。特に、非対称ノイズは、モデルが特定のクラスを誤認識しやすいという問題を引き起こすことがあります。

ラベルノイズが発生する原因

機械学習モデルの学習に用いるデータに含まれる「ラベルノイズ」は、モデルの性能に悪影響を及ぼす要因となります。このノイズは、様々な原因によって発生します。

• 人的ミス: 人手によるデータのラベル付け作業では、疲労や専門知識の不足、データの曖昧さなどにより、誤ったラベルが付けられてしまうことがあります。
• 自動ラベル付けシステムの不完全性: ヒューリスティックなルールやアルゴリズムに基づいて自動的にラベル付けを行うシステムでは、ルールが不完全であったり、データの複雑さに対応しきれない場合に、ノイズが発生する可能性があります。
• データの特性変化: 時間の経過とともにデータの分布が変化し、過去のラベルが現在のデータに合わなくなることがあります。この「データドリフト」と呼ばれる現象も、ラベルノイズの一因となります。

これらの要因により発生したラベルノイズは、モデルが誤ったパターンを学習してしまうことにつながり、最終的にモデルの予測精度を低下させる可能性があります。

ラベルノイズがモデルのパフォーマンスに与える影響

ラベル付けの誤りが多いデータを使うと、人工知能の学習がうまくいかなくなることがあります。間違った情報に頼りすぎてしまい、新しいデータに対して正しく判断できなくなるのです。特に、ものを分類するようなタスクでは、判断の基準がゆがんでしまい、間違った答えを出してしまう可能性が高まります。

ラベルノイズを処理するテクニック

機械学習モデルの学習に用いるデータに含まれる、誤ったラベル（ラベルノイズ）は、モデルの精度を大きく低下させる要因となります。この問題に対処するため、様々な技術が開発されています。

1. ロバストな損失関数: ノイズの影響を受けにくいように設計された損失関数を用いることで、モデルの頑健性を高めます。平均絶対誤差（MAE）や、クロスエントロピー損失の改良版などが代表的な例です。
2. データクリーニング: データセットからノイズを含むデータを特定し、修正または削除します。アクティブラーニングなどの手法を用いて、人間が判断を要するデータに重点的に取り組むことで、効率的なクリーニングが可能です。
3. アンサンブル学習: 複数のモデルの予測結果を統合することで、個々のモデルが持つ誤りを相殺し、より信頼性の高い予測を得ます。バギングやブースティングなどの手法が広く利用されています。
4. 半教師あり学習: ラベル付きデータだけでなく、ラベルのないデータも学習に活用します。ラベルのないデータから得られる情報をもとに、モデルの学習を補強することで、ノイズに対する耐性を高めます。
5. Biquality Learning (双品質学習): 信頼性の高いデータと、そうでないデータを区別し、両者を効果的に活用する学習手法です。両者間の矛盾を学習に取り込むことで、モデルの汎化能力を向上させます。

Biquality Learning についてもう少し詳しく

Biquality Learningは、データセットの中に、信頼性の高い「クリーンなラベル」と、ノイズが混入している「ノイズの多いラベル」が混在しているような状況で特に効果を発揮する学習手法です。

このような状況下で注目されているアルゴリズムには、以下のようなものがあります。

• Gold Loss Correction (GLC): GLCは、信頼できるデータと信頼できないデータの間で、どの程度の割合で誤ったラベルが付けられているのかを推定し、その情報を元に学習プロセスを調整することで、ノイズの影響を軽減します。
• Importance Reweighting for Biquality Learning (IRBL): IRBLは、データセット全体の中で、それぞれのラベルがどれくらいの割合で存在しているのかを推定し、信頼性の低いデータの重要度を下げることで、学習に与える影響を小さくします。特に、データセットによってラベルの意味が変化しているような場合に有効です。
• Kernel Mean Matching (KMM): KMMは、異なるデータセット間の特徴分布のずれを小さくするように、各データの重要度を調整します。これにより、データ分布が異なる複数のデータセットを組み合わせた学習を行う際に、より安定した結果を得ることができます。

PythonでBiquality Learningを使ってみる

Biquality Learningが実装されたライブラリに biquality-learn があります。このライブラリを使用することで、様々なBiquality Learningアルゴリズム簡単に利用でき、再現性の高い実験を行うことができます。

biquality-learn は以下のように、pipコマンドで簡単にインストールできます。

$ pip install biquality-learn

または、

$ pip install --index-url https://test.pypi.org/simple/ biquality-learn

実装例として、以下のようになります。重要なところは、sample_qualityという引数にどのデータが信頼できるデータで、どれが信頼できないのかを指定するところです。それ以外は、見ていただければわかりますが、実装そのものはシンプルです。

# -*- coding: utf-8 -*-

from bqlearn.corruption import make_label_noise
from bqlearn.density_ratio import KKMM
from sklearn.datasets import load_digits
from sklearn.linear_models import LogisticRegression
from sklearn.model_selection import StratifiedShuffleSplit

# 信頼できるデータと信頼できないデータにわける
X, y = load_digits(return_X_y=True)
trusted, untrusted = next(StratifiedShuffleSplit(train_size=0.1).split(X, y))

# 実験のため、信頼できないデータとしてインデックスしたものにノイズを加える
y[untrusted] = make_label_noise(y[untrusted], "flip", noise_ratio=0.8)

# 各データに品質ラベルを付ける (1: 信頼できる, 0: 信頼できない)
sample_quality = np.ones(X.shape[0])
sample_quality[untrusted] = 0

# K-KMM Density Ratio Biquality Classifier を使用して、
# ロジスティック回帰で分類モデルを構築
bqclf = KKMM(LogisticRegression(), kernel="rbf")
bqclf.fit(X, y, sample_quality=sample_quality)
bqclf.predict(X)

おわりに

「ラベルノイズ」の問題は、機械学習において依然として重要な課題です。特に、実際のデータセットにおけるノイズの程度を正確に把握したり、様々な種類のノイズに対応できるアルゴリズムを開発したりすることは、容易ではありません。

今後の研究では、特定の分野の知識をノイズ処理に取り入れることや、ノイズが含まれるデータで学習したモデルをより深く理解すること、そして大規模なデータセットに対しても効率的にノイズを除去する方法の開発が期待されます。

ラベルノイズは、高性能な機械学習モデルの開発を妨げる要因となりますが、ノイズ処理技術の進歩により、より信頼性の高いモデルが実現できるようになってきています。ラベルノイズの原因と対策をしっかりと理解し、適切な手法を選択することで、より正確で頑健な機械学習システムを構築することが可能になります。

More Information:

• arXiv:2308.09643, Pierre Nodet, Vincent Lemaire, Alexis Bondu, Antoine Cornuéjols, 「biquality-learn: a Python library for Biquality Learning」, https://arxiv.org/abs/2308.09643
• arXiv:2308.15132, Pierre Nodet, Vincent Lemaire, Alexis Bondu, Antoine Cornuéjols, 「Biquality Learning: a Framework to Design Algorithms Dealing with Closed-Set Distribution Shifts」, https://arxiv.org/abs/2308.15132