表形式データで高性能な予測モデルを構築する「DNNとXGBoostのアンサンブル学習」

Editor's Notes

• #2: 今回は、表形式データに必要なものはディープラーニングはだけではないというテーマでお話します。 実務でよく使われる表形式データでは、ディープラーニングを使ってもよいパフォーマンスを出しにくいと言われています。 この問題に対し以前の動画で、DNNと決定木のいいとこ取りをしたTabNetというアルゴリズムが、表形式データで他のアルゴリズムよりも優れたパフォーマンスを示すという論文を紹介しました。今回は、TabNetの論文の主張とはまた別の観点の論文を紹介します。機械学習で精度向上を目指す人にとって参考になる話となるのでぜひ最後までご視聴ください。 このチャンネルでは、データサイエンスやデータサイエンスを実務のための開発や、またそれらを活用した経営・組織づくりの話などをしていきます。 最新の研究なども含めて紹介していくので、興味のある方はぜひチャンネル登録をしていってください。
• #3: 今回は、「表形式データ: 必要なものはディープラーニングだけではない」という論文を紹介します。 この論文は2021年にIntelの研究者から投稿された論文で、表形式データ向けDNNモデルとXGBoostを比較検証しています。 そして、表形式データ向けDNNモデルの論文内で使用されていなかったデータセットを使った予測において、XGBoostの方が性能がよかったという結果が出ています。 また、最も良い性能を出したのはDNNモデルとXGBoostのアンサンブルとなったということです。 それでは詳細を解説していきます。
• #4: これまで実世界でよく出てくる表形式データには、XGBoostを始めとする決定木系のアルゴリズムが推奨されてきました。 しかし、最近はDNNモデルを表形式データに適用する試みが行われてきています。 代表的なものとしては、2019年のTabNetやNODE, 2020年のDNF-Net, 2021年の1D-CNNなどがあります。 これらのうちいくつかは、XGBoostより良いパフォーマンスが出ると主張しているのですが、それぞれが異なるデータセットを使っていたり、オープンソースの実装がなかったりすることがあるため、モデルの比較が困難になっています。 また、各モデルを比較する際に、同等の最適化がされていないということを、この著者は主張しています。
• #5: そこでこの論文では、提案されたDNNモデルが本当に表形式データの予測に適しているかを検証しています。 具体的には、提案されたDNNモデルが、論文で使用されていたデータセット以外でも有効であるかどうかと、他のモデルと比較してパラメータ探索や学習にどのくらい時間がかかるかを調べています。
• #6: この論文の実験では、TabNet, DNF-Net, NODEの論文で使われていたデータセットを3つずつ合計9個を使い、さらに、どの論文でも使用されていないKaggleのデータセット2つを追加した合計11個のデータセットを用いています。 パラメータの最適化では、HyperOptを使ってベイズ最適化を行っています。 初期値は論文の設定と合わせ、イテレーションの数は1000回としています。 また、学習・検証・テストの分け方も論文と同様の条件を使っています。 損失関数としては、分類であればクロスエントロピー、回帰であれば平均二乗誤差を用いています。
• #7: それでは、実験の結果です。 この表は行がアルゴリズム、列がデータセットを表しています。 最初の5行は、XGBoost, NODE, DNF-Net, TabNet, 1D-CNNそれぞれ単体を表しており、残りの3行はアンサンブルモデルを表しています。 最初の3列がTabNetで使われていたデータセット、次の3列がDNF-Netで使われていたデータセット、さらに次の3列がNODEで使われていたデータセット、そして最後の2列が新しく追加されたデータセットとなっています。 太字になっている部分が最もよいパフォーマンスを表しています。 1番上のXGBoostとその下すぐ4行のDNNモデルを見比べてみると、XGBoostのパフォーマンスがDNNモデルよりも多くの場合優れていることがわかります。 この論文で新しく追加されたデータセットに関しては、DNNとXGBoostのアンサンブルが最もよいパフォーマンスをだしています。 11個のデータセットのうち6個のデータセットで、DNNとXGBoostのアンサンブルが最もよいパフォーマンスとなる結果が出ています。
• #8: こちらの結果は、各データセットで最適なモデルとの相対的なパフォーマンスを出し、データセット横断で平均を出したものです。 低い値であればあるほど、最適なモデルに近いパフォーマンスを出せることを表します。 このグラフを見ると、一番上XGBoost単体と一番下のXGBoostとDNNのアンサンブルの平均パフォーマンスが良いことがわかります。 一方DNNモデルでは、平均にするとパフォーマンスが悪い事がわかります。 これは、DNNモデルが特定のデータセットに対して大きな影響をうけることが原因と考えられます。 もしかすると、もとの論文で、対象とするモデルがうまくいくようなデータセットを選択していた可能性もあるということですね。 もちろん、今回の論文では、パラメータ探索空間が元論文に比べて限定されていたことも要因の一つとして考えられます。 幾何平均 この実験でDNNモデルがうまくいかなかった理由 データセットの選択バイアス 元論文では対象とするモデルがよく機能するようなデータセットを選択していた パラメータ探索空間の違い 今回は探索空間が元論文に比べ限定されていた (十分だったの？)
• #9: 次にアンサンブルにXGBoostを組み込む必要があるかについて見ていきます。 下の3行がアンサンブルの結果になっており、一番上がDNNを除いた古典的なモデルを使用したアンサンブル、2つめがDNNを用いるがXGBoostを用いないアンサンブルモデル、そして最後の行がDNNとXGBoostの両方を用いたアンサンブルモデルとなっています。 ここの結果を見て分かるように、DNNとXGBoostの両方を混ぜることにより、高性能を出せるようになっていることがわかります。
• #10: アンサンブルにより精度向上をすることが分かったのですが、アンサンブルでは多くのモデルを使うと計算量が多くなりすぎるという弱点があります。 とくに現実世界では、早く予測結果を出すことが重要になってくるので、アンサンブルに使うモデルの数を制御することで計算量を減らす必要が出てきます。 ここでは、アンサンブルに使うモデルの数を減らすと、どの程度性能が変わるかを調査しています。 アンサンブルに使うモデルの選択方法としては、ランダムの選択、不確実性にもとづく選択、そしてバリデーションでの損失に基づく選択の3つです。 右の図は、横軸が使用したモデルの数、縦軸が損失を表しています。 青い線がランダムの選択、オレンジの線が不確実性に基づく選択、緑の線がバリデーションの損失に基づく選択となっています。 グラフからわかるように、アンサンブルに3つのモデルを使うことで、最適な性能に近づくことができるようです。 つまり、アンサンブルをしたとしても予測に使用する主要なモデルはそこまで多くないということですね。
• #11: 最後に、各モデルのハイパーパラメータを最適化するためにイテレーションが何回必要であるかを調べた実験結果を紹介します。 この図は、イテレーションの数と損失の関係を表しています。 赤い線がXGBoostの変化を表しており、他のアルゴリズムに比べて早い段階で損失を最高パフォーマンス近くまで下げていることがわかります。 この結果は、今回使った最適化手法であるベイズ最適化による影響が考えられます。 また、XGBoostの初期パラメータが多くのデータセットで最適化されロバストになる可能性や、そもそもXGBoost自体がロバストで最適化しやすい特性がある可能性も考えられます。 この論文には、これ以上の詳しい調査はのっていなかったので、最適化についてはまた別の論文などを調べて見たほうがよさそうですね。
• #12: まとめをします。 今回紹介した論文では、最近提案されている表形式データ向けのDNNモデルとXGBoostの性能を比較しています。 各DNNモデルは、提案された論文で使われたデータセット以外に弱く、パラメータの最適化条件やデータセット分割などの条件を揃えると、XGBoostよりも性能が劣ること多いことがわかりました。 論文内の実験で一番良い性能を示したのは、DNNモデルとXGBoostの両方を用いたアンサンブルでした。 また、この論文では、実生活で重要となってくる、パラメータ探索や学習の時間と精度のトレードオフについても述べられています。 アンサンブルに使うモデルを3つまで減らしても高いパフォーマンスを出せることなどが実験的に示されていました。 DNNモデルは最近流行りの手法の一つであるのですが、この論文の結果が示すように、XGBoostなどとの組み合わせや使い分けのさらなる研究が必要になりそうです。
• #13: 最後にチャンネルの紹介をさせてください。 このチャンネルでは、経営やデータサイエンスや開発の話をしていきます。 聞きたい話のリクエストも募集中です。 もし、この動画が役に立ったら高評価とチャンネル登録をお願いいたします。