勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)

Editor's Notes

• #7: NASのコンポーネントとして使われたりだとか、
• #29: NNの場合にはEntity Embeddingという手法が有名だとは思いますが、GBDTは微分不可能な処理を内部に含みE2Eでの学習ができないため、別の手法をとる必要が出てきます。 FCを抜いたOneHotを直接入力すればいいではないかという考えもあるのですが、その場合には分岐が1対他でしか作れないため、ある程度の大きさを持った2つのグループへの分割を表現するためには、とても深い木が必要になってきたりします。が、これは現実的ではありません。
• #30: Target Encodingとは、とあるカテゴリ特徴に着目し、そのカテゴリに属しているデータの平均的なTargetの値を用いてエンコードを行うような手法です。 図を見るとわかりやすいと思うのですが、カテゴリごとにTargetの平均値を算出し、その結果作成された列が特徴量として使用されていくわけです。このようにある種カテゴリ変数を数値データに変換してやると、必ずカテゴリがTargetの大小に準じた順番に並ぶため、効率的に分割を行えるというわけです。
• #31: LightGBMやCatBoostにおいては、先ほど述べたTarget Encodingを基盤としたアルゴリズムが学習中に実行されていきます。 具体的には、LightGBMの場合は、分岐ごとにTarget Encodingを行なっていきます。こうすることで、Globalに見たTargetの大小順よりもさらに効率良い順番にカテゴリ変数が並べられるようになるわけです。 一方、 Target Encodingという手法は、場合によっては深刻なTarget Leakageという現象を誘発します。 具体的には、Target Encodingの対象となるデータが少ない場合には、エンコード後の特徴量がTargetをほぼそのまま出力してしまうという現象が起きるわけです。これは程度問題でもあって、完璧にTargetと一致していなかったとしても、「学習対象のデータのTargetの情報がそのまま特徴量として使われる」ということにより、かなり訓練誤差を下げるのに有利になるような仕組みになっているわけです。 一方、訓練誤差は下がっていくのですが、必ずしもそれが汎化誤差と対応しているとは限りません。多くの場合、真の分布に対してTarget Encodingされた特徴量というのはずれが生じているのですが、それでもなおTarget Encodingされた特徴量は訓練誤差最小化の観点では素晴らしい性能を持っているのでどんどん分岐に使われていく。そのようにして、汎化性能が全く上がっていかないというジレンマに悩まされることになっていくのです。
• #32: そこでCatBoostは、先程のTarget Leakageの影響を緩和するためのアルゴリズムを使用するようになっています。 具体的には、Ordered TSというアルゴリズムを用います。