【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
Download as PPTX, PDF1 like2,287 views
2023/3/3 Deep Learning JP http://deeplearning.jp/seminar-2/
【DL輪読会】Toolformer: Language Models Can Teach Themselves to Use Tools
- 1. Toolformer: Language Models Can Teach Themselves to Use Tools 岡田 領 / Ryo Okada
- 2. 書誌情報 • Arxiv 2023/2 • LLMが必要に応じて必要なAPIを呼び出し利用する手法 • LLM自身の文脈理解能力を利用して，ツール（API）をいつ，どう使うのか， 自己教師づけし，データセットを作成し，finetuneする
- 3. 大規模言語モデルの限界 • ChatGPTなどのLLMの弱点 • 最近の出来事などの最新情報にアクセスできな い • 事実を幻視（hallucinate）する傾向（身体的経験 がないので） • 低情報の言語に弱くなる • 正確な計算を行うための数学スキル欠如 • 時間経過の概念に無意識
- 4. Toolformerの概要 • 言語モデルが必要に応じて，必要な 外部APIをコールし，結果を利用す る • QA，Wikipedia検索，計算機，翻 訳．．． • LLMの文脈理解能力を利用し，API 利用に特化したデータセットを作成 ．そのデータセットでLLMを finetuneする． • 6.7Bの訓練済みGPT-Jを利用し，ゼ ロショットの高精度を達成
- 5. 全体の流れ（データセット作成） • サンプルテキスト：Pittsburgh is also known as the Steel City • Xを順番に入力：”Pittsburgh is also known as”でAPIコール位置と判断 • API callの候補を出力：”What other name is Pittsburgh know by?” • API実行．結果をフィルタリング：”the Steel City” • 最終的なAPI callと結果をデータセットに組み込み
- 6. Sampling API Calls • 説明，例示つきプロンプト（右）と xを順番にLLMに入力 • LLMは次トークンがAPI call開始位置 <API>かどうかの予測確率を出力 • Joe Biden was born in <API> • 予測確率が閾値以上のtop k個の位置 をAPI位置として採用． • k個の位置全てにおいて，LLMからそ れぞれm個のAPI call候補をサンプリ ング，API実行 Inputにx，Ouput: 以降にx1~iのトー クンを順番に足していく
- 7. Filtering the Model • API実行結果のフィルタリング • API call位置iから後続の単語の予測確率 の重みつきcross entropy lossを計算 • 重みはAPI call位置から遠くなるほど小 （5つ先で0の値） • API callなしと比べて， API call ciと結果 riをLLMに入力することで lossが小さく なることを期待．
- 8. Fine-tuning the Model • 全てのAPIに対して前述の作業が終わった 後，結果（APIコールと実行結果）をデー タセットC*に組み込み，マージする． • C*でLLMをfinetuning. • C*にはモデルが将来のトークンを予測す る上で役に立つ位置に適切なAPIが挿入さ れている．結果，モデルは自身のフィー ドバックからいつ，どのようなAPIを呼ぶ かを学習する．
- 9. Inference • モデルがAPI callに対する応答を期待 することを示す「→」を生成したら， デコード中断 • API callを実行し，レスポンスを </API>を挿入して，後続のデコード を継続
- 11. 使用したAPI • 使用したAPIの選定基準 • 入出力がテキスト形式 • 意図した使い方のデモが得られるもの
- 12. 実験 • Finetuneに用いたデータセット • CCNet（webクロール） • モデル • GPT-J：通常のGPT-J • GPT-J + CC：CのデータセットでfinetuningしたGPT-J • Toolformer：API call用に拡張したデータセットC*でfinetuneしたGPT-J • Toolformer (disabled)：API callのデコードを無効にしたToolformer • いずれのタスクもゼロショット
- 13. LAMA（Language Model Analysis） • 日付や場所などが欠落している文章を埋めるタスク
- 16. Temporal Datasets • “Cristiano Ronaldo plays for ___”（時間変化する事実） • “What day of the week was it 30 days ago?”：（今日の日付がわかる必要） • ただし，カレンダーAPIで今日の日付を取得し，その日付でQA APIをコールするのが理想 だが，１例に対して１APIコールしか許可していない（無限ループを避けるため
- 17. Scaling Law • GPT-2（124M, 355M, 775M, 1.6B）でも検証 • 大きいモデルほど有用（APIコールの使い方を学習している）
- 18. Limitations • 連鎖的なAPIの呼び出しはできない • あるAPIの結果を利用して，別のAPIをコールする，など • APIをインタラクティブには使えない • 検索エンジンの大量の結果をブラウズして，その結果から検索クエリを絞 り込むなど． • API callの判定が文章によってはセンシティブ • Toolformer自体はAPI call先のコストは全く気にしないやり方 • Call先でLLMが動いていたり
- 19. Toolformer zero • React app implementing OpenAI and Google APIs to re-create behavior of the toolformer paper.
- 20. まとめ • LLMの能力でアノテーションして，API callを実現する • 6.7BパラメータのGPT-Jモデルのゼロショット性能を大幅に向上（検証したタ スクではより大きなGPT-3モデルをも凌駕する性能 • プロンプトエンジニアリングが巧み • API連携は単に能力拡張だけでなく，特定のデータ基盤から情報とってくるシ ナリオなど実用面でかなり有用に感じる