OpenAI FineTuning を試してみる
Download as PPTX, PDF0 likes1,681 views
2023/02/10の勉強会で発表されたものです。
![CLIを利用してトレーニングデータの整形
選択する必要があるのは以下の4箇所
Based on the analysis we will perform the following actions:
- [Recommended] Add a suffix separator ` ->` to all prompts [Y/n]: Y
- [Recommended] Add a whitespace character to the beginning of the completion [Y/n]: Y
- [Recommended] Would you like to split into training and validation set? [Y/n]: Y
Your data will be written to a new JSONL file. Proceed [Y/n]: Y](https://image.slidesharecdn.com/finetuning-230217000702-d54cf26d/85/OpenAI-FineTuning-7-320.jpg)
![Upload progress: 100% 102k/102k [00:00<00:00, 40.5Mit
Uploaded file from traindata.jsonl: file-vPKxxxxxxxxxxxxxxxxxx
Upload progress: 100% 24.9k/24.9k [00:00<00:00, 9.94M
Streaming events until fine-tuning is complete...
(Ctrl-C will interrupt the stream, but not cancel the fine-tune)
[2023-02-07 08:19:12] Created fine-tune: ft-M3Ixxxxxxxxxxxxxxxxxxxxx
[2023-02-07 08:23:47] Fine-tune costs $0.27
[2023-02-07 08:23:47] Fine-tune enqueued. Queue number: 18
==== 続く ====
FineTuningの実施
FineTuningを実施するとターミナルに以下のような情報が表示される。
FineTuningのジョブID
FineTuningのコスト](https://image.slidesharecdn.com/finetuning-230217000702-d54cf26d/85/OpenAI-FineTuning-11-320.jpg)
![FineTuningの実施
FineTuningを実施するとターミナルに以下のような情報が表示される。
==== 続き ====
[2023-02-07 08:56:15] Fine-tune is in the queue. Queue number: 0
[2023-02-07 08:57:06] Fine-tune started
[2023-02-07 08:58:07] Completed epoch 1/4
[2023-02-07 08:58:32] Completed epoch 2/4
[2023-02-07 08:58:55] Completed epoch 3/4
[2023-02-07 08:59:18] Completed epoch 4/4
[2023-02-07 08:59:38] Uploaded model: curie:ft-personal-yyyy-mm-dd-hh-mm-ss
[2023-02-07 08:59:39] Fine-tune succeeded
Job complete! Status: succeeded
Try out your fine-tuned model:
openai api completions.create -m curie:ft-personal-yyyy-mm-dd-hh-mm-ss -p <YOUR_PROMPT>
作成されたモデル](https://image.slidesharecdn.com/finetuning-230217000702-d54cf26d/85/OpenAI-FineTuning-12-320.jpg)
OpenAI FineTuning を試してみる
- 3. FineTuningの流れ FineTuningは以下の流れで実施することができる。 1. トレーニングデータの準備 2. CLIを利用してトレーニングデータの整形 3. FineTuningの実施
- 5. トレーニングデータの準備 例えば映画のレビューを元にその映画の評価(positive or negative)を判断するように FineTuningする場合のトレーニングデータは以下のようになる {"prompt":"This was an absolutely terrible movie. Don't be lured in by Christopher Walken or Michael Ironside. Both are great actors, but this must simply be their worst role in history. Even their great acting could not redeem this movie's ridiculous storyline. This movie is an early nineties US propaganda piece. The most pathetic scenes were those when the Columbian rebels were making their cases for revolutions. Maria Conchita Alonso appeared phony, and her pseudo-love affair with Walken was nothing but a pathetic emotional plug in a movie that was devoid of any real meaning. I am disappointed that there are movies like this, ruining actor's like Christopher Walken's good name. I could barely sit through it.","completion":"Negative"} 映画の レビュー 映画の評価
- 6. CLIを利用してトレーニングデータの整形 OpenAI CLIツールを利用してトレーニングデータを整形する。下記を実行するとい くつか選択する必要があるが今回はすべて「Y」を選択した。 $ openai tools fine_tunes.prepare_data -f <JSONLファイル>
- 7. CLIを利用してトレーニングデータの整形 選択する必要があるのは以下の4箇所 Based on the analysis we will perform the following actions: - [Recommended] Add a suffix separator ` ->` to all prompts [Y/n]: Y - [Recommended] Add a whitespace character to the beginning of the completion [Y/n]: Y - [Recommended] Would you like to split into training and validation set? [Y/n]: Y Your data will be written to a new JSONL file. Proceed [Y/n]: Y
- 9. FineTuningの実施 以下のコマンドでFineTuningを実施する。 $ openai api fine_tunes.create -t "traindata.jsonl" -m curie
- 11. Upload progress: 100% 102k/102k [00:00<00:00, 40.5Mit Uploaded file from traindata.jsonl: file-vPKxxxxxxxxxxxxxxxxxx Upload progress: 100% 24.9k/24.9k [00:00<00:00, 9.94M Streaming events until fine-tuning is complete... (Ctrl-C will interrupt the stream, but not cancel the fine-tune) [2023-02-07 08:19:12] Created fine-tune: ft-M3Ixxxxxxxxxxxxxxxxxxxxx [2023-02-07 08:23:47] Fine-tune costs $0.27 [2023-02-07 08:23:47] Fine-tune enqueued. Queue number: 18 ==== 続く ==== FineTuningの実施 FineTuningを実施するとターミナルに以下のような情報が表示される。 FineTuningのジョブID FineTuningのコスト
- 12. FineTuningの実施 FineTuningを実施するとターミナルに以下のような情報が表示される。 ==== 続き ==== [2023-02-07 08:56:15] Fine-tune is in the queue. Queue number: 0 [2023-02-07 08:57:06] Fine-tune started [2023-02-07 08:58:07] Completed epoch 1/4 [2023-02-07 08:58:32] Completed epoch 2/4 [2023-02-07 08:58:55] Completed epoch 3/4 [2023-02-07 08:59:18] Completed epoch 4/4 [2023-02-07 08:59:38] Uploaded model: curie:ft-personal-yyyy-mm-dd-hh-mm-ss [2023-02-07 08:59:39] Fine-tune succeeded Job complete! Status: succeeded Try out your fine-tuned model: openai api completions.create -m curie:ft-personal-yyyy-mm-dd-hh-mm-ss -p <YOUR_PROMPT> 作成されたモデル
- 13. 作成したモデルの利用方法 作成したモデルを利用してCompletionを実施する場合は以下のように作成したモデ ルを指定する。 curl https://api.openai.com/v1/completions -H "Content-Type: application/json" -H "Authorization: Bearer YOUR_API_KEY" -d '{"model": “curie:ft-personal-yyyy-mm-dd-hh-mm-ss", "prompt": “{映画の感想} -> “}
- 14. FineTuning実施前の実施後の精度 FIneTuning実施前と実施後の精度を計測してFineTuningの結果を確認する。 精度の計測にはpytnonのライブラリであるtensorflow_datasetのimdb_reviewを使用 する。imdb_reviewは以下のように映画の感想とその評価(postive or negative)のデ ータが存在する。 感想 評価 This was an absolutely terrible movie. Don’t… Negative I have been known to fall asleep during films, but… Negative