[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기

WandB 로 Auto ML 뿌수기
김봉진
#DashBoard #Sweep #Artifact #Report
부스트캠프 AI Tech <Tech Talk>

목차
0. WandB 설치
1. Dashboard
2. Sweep
3. Artifact
4. Report
2/

0. WandB란?
WandB란 머신 러닝 실험을 추적하고, metric을 시각화하고, 결과를 공
유하는 툴입니다.
AutoML + TensorBoard + Github = WandB!!
3/

0. WandB 설치
4/

1. Dashboard
wandb.init() - W&B에 프로젝트 생성.
Parameters - project:str, config:dict
wandb.run.name = {run-name}
wandb.run.save()
5/

1. Dashboard
wandb.config() - W&B에 입력하는 파라미터, 데이터 세트 이름, 모델 유형 등의 모
든 입력값이다.
baseline에서는 대부분 argparse로 변수 관리를 한다.
wandb.config.update(args)를 이용해 한번에 관리가 가능하다.
https://docs.wandb.ai/v/ko/library/log 부스트캠프 AI Tech <Tech Talk>
6/

1. Dashboard
wandb.log(dict) W&B에 출력하는 오브젝트 타입의 값
Parameters step:log 시간, commit:(default=True), log를 같은 곳
에 찍고 싶으면 False
7/

1. Dashboard
8/

1. Dashboard
9/

1. Dashboard
10/

2. Sweep
Sweep이란 WandB에서 하이퍼파라미터 추적을 해주는 툴. WandB의
꽃이라 불리운다.
11/

2. Sweep
내가 하고싶은 하이퍼 파라미터 튜닝 방금 learning rate
0.001 줬으니 0.003줘
볼까?
생각보다 찾는데 오
래걸리네. 여러 개를
한꺼번에 바꿔볼까?
아까 30분전에 맞춘
게 제일 좋았는데 그
게 뭐였지?
기억안나서 다시 함
12/

2. Sweep - 기본
베이즈 정리
사전 확률을 바탕을 사후 확률을
얻는 것
Bayesian Optimization
Parameters(집합)을 조절하여
metric의 결과가 발생했을 때,
현재까지의 max 값보다 더 큰
값을 가질 확률이 높은
Parameters를 조절하는 것
13/

2. Sweep - 기본
14/

2. Sweep - 기본
• 우리 Task에 안 맞음(baseline 수정 필수)
• Config를 코드로 쓰면 코드가 지저분해지고 관리가 힘듬
그럼 어떻게 사용하면 쉽고 편하게 Task에 맞게 적용이 가능할까?
정답은? Yaml!!
15/

2. Sweep 응용
Sweep은 wandb.config에 접근하여 파라미터를 추적하기 때문에 코드
를 wandb.config.{parameter_name}으로 변경해주기만 하면 baseline 하
이퍼 파라미터를 wandb에 연결시킬 수 있다.
https://docs.wandb.ai/v/ko/ref/run/config 부스트캠프 AI Tech <Tech Talk>
16/

2. Sweep 응용
일단 1epoch으로 설정 후 실행을 시켜본다. 그러면 해당 프로젝트 파일
이 생성된다. 이후 sweep 탭에서 create sweep을 하면 torch로 작성한 코
드는 yaml파일이 자동 생성 되어 있다.
17/

2. Sweep 응용
18/

2. Sweep 결과
19/

3. Artifact
Artifact란 우리가 원하는 것을 저장하는 디렉토리이다. 처음 가입하면
100GB까지 저장이 가능하다.
20/

3. Artifact
wandb.Artifact를 이용해 name, type을 정해준 후 디렉토리를 생성할 수
있다. Init().log_artifact()를 이용하여 버전을 생성한다. 이후 재실행 할때마
다 자동으로 버져닝이 되어 v1,v2 …이 된다.
21/

3. Artifact
Git 처럼 참조가 가능하다. init().use_artifact(‘이름:버전’)을 사용하면 디렉
토리 접근이 가능하고 download() 로 다운로드 할 수 있다.
Artifact의 큰 장점은 수정이 되더라도 수정된 부분만 저장한다는 것이다.
즉, 저장 용량을 최적화하며 버져닝이 가능하다.
22/

3. Artifact - 구축
wandb.Artifact()
Parameters type : (dataset, model, result), description : 자유 텍
스트, metadata : 구조화된 데이터 사전
https://docs.wandb.ai/v/ko/artifacts/artifacts-walkthrough 부스트캠프 AI Tech <Tech Talk>
23/

3. Artifact - 다운로드
Artifact.add_reference(uri, name, checksum)
Parameters-
uri (string): 추적할 참조 URI
name (string): 지정되지 않은 경우, uri에서 이름이 추론
checksum (bool): true인 경우, 참조는 uri에서 정보 및 메타데이터를 수집
Artifact.use_artifact(dataset이름:버젼)
24/

3. Artifact - 업데이트
Wandb.Api().artifact
{파일이름:버젼}
artifact.save()
25/

4. Report
사용 용도
노트: 본인 참조용 간편한 노트와 함께 그래프를 추가한다.
공동작업: 동료와 결과 공유를 공유한다.
작업 로그: 현재까지의 작업을 추적하고 다음 단계를 계획한다.
팀프로젝트에 적합!!
https://docs.wandb.ai/v/ko/reports 부스트캠프 AI Tech <Tech Talk>
26/

4. Report
내가 여태까지 했던 실험들을 report에 추가해 봅시다.
27/

4. Report
28/

5. 실습
실습 링크 : https://colab.research.google.com/drive/1Cc54HOVlr12w-
VYZA1mDA693Qt3BfpPH#scrollTo=mK7sRsumyU0Y
29/

Q&A
30/

감사합니다
31/

[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기

More Related Content

What's hot (20)

Similar to [부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기 (17)

More from CONNECT FOUNDATION (20)

[부스트캠프 Tech Talk] 김봉진_WandB로 Auto ML 뿌수기