1 linear regression

© 2018 Bevis Lee / email : byzun0@gmail.com
Lec 01 : 수업의 개요

2© 2018 Bevis Lee / email : byzun0@gmail.com
머신러닝을 잘 이해하고 활용해야만 “superpower”를 가질 수 있음
Lec 01 : 수업의 개요 - https://www.youtube.com/watch?v=BS6O0zOGX4E

Audience (학습 대상)
• 머신러닝에 대해 궁금증을 가진 사람
• 수학 / 컴퓨터 사이언스의 배경지식이 없는 사람
- y = W * x + b ( y = a * x + b) : 이 정도의 수학을 이해 할 수 있으면 따라 올 수 있음
• 머신 러닝 이란 블랙 박스로 이해하고, input(x) 와 output(y)만 이해해도 가능
• Tensorflow 와 Python을 사용하고 싶은 사람
Goals (학습 목표)
• 머신러닝에 대한 기본적인 이해
- Macine Learning : Linear regression, Logistic regression (classification)
- Deep Learning : Neural networks, Convolutional Neural Network, Recurrent Neural Network
• 자신이 가지고 있는 어떤 문제를 해결
- Tensorflow 와 Python 사용
Lec 01 : 수업의 개요 - https://www.youtube.com/watch?v=BS6O0zOGX4E

ML Lec 01 – 기본적인 ML의 용어와 개념 설명

Machine Learrning
• Supervised Learning (지도 학습)
- 정해져 있는 데이터 (lable을 가지고 있음) -> 다른 말로는 training set
- Image Labeling : 이미지의 태그를 통한 학습
- Email Spam Filter : Email Spam or Ham 레이블을 통한 학습
- Predicting Exam Score : 학습 시간을 통한 학습
- 예
• Unsupervised Learning (비지도 학습)
- Google News : 자동적으로 grouping (lable을 가지고 있지 않으나, 자동적으로 처리)
- Word : 자동적으로 Clustering
ML Lec 01 – 기본적인 ML의 용어와 개념 설명 - https://www.youtube.com/watch?v=qPMeuL2LIqY
Machine Learrning
• Explicit Programming (정확한 프로그래밍)
- Spam Filter : 많은 경우(Rules)를 가지고 있어, 프로그래밍으로 처리가 어려움
- Automatic Driving : 많은 경우(Rules)를 가지고 있어, 프로그램으로 처리가 어려움
• Machine Learning (Arthur Samuel / 1959) : 개발자가 어떻게 해야할지를 정하지 않고, 어떤 현상에서 자동으로 학습
하는 능력을 가진 프로그래밍

Training Data Set
X
Y
(lable)
3,6,9 3
2,5,7 2
2,3,5 1
Machine
Learning
Training Data
Test Data
X
9,3,6
Y
(lable)
3
Predict

Supervised Learning 종류
• Predicting final exam score ( 0 ~ 100 ) : 학습 시간을 통한 학습
- regression
• Pass / Non-Pass : 학습 시간을 통한 학습
- binary classification
• Letter Grade ( A, B, C, D, E, F ) : 학습 시간을 통한 학습
- multi-label classification

ML Lab 01 – TF의 설치 및 기본적인 OP

ML Lab 01 – TF의 설치 및 기본적인 OP - https://www.youtube.com/watch?v=-57Ne86Ia8w&t=467s
Tensorflow
• Data Flow Graph를 사용해서 Numerical 한 계산을 함
• Python으로 Tensorflow 사용
Data flow Graph (데이터 플로우 그래프)
• 데이터 플로우 그래프는 노드(Node) 와 엣지(Edge)를 사용
한 방향 그래프(Directed Graph)로 표현
• 노드(Node) : 수학적 계산, 데이터 입/출력, 그리고 데이터의 읽
기/저장 등의 작업을 수행 (하나의 OP [operations])
• 엣지(Edge) : 노드들 간 데이터의 입출력 관계를 나타냄
• 엣지(Edge) : 동적 사이즈의 텐서(다차원 데이터 배열)를 실어
나르기 때문에, 텐서플로우라는 이름으로 지어짐 (data array /
tensor)

Tensorflow Hello World!

Computational Graph

Placeholder

Tensor
텐서(Tensor : 다차원 배열)
• 텐서는 기본 자료구조이며, 그래프에서 Edge를 따라 흐르는 값을 의미
• 텐서는 다차원 배열과 리스트로 구성
• 텐서는 Rank, Shape, Type 세 가지의 매개변수를 가짐
• Tensor = Rank(차원) + Shape(행, 열) + Type(타입)

ML Lab 02 – Linear Regression의 Hypothesis와 cost 설명

ML Lab 02 – Linear Regression의 Hypothesis와 cost 설명 - https://www.youtube.com/watch?v=Hax03rCn3UI
regression
• Linear regression : 세상에 많은 데이터 / 현
상이 설명됨
• 예) 공부를 오래하면 시험 성적이 좋다
• 예) 아파트 크기가 크면 아파트 가격은 비싸다

regression

cost function
• (H(x) – y) ^ 2 하면, 실제값과 예측값의 차이가 + / - 에 상관없이 차이를 계산하며, 더 차이가
클 경우에 패널티를 부여하여 많이 사용

cost function
• Linear regression 에서는 cost가 가장 작은 W 와 b를 구하는것이 목표

ML Lab 02 – Linear Regression

ML Lab 02 – Linear Regression - https://www.youtube.com/watch?v=mQGwjrStQgg
Hypothesis and cost function
1. 회귀 분석
• 점들이 퍼져있는 형태에서 패턴을 찾아내고, 이 패턴을 활용해서 무언가를 예측하는 분석. 새로운 표본을 뽑았을 때
평균으로 돌아가려는 특징이 있기 때문에 붙은 이름. 회귀(回歸 돌 회, 돌아갈 귀)라는 용어는 일반적으로 '돌아간다'는
정도로만 사용하기 때문에 회귀로부터 '예측'이라는 단어를 떠올리기는 쉽지 않다.
2. Linear Regression
• 2차원 좌표에 분포된 데이터를 1차원 직선 방정식을 통해 표현되지 않은 데이터를 예측하기 위한 분석 모델. 머신러
닝 입문에서는 기본적으로 2차원이나 3차원까지만 정리하면 된다. 여기서는 편의상 1차원 직선으로 정리하고 있다.
xy축 좌표계에서 직선을 그렸다고 생각하면 된다.
3. Hypothesis
• Linear Regression에서 사용하는 1차원 방정식을 가리키는 용어로, 우리말로는 가설이라고 한다. 수식에서는 h(x) 또는
H(x)로 표현한다.
• H(x) = Wx + b에서 Wx + b는 x에 대한 1차 방적식으로 직선을 표현한다는 것은 모두 알 것이고, 기울기에 해당하는
W(Weight)와 절편에 해당하는 b(bias)가 반복되는 과정에서 계속 바뀌고, 마지막 루프에서 바뀐 최종 값을 사용해서
데이터 예측(prediction)에 사용하게 된다. 최종 결과로 나온 가설을 모델(model)이라고 부르고, "학습되었다"라고 한
다. 학습된 모델은 배포되어서 새로운 학습을 통해 수정되기 전까지 지속적으로 활용된다.
4. Cost (비용)
• 앞에서 설명한 Hypothesis 방정식에 대한 비용(cost)으로 방정식의 결과가 크게 나오면 좋지 않다고 얘기하고, 루프를
돌 때마다 W와 b를 비용이 적게 발생하는 방향으로 수정하게 된다. 놀랍게도 미분이라는 수학 공식을 통해 스스로 최
저 비용을 찾아가는 마술같은 경험을 하게 될 것이다.
5. Cost 함수
• Hypothesis 방정식을 포함하는 계산식으로, 현재의 기울기(W)와 절편(b)에 대해 비용을 계산해 주는 함수다. 매번 호
출할 때마다 반환값으로 표현되는 비용이 줄어들도록 코딩되어야 한다. 여기서는 Linear Regression에서 최소 비용을
검색하기 위한 역할을 담당한다.
• 출처 : http://pythonkim.tistory.com/7?category=573319 [파이쿵]

Build graph

Build graph
• W와 b는 shape 1인 tensor로 선언
• Cost는 예측된 hypothesis 와 실제 y_train의
차이의 제곱의 평균을 갖음

Build graph
• GradientDescent (경사 하강법)
• Optimizer.minimize 옵션으로 cost가 최소인
hypothesis를 찾음 -> W 와 b를 수정하면서
찾아감

Run/update graph

Placeholders

Placeholders
• Train에 나오는 value는 중요하지 않아 “ _ “로
선언

Placeholders
• Placeholder에 shape = [None] 는 1차원에
아무값이나 들어 올 수 있다는 의미 (1개 ~ 10
개, 20개 … 가능)

실습

실습
1. 환경 설정 : bigquery public data import
bigquery - https://bigquery.cloud.google.com
• bigquery public page - https://cloud.google.com/bigquery/public-data/chicago-taxi
• bigquery public data import 완료

실습
1. 환경 설정 : bigquery Dataset 생성 및 Table 저장

실습
1. 환경 설정 : bigquery Dataset 생성 및 Table 저장
• query 결과 Table 저장

실습
1. 환경 설정 : datalab 생성
Datalab quickstart - https://cloud.google.com/datalab/docs/quickstart
• GCP Menu > Compute Engine > vm인스턴스 • datalab create usage - https://cloud.google.com/datalab/docs/reference/command-line/create

실습
1. 환경 설정 : datalab 생성
Datalab quickstart - https://cloud.google.com/datalab/docs/quickstart
• GCP Menu > Compute Engine > vm인스턴스

실습
2. 데이터셋 가져오기 또는 생성하기
tf_linear_regression.ipynb • 데이터 탐색

실습
2. 데이터셋 가져오기 또는 생성하기
tf_linear_regression.ipynb
• 데이터 탐색

실습
3. train, test data 분할
• 데이터 탐색

실습
4. 기본 linear regression
• linear regression

실습
5. 기본 linear regression + placeholder

실습
기타) full size training VS batch size training

실습

1 linear regression

More Related Content

Similar to 1 linear regression (14)

1 linear regression