Done is Better Than Perfect

Vanilla RNN의 단점을 해결하기 위해 제안된 모델인 LSTM과  GRU에 대해 알아보겠다.LSTM과 GRU는 내부 연산 방식만 Vanilla RNN과 다르다. 즉, 입력값과 출력값을 Vanilla RNN와 동일하게 사용하면 된다. [ 목차 ]1. LSTM 소개2. GRU 소개3. RNN 모델의 활용1. LSTMVanilla RNN의 기울기 소실 문제를 해결하고자 등장Long Short Term Memory(장단기 메모리)의 약자 → 장기 의존성과 단기 의존성을 모두 기억할 수 있음새로 계산된 hidden state $h_t$ 를 출력값 $y_t$ 으로도 사용LSTM의 구성요소 : cell state, forget gate, input gate, output gate  LSTM의 구성요소 Cell ..

[ 목차 ] 1. 순차데이터란?2. Recurrent Neural Network3. Vanilla RNN (가장 간단한 형태의 RNN 모델)1. 순차 데이터란?RNN(Recurrent Neural Network) : 시계열 데이터 같은 순차 데이터(Sequential Data) 처리를 위한 모델  순차 데이터(Sequential Data) - 예시: 시계열 데이터, 자연어 데이터순서(Order)를 가지고 나타나는 데이터데이터 내 각 개체간의 순서가 중요예) 날짜에 따른 기온 데이터, 단어들로 이루어진 문장, DNA 염기 서열, 샘플링된 소리 신호 등시계열 데이터 (Time-Series Data) 일정한 시간 간격을 가지고 얻어낸 데이터예) 연도별 대한민국의 평균 기온, 시간별 주식 가격 기록 등자연어 데..

1. 이미지와 Convolution 연산 기존의 딥러닝에서 사용하는 Fully-connected Layer는 1차원 데이터 (선형 데이터)를 input으로 요구함이미지를 단순하게 1차원으로 바꾸면 2차원 상에서 가지는 정보 (사물 간의 거리 관계, 색의 변화 등)를 포기해야 함즉, 공간 정보 (spatial information)가 무너짐 (-> FC layer로 이미지 데이터를 처리할 수 없음)따라서 이미지 처리에 특화된 딥러닝 모델 등장 -> CNN (Convolutional Neural Network)  CNN의 대표 구성요소 Convolutional LayerPooling Layer분류기 (classifier) : fully-connected layer로 구성 [ Convolution 연산 ] C..

4. 과적합 문제와 방지 기법 과적합 문제 (overfitting) : 알고리즘이 학습 데이터에 과하게 적합한 상태.                                             학습 데이터가 아닌 다른 데이터에서 정확한 예측을 생성하지 못함 (일반화 하지 못함)과적합 발생 원인 : 데이터의 퍼진 정도, 즉 분산(variance)이 높은 경우너무 많이 학습 데이터를 학습시킨 경우 (epochs가 매우 큰 경우)학습에 사용된 파라미터가 너무 많은 경우데이터에 비해 모델이 너무 복잡한 경우데이터에 노이즈 & 이상치(outlier)가 너무 많은 경우 과적합 현상 방지 기법 : 정규화 (Regularization), 드롭아웃 (Dropout), 배치 정규화 (Batch Normalization..

딥러닝 모델 학습의 문제점으로 아래의 4가지가 있다.1. 학습 속도 문제와 최적화 알고리즘2. 기울기 소실 문제3. 초기값 설정 문제4. 과적합 문제 이번 장에서는 2. 기울기 소실 문제, 3. 가중치 초기화 설정 문제와 이를 해결하기 위한 기법에 대해 자세히 알아보도록 하겠다. 2. 기울기 소실 문제와 방지 기법 기울기 소실 (Vanishing Gradient) 발생 원인 : 기울기가 0인 값을 전달하며 중간 전달값이 사라지는 문제기울기가 소실되는 문제가 반복되며 학습이 잘 이루어지지 않음 깊은 층의 모델에서 역전파 시에 전달되는 손실 함수(loss function)의 gradient 값에 활성화 함수인 sigmoid 함수의 0에 가까운 기울기 값이 계속해서 곱해지면서 결국 가중치 업데이트가 잘 안되는..

SGD의 한계점 딥러닝 모델 학습은 아래와 같은 문제점이 있다.  1. 학습 속도 문제와 최적화 알고리즘2. 기울기 소실 문제와 방지 기법3. 초기값 설정 문제와 방지 기법4. 과적합 문제와 방지 기법 딥러닝 모델 학습의 문제점에 대해 자세히 알아보고, 이를 해결하기 위해 나온 방법들에 대해 알아보겠다. 딥러닝 모델 학습의 문제점실생활 문제 데이터의 차원이 증가하고, 구조가 복잡해짐에 따라 딥러닝 모델 학습에서 많은 문제가 초래된다. 1. 학습 속도 문제 : 데이터의 개수가 폭발적으로 증가하여 딥러닝 모델 학습 시 소요되는 시간도 함께 증가 2. 기울기 소실 문제 (gradient vanishing) : 더 깊고, 넓은 망을 학습시키는 과정에서 출력값과 멀어질수록 학습이 잘 안되는 현상 발생기울기 소실 ..

' 딥러닝 모델 구현 순서' 는 다음과 같다.1. 데이터셋 준비하기2. 딥러닝 모델 구축하기3. 모델 학습 시키기4. 평가 및 예측하기 아래에서는 각 단계에서 필요한 개념을 쭉 훌어본 후에, tensorflow 코드로 선형 회귀와 비선형 회귀를 구현해보겠다.  1. 데이터셋 준비하기epoch : 한 번의 epoch는 전체 데이터 셋에 대해 한 번 학습을 완료한 상태batch : 나눠진 데이터셋 (보통 mini-batch라 표현)iteration는 epoch를 나누어서 실행하는 횟수를 의미함  2. 딥러닝 모델 구축하기 [ keras 예시 코드 - 아래 두개는 동일한 코드임 ]model = tf.keras.models.Sequential([ tf.keras.layers.Dense(10,input_dim=2..

딥러닝 모델에서의 학습 : loss function을 최소화하기 위해 최적화 알고리즘 (gradient descent 등) 사용딥러닝에서는 역전파(backpropagation)을 통해 각 가중치들의 기울기를 구할 수 있음backpropagation 정의 : 목표 target 값과 실제 모델이 예측한 output 값이 얼마나 차이나는지 구한 후, 오차 값을 다시 뒤로 전파해가며 변수들을 갱신하는 알고리즘 1. Backpropagation의 학습 단계backpropataion은 체인 룰(chain rule)을 사용하여 손실 함수의 기울기를 계산하고, 이를 통해 가중치를 업데이트 1. Forward Propagation입력 데이터가 신경망을 통과하면서 각 층에서의 출력 계산각 뉴런의 출력은 다음과 같이 계산됨..

9월 석사 입학 전 까지 목표가 있다.딥러닝 논문을 보고, 논문을 재현(reproduction) 할 수 있을 만큼 코딩실력을 키우는 것이다.그동안은 이론 책, 수학책을 보고 수식에 더 익숙해져 있다는 느낌을 받았는데, 이제는 코딩 능력도 키우는 것이 여름 방학 동안의 목표이다.   딥러닝 : 인공신경망에 기반하여 컴퓨터에게 사람의 사고방식을 가르치는 방법인공신경망의 특징 : 모델 스스로 데이터의 특성을 학습하여 지도 학습, 비지도 학습 모두 적용 가능   1. 퍼셉트론 : 초기 형태의 신경망   2. 활성화 함수 : 각 뉴런의 출력 신호를 결정입력 신호를 받아들여 비선형 변환 수행, 변환된 출력을 다음 층으로 전달.활성화 함수는 신경망의 학습 능력과 성능에 큰 영향을 줌. 활성화 함수의 역할 :  비선형..

목차 저번 포스트에서는 지도학습의 Linear Regression모델과 Logistic Regression 모델을 배웠다. 이번에는 h함수를 더 자세히 알아보도록 하자.😀 1. Overfitting Problem 가장 왼쪽 그래프의 경우, h함수(가설 함수)를 θ에 대한 1차 방정식으로 정의 ➡ 데이터의 예측이 일치하지 않는다. 일반적으로 너무 단순하거나 너무 적은 기능을 사용하는 기능 때문에 발생한다. 이러한 경우를 Underfit 또는 High Bias라 한다. 가장 오른쪽 그래프의 경우, h함수를 다차원방정식으로 정의 ➡ 각각의 데이터 결과 값을 만족하는 형태를 띈다고 할 수 있다. training data set에서는 최적화가 잘 되었다고 생각할 수 있지만 새로운 data에 대한 정확도는 장담할 ..