Done is Better Than Perfect

💵 부의 추월차선 - 엠제이 드마코    이제 사회초년생으로 돈을 벌고 사회 생활을 시작하는 나로서, 금융과 재정에 관한 지식이 있어야 한다고 판단했다. 금융 관련 자기개발 도서로 몇 년째 베스트 셀러를 지키고 있는 '부의 추월 차선'을 읽었다.   📚 부란 무엇인가?부는 물질적인 소유물이나 돈, 또는 '물건'이 아니라 3F로 이루어진다. 3F는 부의 3요소로 가족(Family, 관계), 신체(Fitness, 건강), 그리고 자유 (Freedom, 선택)을 말한다. 3F가 충족될 때 진정한 부를 느낄 수 있다. 즉, 행복을 얻을 수 있다. 가족 (Family) : 부란 공동체적 삶이자 타인의 인생에 영향을 미치는 일이다.신체 (Fitness) : 건강, 활기, 열정 그리고 끝없는 에너지가 곧 부다. ..

Vanilla RNN의 단점을 해결하기 위해 제안된 모델인 LSTM과  GRU에 대해 알아보겠다.LSTM과 GRU는 내부 연산 방식만 Vanilla RNN과 다르다. 즉, 입력값과 출력값을 Vanilla RNN와 동일하게 사용하면 된다. [ 목차 ]1. LSTM 소개2. GRU 소개3. RNN 모델의 활용1. LSTMVanilla RNN의 기울기 소실 문제를 해결하고자 등장Long Short Term Memory(장단기 메모리)의 약자 → 장기 의존성과 단기 의존성을 모두 기억할 수 있음새로 계산된 hidden state $h_t$ 를 출력값 $y_t$ 으로도 사용LSTM의 구성요소 : cell state, forget gate, input gate, output gate  LSTM의 구성요소 Cell ..

[ 목차 ] 1. 순차데이터란?2. Recurrent Neural Network3. Vanilla RNN (가장 간단한 형태의 RNN 모델)1. 순차 데이터란?RNN(Recurrent Neural Network) : 시계열 데이터 같은 순차 데이터(Sequential Data) 처리를 위한 모델  순차 데이터(Sequential Data) - 예시: 시계열 데이터, 자연어 데이터순서(Order)를 가지고 나타나는 데이터데이터 내 각 개체간의 순서가 중요예) 날짜에 따른 기온 데이터, 단어들로 이루어진 문장, DNA 염기 서열, 샘플링된 소리 신호 등시계열 데이터 (Time-Series Data) 일정한 시간 간격을 가지고 얻어낸 데이터예) 연도별 대한민국의 평균 기온, 시간별 주식 가격 기록 등자연어 데..

1. 이미지와 Convolution 연산 기존의 딥러닝에서 사용하는 Fully-connected Layer는 1차원 데이터 (선형 데이터)를 input으로 요구함이미지를 단순하게 1차원으로 바꾸면 2차원 상에서 가지는 정보 (사물 간의 거리 관계, 색의 변화 등)를 포기해야 함즉, 공간 정보 (spatial information)가 무너짐 (-> FC layer로 이미지 데이터를 처리할 수 없음)따라서 이미지 처리에 특화된 딥러닝 모델 등장 -> CNN (Convolutional Neural Network)  CNN의 대표 구성요소 Convolutional LayerPooling Layer분류기 (classifier) : fully-connected layer로 구성 [ Convolution 연산 ] C..

4. 과적합 문제와 방지 기법 과적합 문제 (overfitting) : 알고리즘이 학습 데이터에 과하게 적합한 상태.                                             학습 데이터가 아닌 다른 데이터에서 정확한 예측을 생성하지 못함 (일반화 하지 못함)과적합 발생 원인 : 데이터의 퍼진 정도, 즉 분산(variance)이 높은 경우너무 많이 학습 데이터를 학습시킨 경우 (epochs가 매우 큰 경우)학습에 사용된 파라미터가 너무 많은 경우데이터에 비해 모델이 너무 복잡한 경우데이터에 노이즈 & 이상치(outlier)가 너무 많은 경우 과적합 현상 방지 기법 : 정규화 (Regularization), 드롭아웃 (Dropout), 배치 정규화 (Batch Normalization..

🌿 지구 끝의 온실 (김초엽) - 자이언트 북스  오랜만에 한국 SF 소설을 읽었다.요즘에는 전공 도서와 지식을 전달하는 글만 주로 읽다가, 최근에 독서와 기록의 중요성을 다시금 깨달아 책을 열심히 읽어보고자 마음 먹고 고른 책이다.   이 책은 전체로서,- 더스트 시대 -사람과 동물이 숨을 쉴 수 없는, 더스트 시대에서 살아남은 사람들이 재건해낸 지구를 배경으로 하고 있다. 더스트 시대는 말 그대로 공기 중에 더스트라는 위독 기체가 퍼져 있는 시대이다. 대부분의 사람들은 더스트에 노출이 되면 서서히 죽어간다.터스트에도 피해를 입지 않는 내성을 가진 사람들도 있다. 이 더스트라는 물질은 어디에서 파생이 되었는지 알 수 없고 사람들은 살아남기 위해 돔이라는 마을을 형성해 살거나 사냥꾼이 되어 폐허를 뒤지..

딥러닝 모델 학습의 문제점으로 아래의 4가지가 있다.1. 학습 속도 문제와 최적화 알고리즘2. 기울기 소실 문제3. 초기값 설정 문제4. 과적합 문제 이번 장에서는 2. 기울기 소실 문제, 3. 가중치 초기화 설정 문제와 이를 해결하기 위한 기법에 대해 자세히 알아보도록 하겠다. 2. 기울기 소실 문제와 방지 기법 기울기 소실 (Vanishing Gradient) 발생 원인 : 기울기가 0인 값을 전달하며 중간 전달값이 사라지는 문제기울기가 소실되는 문제가 반복되며 학습이 잘 이루어지지 않음 깊은 층의 모델에서 역전파 시에 전달되는 손실 함수(loss function)의 gradient 값에 활성화 함수인 sigmoid 함수의 0에 가까운 기울기 값이 계속해서 곱해지면서 결국 가중치 업데이트가 잘 안되는..

SGD의 한계점 딥러닝 모델 학습은 아래와 같은 문제점이 있다.  1. 학습 속도 문제와 최적화 알고리즘2. 기울기 소실 문제와 방지 기법3. 초기값 설정 문제와 방지 기법4. 과적합 문제와 방지 기법 딥러닝 모델 학습의 문제점에 대해 자세히 알아보고, 이를 해결하기 위해 나온 방법들에 대해 알아보겠다. 딥러닝 모델 학습의 문제점실생활 문제 데이터의 차원이 증가하고, 구조가 복잡해짐에 따라 딥러닝 모델 학습에서 많은 문제가 초래된다. 1. 학습 속도 문제 : 데이터의 개수가 폭발적으로 증가하여 딥러닝 모델 학습 시 소요되는 시간도 함께 증가 2. 기울기 소실 문제 (gradient vanishing) : 더 깊고, 넓은 망을 학습시키는 과정에서 출력값과 멀어질수록 학습이 잘 안되는 현상 발생기울기 소실 ..

' 딥러닝 모델 구현 순서' 는 다음과 같다.1. 데이터셋 준비하기2. 딥러닝 모델 구축하기3. 모델 학습 시키기4. 평가 및 예측하기 아래에서는 각 단계에서 필요한 개념을 쭉 훌어본 후에, tensorflow 코드로 선형 회귀와 비선형 회귀를 구현해보겠다.  1. 데이터셋 준비하기epoch : 한 번의 epoch는 전체 데이터 셋에 대해 한 번 학습을 완료한 상태batch : 나눠진 데이터셋 (보통 mini-batch라 표현)iteration는 epoch를 나누어서 실행하는 횟수를 의미함  2. 딥러닝 모델 구축하기 [ keras 예시 코드 - 아래 두개는 동일한 코드임 ]model = tf.keras.models.Sequential([ tf.keras.layers.Dense(10,input_dim=2..

딥러닝 모델에서의 학습 : loss function을 최소화하기 위해 최적화 알고리즘 (gradient descent 등) 사용딥러닝에서는 역전파(backpropagation)을 통해 각 가중치들의 기울기를 구할 수 있음backpropagation 정의 : 목표 target 값과 실제 모델이 예측한 output 값이 얼마나 차이나는지 구한 후, 오차 값을 다시 뒤로 전파해가며 변수들을 갱신하는 알고리즘 1. Backpropagation의 학습 단계backpropataion은 체인 룰(chain rule)을 사용하여 손실 함수의 기울기를 계산하고, 이를 통해 가중치를 업데이트 1. Forward Propagation입력 데이터가 신경망을 통과하면서 각 층에서의 출력 계산각 뉴런의 출력은 다음과 같이 계산됨..