본 리포트는 융합뇌공학입문(ENG2009) 기말 리포트 제출본임. 기계가 생각할 수 있는가에 대한 질문에 대해 대답하기 위해서는 생각과 의식을 적절하게 정의해야 한다. 일상에서 생각의 범주는 넓으면서도 추상적이다. 추론, 계획, 상상 등 다양한 사고 활동을 생각이라고 부른다. 하지만 단순하게 생각의 후보들을 나열하고 나열된 대상들을 통칭해 생각이라...
AutoEncoder는 신경망 시퀀스 중앙에 Bottle Neck이 존재하고, Bottle Neck을 중심으로 대칭적인 구조를 가진 딥러닝 모델을 가리킨다. FFNN뿐만 아니라 LSTM과 같은 RNN Family, CNN, Transformer 등 다양한 신경망 기본 아키텍처로 AutoEncoder를 구현할 수 있다. AutoEncoder는 Anoma...
HuggingFace transformers 시리즈 Lightning AI PyTorch Lightning Lightning AI Lightning Flash Reference Don't Panic PyTorch는 최신 딥러닝 연구에서 가장 많이 사용되는 프레임워크다. 동적 계산 그래프를 사용하기 때문에 사용하기도 쉽고...
LongTerm Dependency Transformers Scaled DotProduct Attention MultiHead Attention BlockBased Model Positional Encoding LongTerm Dependency 기존의 RNN 모델은 어텐션 메커니즘으로 보완하긴 했지만 태생적으로 다음 시퀀스에 전...
Seq2Seq Model Seq2Seq & Attention Attention Mechanisms Beam Search BLEU Score Seq2Seq Model Seq2Seq 모델은 ManytoMany 모델의 일종이다. Seq2Seq 모델은 두가지 종류의 LSTM 혹은 GRU 모델로 구성된다. 입력 시퀀스를 받는 L...
RNN(Recurent Neural Network) Types of RNN CharacterLevel Language Model Backpropagtion through time and LongTermDependency LSTM(Long ShortTerm Memory) GRU(Gated Recurrent Unit) RNN(Recu...
가산과 비가산 정수 유리수 실수 수학의 본질과 무한 수학의 본질은 그 자유로움에 있다. 게오르크 칸토어 가산과 비가산 가산(Countable)과 비가산(uncountable) 집합은 수학사에서 큰 논쟁거리였다. 가산과 비가산에 대한 이해는 무한의 개념과 무한을 다루는 방법, 더 나아가 수학의 본질에 다가서게...
개요 크롤링 데이터 도메인 크롤러 개발 크롤링 환경 및 과정 데이터 전처리 데이터 탐색 데이터 전처리 데이터 라벨링 모델 설계 모델 구조 및 세부사항 구현 추후 발전 방향 ...
소프트맥스 회귀 (Softmax Regression) 소프트맥스 분류기 훈련시키기 지역 최적값(Local Optima) 문제 Tensorflow 소프트맥스 회귀 (Softmax Regression) 지금까지 다루었던 분류 문제는 모두 이진 분류였다. 하지만 3개 이상의 선택지중 하나를 고르는 분류문제도 존재한다. 이때는 로지스틱 회귀를 ...
배치 정규화(Batch Normalization) 배치 정규화의 적용 배치 정규화가 잘 작동하는 이유 테스트 시의 배치 정규화 배치 정규화(Batch Normalization) 배치 정규화 알고리즘은 하이퍼파라미터 탐색을 더 쉽게 만들어줄 뿐만 아니라 데이터와 파라미터 간의 상관관계를 줄여준다. 또한 매우 깊은 신경망도 쉽게 학습할 수 ...
튜닝 프로세스 적절한 척도(Scale) 선택하기 하이퍼파라미터 튜닝 실전 튜닝 프로세스 머신러닝 분야에서 좋은 하이퍼파라미터를 찾는 것은 중요한 문제다. 따라서 좋은 하이퍼파라미터를 체계적으로 구하는 것은 중요하다. 심층신경망을 학습시킬 때 다양한 하이퍼파라미터는 딥러닝 모델을 다루는 것을 어렵게 한다. 이전 포스트들에서 얼마나 많은 하이퍼...
미니배치(minibatch) 경사하강법 미니 배치 경사하강법 이해하기 지수 가중 이동 평균(Exponential Moving Average) 지수 가중 이동 평균 이해하기 Momentum 최적화 알고리즘 RMSProp (Root Mean Square Propagation) 최적화 알고리즘 Adam (Adaptive Moment E...
입력값의 정규화(Normalize) 경사소실(Vanishing Gradients) / 경사폭발(Exploding Gradients) 심층 신경망의 가중치 초기화 기울기의 수치근사 경사 검사(Gradient Checking) 경사 검사 시 주의점 입력값의 정규화(Normalize) 신경망의 훈련을 빠르게 하고 성능을 높이는 기법 중...
정규화 (Regularization) 정규화와 과적합 드롭아웃(Dropout) 정규화 역 드롭아웃 (Inverted Dropout) 드롭아웃의 이해 다른 정규화 기법들 정규화 (Regularization) 만약 모델에서 높은 분산으로 인한 과적합 문제가 발생한 것이 의심된다면 가장 먼저 시도해보아야 할...
Train/Dev/Test 세트 편향(Bias)과 분산(Variance) 머신러닝을 위한 기본 레시피 이제 딥러닝을 구현하는 방법에서 실질적인 부분으로 넘어가보자. 하이퍼파라미터 튜닝부터 최적화 알고리즘의 속도를 높여 학습 알고리즘이 적정한 시간에 학습을 할 수 있는지 확인해보자. Train/Dev/Test 세트 훈련(Train), 개발(...
더 많은 층의 심층 신경망(Deep Neural Network) 순방향전파(Forward Propagation)와 역방향전파(Backward Propagation) 심층신경망에서의 순방향전파 행렬의 차원(크기)을 알맞게 하기 심층신경망이 더 많은 특징을 잡아낼 수 있는 이유 심층신경망 네트워크 구성하기 파라미터 vs 하이퍼파라미터...
신경망 네트워크(Neural Network) 신경망 네트워크는 개개의 뉴런들로 구성되어 있다. 이전에 뉴런 노드 하나에 대한 입력과 출력은 다음과 같았다. graph LR X1([x1]) > N((N)) X2([x2]) > N X3([x3]) > N N > R(\hat y) 이를 신경망으로 확장...
벡터화(Vectorization) 로지스틱 회귀의 벡터화 로지스틱 회귀의 경사하강법 벡터화 로지스틱 회귀의 비용함수 벡터화는 코드에서 명시적인 반복문을 없애주는 역할을 한다. 벡터화는 큰 데이터 셋을 학습시킬 때 빛을 발하는 경우가 많다. 코드에서 반복문을 없애 학습 속도를 늘릴 수 있기 때문이다. 벡터화(Vectorization) 로...
이진분류(Binary Classification) 로지스틱 회귀(Logistic Regression) 비용함수 (Cost Function) 경사하강법(Gradient Descent) 계산 그래프(Computational Graph) 계산 그래프를 이용한 미분 로지스틱 회귀의 경사하강법 m개 샘플에 대한 경사하강법 이진분류(...
머신러닝 개요 계획 신경망 지도학습 딥러닝의 부상 이유 머신러닝 개요 본 노트는 Andrew Ng의 머신러닝 수업을 정리한 것임. Andrew Ng, Machine learning lecture, Youtube Link AI는 전기가 세상을 바꾼 것처럼 세상을 바꿀 수 있을 것 다양한...
선형회귀 서포트벡터머신 지도학습 머신러닝을 통해 해결하는 두 가지 문제는 회귀(Regression)와 분류(Classification)이다. 전통적인 머신러닝 모델들인 선형회귀(Linear Regression), 서포트벡터머신(SVM: Support Vector Machine)을 Python 코드로 회귀와 분류 모델에 대해 알아보자. 본...
연산자 부정 (Negation) 진리표 (Truth Table) 조건 (Conditional) 연산자 우선순위 증명 (Proof) Fitch Format 연산자 부정 (Negation) $\neg P$ 부정은 문장의 거짓을 표현하는 기호이다. 부...
By relieving the brain of all unnecessary work, a good notation sets it free to concentrate on more advanced problems, and in effect increases the mental power of the race. Alfred North Whi...
수리논리학 이전의 논리학자: 아리스토텔레스, 라이프니츠, 베이컨 연역과 귀납 라이프니츠와 베이컨 출처) 라이프니츠로부터 시작된 수리논리학의 역사는 상당히 흥미롭다. 인문학과 수학, 언어학, 그 중에서 철학과 수학이 만나는 접점이기 때문이다. 초기 논리학은 수학과 다소 거리가 있었지만 고틀로프 프...
뉴런의 모델링 벡터(Vector) 회귀분석(Regression) 경사하강법(Gradient Descend) 다변수함수의 근사 경사하강법 뉴런의 모델링 머신러닝은 기본적으로 신경망의 작동구조를 모방한다. ...
👋 Hi, I’m Subin Park, @SOL1archive. I'm from Korea and I lived in the Philippines for about an year. You can contact me via email any time! Contact email: enlightkorean@gmail.com Github:...
Raghuveer, who created Simply Jekyll theme Santosh Thottingal who introduced me to Digital Garden Puttalu for OrgMode classes! Team Obsidian for making obsidian a markdown based product Dar...
© 2023 • Contents under CC-BY-NC • Credits