소신의 블로그생활

안녕하세요 ! 소신입니다. AlexNet 논문 리뷰 및 Pytorch 구현입니다. AlexNet은 2012년 우승한 모델입니다. 이전 모델보다 분류 에러율을 약 10%감소시켰습니다. AlexNet은 Overfitting 해결에 집중한 모델입니다. Dropout과 Data Augmentation을 사용했고 Tanh, Sigmoid 대신 ReLU를 사용해서 학습속도를 높였습니다. 또한, Multi-GPU를 사용해 병렬연산하고 특정 구간마다 연결해 계산했습니다. AlexNet에선 LRN이라는 Neuron을 사용했습니다. 특정 Filter 한 픽셀의 가중치가 높으면 영향을 받은 Feature Map은 자연스럽게 그 주변의 수치가 높을 것입니다. 따라서 이를 해결하기위해 Filter를 정규화하는 방법을 사용했습니..

안녕하세요 ! 소신입니다. VGGNet 논문 리뷰와 Pytorch를 활용한 구현입니다. VGGNet은 작은 필터로 네트워크층을 깊게 쌓은 모델입니다. 2015년에 발표된 논문으로 당시 엄청 복잡한 구조인 GoogleNet에 비해 구조가 간단하면서 에러는 0.1%밖에 나지않아 큰 주목을 받은 모델입니다. 제가 생각하는 VGGNet의 키포인트들입니다. 모델링 자체는 간단하지만, 전처리, 후처리 등 여러가지 방법을 사용해서 성능을 끌어올리기 위해 노력했다는 느낌을 많이 받았습니다. 전처리에선 이미지를 다양한 크기로 변형하고 Crop(오려내기), Color Shift, Flip등 다양한 전처리를 진행했습니다. 모델링은 Convolutional Layer를 3x3 필터에 Padding=1로 원본 크기에는 변화를 ..