dong_dong_2's

1. 데이터셋을 어디에서 구할까? - MPII 데이터셋 다운로드 받기 1) 오늘은 MPII Human Pose Dataset을 사용해서 Human Pose Estimation task를 위한 모델을 훈련시켜 보겠다. 2) (주의) 해당 파일은 12GB가 넘는 용량을 가지므로 다운로드할 때 수 시간이 소요될 수 있다. 3) zip 파일을 풀어보면 확장자가 mat 파일이 나와서 열기 불편한 파일이 있어서 코드를 통해 json 파일로 변환했다. 4) 마지막으로 오늘 실습할 코드의 파일(코드가 정리된 파일)이 있는 압축폴더를 다운 받고, 압축을 풀어서 디렉토리에 옮겼다. 2. 데이터 전처리하기 - 필요한 패키지(loguru, ray)를 다운로드 한다. - 그리고 다운 받은 파일 중 tfrecords_mpii라는..

1. 들어가며 - Human Pose Estimation with Keypoint detection 1) 틱톡이란 어플을 들어본 적이 있을 것이다. 전세계적으로 인기를 끌고 있는 어플리케이션 중 하나이다. 2) 여기서 카메라를 통해 다양한 효과를 줘서 인기를 끌고 있다. 3) 이는 지금까지 만들어본 얼굴인식 어플리케이션과 달리 전신이 등장하는 색다른 특징이 있다. 4) 나만의 카메라 어플을 스노우와 같은 얼굴인식 뿐만 아니라 더 넓은 범위로 사용할 수 있다면 좀 더 다양한 것을 만들 수 있을 것이다. 5) 오늘은 새로운 기능인 human pose estimation에 대한 개념과 이론에 대해 알아보도록 한다. 2. body language, 몸으로 하는 대화 - Human pose estimation(이..

1. WIDER FACE 데이터셋 - 오늘 우리가 Face Detection 모델의 학습을 위해 다루게 될 데이터셋은 바로 WIDER FACE 데이터셋이다. - 빠른 인퍼런스 타임을 위해 사용할 YOLO, SSD 같은 single stage model을 학습시키는 것은 흔히 COCO 데이터셋 같은 것이 사용된다. - 하지만 오늘 우리가 추구하는 "먼 거리에 흩어져 있는 다수의 사람 얼굴을 빠르게 detect 하는 모델"을 만들기 위해서는 "보다 넓은 공간에 있는 다수의 사람이 등장하는 이미지 데이터셋"이 필요하다. - WIDER FACE 데이터셋은 이런 용도로 활용하기 적합한 데이터셋이다. - WIDER FACE 데이터셋 홈페이지에 들어가서 데이터들을 다운 받았다. train, val, test, fac..

1. 들어가며 - 지난 시간에 이어서 눈동자를 검출 할 수 있는 방법에 대해 다루겠다. - 이런 태스크를 위해 꼭 필요한 데이터셋이 충분히 갖추어져 있지 않은 상황을 우리는 헤쳐나가야 한다. - 오늘의 목표는 아래와 같다. 1) 공개 데이터 사용해서 라벨 직접 모아보기 2) 색상 값을 이용한 검출 방법 3) 라벨링 툴 만들기 - point selection 4) 째려보는 효과 구현하기 - 오늘의 노드는 에디터와 터미널을 이용하는 것 절반, 주피터 노트북을 사용하는 것 절반이였다. 2. 위치 측정을 위한 라벨링 툴 만들기 (1) OpenCV 사용 - 이전 노드에서 True / False를 라벨링(labeling) 할 수 있는 도구를 만들어 봤다. - 품질이 좋지 못한 데이터에 위치를 직접 입력하려면 어떻게..

1. 들어가며 - ML Coarse-to-Fine 전략과 Active Learining 기초 - 머신러닝 서비스를 만들 때 가장 중요한 것은 무엇일까? - 가장 중요한 것 하나만 뽑으라고 한다면 데이터라고 말하고 싶다. - 그러나 우리가 만들고자 하는 머신러닝 서비스에 꼭 맞는 데이터셋을 늘 구할 수 있는 것은 아니다. - 오히려 그런 이상적인 경우는 극히 드물다고 봐야된다. - 현실 문제에 부딪혔을 때 우리는 모델을 어떻게 만들거냐 보다는 훨씬 많은 시간을 데이터를 어떻게 수집, 가공할 것이냐의 문제로 고민하게 될 것이다. - 언제나 그렇듯 확보한 데이터의 갯수는 턱없이 부족하고, 이를 메꾸기 위한 예산은 확보되어 있지 않으며, 서비스 딜리버리 타임은 얼마 남지 않은 현실을 우리는 어떻게 헤쳐 나갈 수..

1. 들어가며 - 이전에 만들었던 카메라 스티커앱이 동영상을 처리할 수 있도록 개선하는 프로젝트를 진행하려 한다. - 하지만 지난 시간에 살펴봤듯, 동영상을 처리하는 카메라앱을 만들기 위해서는 단순 이미지를 처리하는 작업 이상으로 고려해야 할 것들이 있다. - 피사체인 사람이 움직이기 때문에 발생하는 여러가지 예외 상황, 처리속도의 문제, 화면 떨림 등의 안정성 문제 등에 대응하는 방법이 필요하다. 2. 프로젝트 1 : moviepy로 비디오 처리하기 - 먼저 동영상을 쉽게 다룰 수 있는 방법을 찾고 있다. - 대안으로 떠오른 것은 moviepy라는 파이썬 기반의 동영상 처리 라이브러리이다. - 하지만 동영상을 다룰 때의 실행시간, 즉 처리 속도가 중요하다는 것을 잊으면 안된다. - 그래서 moviepy..

1. 들어가며 - 스티커앱! 3번째 과제(Exploration)에서 다뤘던 기억이 있다. - 노드에서는 내 사진(얼굴 인식이 잘 안되면 노드에 주어진 사진)을 가지고 머리에 왕관을 씌워보고, 과제에서는 연예인 사진에 고양이 수염을 붙이는 것을 했었다. - 이 때 카메라앱을 통해 얼굴인식, 랜드마크 탐색, 이미지 처리를 통한 보정 등의 가장 기본적인 개념을 아주 간단히 살펴봤다. - 하지만 상품으로 출시하기에는 완성도가 높지 않았다. 오늘은 그 당시 완성도가 높지 않은 이유를 살펴보고, 완성도 높은 앱을 만들기 위해 고려해야할 점을 정리해 보는 시간을 갖는다. 2. 스티커앱의 원리 - 스티커앱의 원리에 익숙하지 않거나, 기억이 흐려졌을 수 있으니 다시 한 번 되짚어 보자. - 이미지에서 얼굴을 찾고 눈, ..

1. 들어가며 - 이번에는 OCR을 직접 만들어보는 시간을 갖는다. - OCR을 처음부터 끝까지 만들기에는 시간이 많이 소요되므로 Detection은 keras-ocr을 활용하고 Recognition을 직접 만들고 학습해보도록 했다. 2. Overall structure of OCR - 오늘 만들고자 하는 OCR은 이미지 속에서 영문을 Boundong box로 찾아내고 그 Bounding box 내에 어떤 Text가 포함되는지 알 수 있는 시스템이다. - 이미지 속에서 문자 영역을 찾아내는 것인 Text Detection은 강의노드에서 봤던 방법 중 Segmentation 기반의 CRAFT를 활용한 keras-ocr을 활용할 예정이다. - Recognition 모델은 keras-ocr을 사용하지 않고 직..

1. 들어가며 - OCR = Text detection + Text recognition 1) 이번에는 딥러닝 기반의 OCR이 어떻게 이뤄지는지 알아본다. 2) 위 그림에서 보는 것처럼, 이미지 속의 문자를 읽는 OCR은 크게 문자의 영역을 검출하는 Text detection 그리고 검출된 영역의 문자를 인식하는 Text recognition으로 구분할 수 있다. 3) 이 두 과정을 거쳐 이미지 속 문자를 읽게 된다. 4) Text detection (1) 그동안 우리가 다뤘던 일반적인 Object detection 태스크를 문자 찾아내기로 확장한 버전이라고 생각할 수 있겠다. (2) 그러나 앞으로 살펴보겠지만, Text detection은 단순히 Object detection 기법 뿐 아니라 Segme..

1. 들어가며 - 이번 시간에는 CAM(Class Activation Map)을 얻기 위한 방법 중 CAM와 Grad-CAM을 구현해보고 시각화해 보겠다. - 그리고 CAM을 활용해서 물체의 위치를 찾는 object detection을 수행하고 이를 정답 데이터와 비교해 보겠다. 2. 데이터셋 준비하기 - CAM(Class Activation Map)은 특성을 추출하는 CNN 네트워크 뒤에 GAP(Global Average Pooling)와 소프트맥스 레이어(Softmax Layer)가 붙는 형태로 구성되어야 한다는 제약이 있다. 반면에 Grad-CAM은 이런 제약이 없다. - 이번 시간에 이 두 가지를 모두 구현해 보겠다. - 우선 CAM을 위한 모델을 먼저 구성해 기본적인 CAM을 추출해보고, 이 모..