일기장 데이터 전처리

tensorflow
보통 훈련데이터(train) 8 : 2 평가데이터(test) 비율로 설정
epoch = 총 학습 반복 횟수

객체탐지
분류(classfication)

1개의 객체 검출(single object)

localization - 분류로 검출한 객체의 위치를 bounding box로 지정

객체검출(object detection)

1개 이상의 객체 검출(multi object)

의미적분할(instance segmentation) - 인식한 객체의 이미지 내를 의미있는 단위로 분할하는 것. 이미지의 영역별로 의미를 부여함.

합성곱신경망 CNN (Convolutional Neural Network)
영상처리
데이터의 특징을 분석하여 패턴 파악

convolution -> pooling

순환신경망 RNN (Recurrent Neural Network)
음성/언어처리
계층의 출력이 순환하는 인공신경망
시계열 정보 처리처럼 앞뒤 신호가 서로 상관이 있는 경우

생성적 적대 신경망 GAN (Generative Adversarial)
이미지 생성/복원
두개의 신경망이 상호 경쟁하여 최적화의 수를 수행함.
생성망이 진짜같은 가짜를 생성하고 판별망은 진짜와 가짜를 판별함.
과정을 반복하며 생성망은 점점 진짜같은 가짜를 만들어 냄

빅데이터 5V
Volume/Velocity/Variety + Veracity + Value

정형데이터 - 구조화된 데이터(데이터베이스, 엑셀, csv)
반정형데이터 - 스키마를 포함하여 연산이 불가능한 데이터 (xml, html, json)
비정형데이터 - 연산불가, 형태없음 (sns데이터, 영상, 음성, gps, 이미지)

데이터정의 - 데이터수집 - 데이터전처리 - 데이터셋생성(원천데이터,라벨링데이터) - 데이터검수 - 데이터학습

이미지 데이터셋 구축 
바운딩, 키포인트, 랜드마크, ocr, 폴리곤(면), 폴리라인 (점/선)

영상 데이터셋 구축 
이상행동탐지, 동작분석, 감정인식, 바운딩, 스켈레톤추출, 구간추출, 시멘틱 세그멘테이션

텍스트 데이터셋 구축 
문장의미비교, 감정분석, 키워드찾기, 문장요약

음성 데이터셋 구축 
감정분석, 화자구분, 받아쓰기(일반전사(발음), 이중전사(발음과 맞춤법/철자))