[ADsP] 3.1 데이터 분석 기법의 이해

데이터 분석 기법의 이해

■ 데이터 처리

https://velog.io/@inhwa1025

 

- 데이터 분석은 통계지식과 복잡한 가정이 상대적으로 적은 분야

- 대기업은 DW(데이터 웨어하우스)나 DM(데이터 마트)을 통해 데이터를 가져와 사용

- 신규 시스템이나 DW에 포함되지 못한 경우, 기존 운영시스템(Legacy)이나 스테이징 영역(Staging Area)과 ODS(Operational Data Store)에서 데이터를 가져와 DW의 내용과 결합하여 활용

 

■ 분석 기법 5가지

1. 시각화

- 가장 낮은 수준의 분석이지만, 복잡한 분석보다 효율적

- 빅데이터 분석, 탐색적 분석할 때 시각화는 필수

- SNA 분석에 활용

 

2. 공간분석(GIS)

- 공간적 차원과 관련된 속성을 시각화하는 분석

- 지도 위 속성의 크기, 모양, 선 굵기 등 구분

 

3. 탐색적 자료분석(EDA)

- 데이터의 특이점을 도출하고 시각화하여 분석하고, 구조적 관계 파악

- EDA의 4가지 주제 : 저항성의 강조, 잔차 계산, 자료변수의 재표현, 그래프를 통한 현시성

* 암기 : [저자]가 [그잔][EDA(이다)]

 

4. 통계분석

1) 기술 통계 : 표본이 가지고 있는 정보를 파악

2) 추측 통계 : 표본의 표본통계량으로부터 모집단의 특성인 모수에 관해 통계적으로 추론

 

5. 데이터마이닝

- 대용량의 자료로부터 정보를 요약하고 미래 예측

- 자료에 존재하는 관계, 패턴, 규칙 등을 탐색하여 모형화

- 방법론 : 데이터베이스에서 지식탐색, Machine Learning(기계 학습), 패턴 인식