[IT 서비스] End To End 데이터 파이프 라인 구축

향후 수차례에 걸쳐 센서 단말에서 인사이트 레포트 발행에 이르는 '센서 정보 End To End 데이터 파이프 라인'의 설계와 구축에 대한 글을 싣고자 한다

 

활용될 데이터는 센서 데이터와 날씨 공공데이터이며 센서 데이터는 온도,습도,미세먼지로 구성된다

 

파이프 라인은 전통적인 dashboard 구축용 파이프라인과 ML구축용 파이프라인으로 구성된다

 

상위 레벨의 아키텍처는 아래와 같다

 

센서 정보 End To End 데이터 파이프 라인