Non-Profit Data Analysis

계획: AWS resource, streaming data, batch, airflow, crawling, ETL, simple modeling, tableau

2020 빅콘테스트

국내 데이터 분석 공모전 중 가장 규모가 큰 2020 빅콘테스트 챔피언 리그에 참여함. 대회 주제는 다음과 같음

공모전의 가시적인 주제인 매출 예측하는 기본적인 시계열 분석 (효율성, 정확성, 지속가능성) 외에 고려한 부분 :

문제	해결 방안
2019년도의 데이터로 2020년 6월의 매출을 예측해야 한다는 time gap 문제	Recursive 변수 반영
COVID-19의 영향력이 크지만 관련 데이터가 주어지지 않았다는 한계	네이버 쇼핑 데이터 웹크롤링, COVID 19 Index
COVID-19을 반영해 어찌어찌 예측했다 하더라도 제대로 반영했는지?	Counterfactual Analysis
편성표 최적화 (최적화 개념 정의와 구체적인 방법)	Hungarian Algorithm

서울대학교 의료빅데이터연구센터(MBRC)에서 의료빅데이터 융합인재 양성을 위해 진행한 보건의료 데이터 기반의 연구 과제. 직접 데이터와 주제를 선정한 뒤 의미있는 결과를 도출, 발표하는 방식.

임상빅데이터연구실(CBL)에서 연구원으로 근무하며 파악한 국내 의료 통계의 가장 큰 한계점은 통계 분석, 모델이 교육 및 연구에 잘 사용되지 않는다는 것. 이와 관련한 여러 요인 중 개인정보보호법에 대해 관련 문제를 정의하고 GAN을 사용해 해결하고자함

문제	해결 방안
개인정보보호법에 의해 사용 가능한 의료 데이터가 절대적으로 부족해서 충분한 성능의 모델이 없음	GAN을 사용해 fake image를 생성하고 이를 다시 model fitting에 사용

2018 연세 빅데이터 분석 공모전의 연장선으로 (주)모나미에서 인턴 기회를 얻어 (주)모나미에서 제조, 유통하는 문구류 SKU(stock keeping unit)별 재고를 효율적 관리할 필요성을 파악하고 이에 수요예측 프로젝트를 진행함.

문제	해결 방안
제품의 수요 예측 정확도를 높여 불필요한 재고를 줄이고, 재고 생산 비용, 관리 비용을 감축시킬 수 있음	RDBMS 및 ER diagram 구축 spatial 변수 등 다양한 변수를 생성 이를 반영한 다변량 시계열 모델(dynamic regression) 사용