<aside> 💡

목차

</aside>

실습 개요

• 목표

  공공데이터포털에서 제공하는 성남시 분당구의 날씨 데이터를 활용하여 강수확률과 습도의 상관관계 분석

• 도구

  • 데이터 수집: 공공데이터포털의 Open API 날씨 데이터를 CSV 파일로 할당받음
  • 데이터 저장소: MongoDB (NCP - Cloud DB for MongoDB)
  • 데이터 분석 툴: MongoDB Compass의 Aggregation Pipeline
  • 데이터 시각화: Python

실습 절차

1. 데이터 수집 및 업로드

• 공공데이터포털에서 CSV 파일 다운로드 → MongoDB Compass로 업로드

• 데이터 수집 기간 ****2025년 2월 7일 ~ 2025년 2월 11일 (일주일간)

• 총 데이터 수

  약 2.9K rows

• 데이터 컬럼

  • day: 날짜 (저장된 수 7 → 실제 2월 7일)
  • hour: 시간 (저장된 수 200 → 실제 20:00)
  • forecast: 예보 값
  • rain_probability: 강수 확률 (%)
  • humidity_data: 습도 (%)

• 업로드된 원본 데이터 (CSV)

  

2. 데이터 전처리

1. Compass 업로드 과정에서 각 필드의 형식을 정수로 통일하여 업로드.

2. date 필드 추가. (날짜를 올바르게 처리하도록 ISODate로 변환)

   [
     {
       "$set": {
         "date": {
           "$toDate": {
             "$concat": [
               "2025-02-",
               {
                 "$cond": {
                   "if": { "$lt": ["$day", 10] },
                   "then": { "$concat": ["0", { "$toString": "$day" }] },
                   "else": { "$toString": "$day" }
                 }
               },
               " ",
               {
                 "$toString": { "$floor": { "$divide": ["$hour", 100] } }
               },
               ":00:00"
             ]
           }
         }
       }
     }
   ]
   

   → date: ISODate("2025-02-07T20:00:00Z") 형식으로 변환 완료

3. 불필요 필드 제거

   date필드로 변환하고 남은 day, hour 필드 제거

   [
     {
       "$unset": ["day", "hour"]
     }
   ]