빅데이터 분석 프로젝트 'Who eats the food we grow?'

전 세계 인구 증가와 식량 불균형 문제는 인류가 당면한 중요한 과제입니다. 본 프로젝트는 'Who eats the food we grow?' 데이터셋을 통해 식량 생산-소비 패턴을 분석하고, 주요국의 식량 안보 및 영양 상태를 심층적으로 탐구하고자 합니다.

프로젝트 세부 방향성

• 시각화에 집중: 다양한 차트(라인, 바, 히트맵 등)를 활용하여 데이터의 직관적인 이해를 돕고, 숨겨진 트렌드를 시각적으로 드러내는 데 중점을 두었습니다.
• 가설 수립 및 통계적 검정: 가설을 설정하고, 기초 통계 지식을 활용하여 이를 검정하는 과정을 통해 분석 결과의 신뢰도를 높였습니다.
• 스토리텔링 기법 도입: SCQA (상황-갈등-질문-답변) 구조를 활용하여 분석 보고서의 논리적 흐름을 구성하고, 핵심 인사이트를 강조했습니다.

주어진 원본 데이터는 결측치, 이상치, 그리고 분석에 비효율적인 형태를 포함하고 있었습니다. 효과적인 분석을 위해 다음과 같은 데이터 처리 과정을 거쳤습니다.

• 결측치 처리: 주요 식량 지표(Value)의 결측치는 해당 연도/국가의 평균값으로 대체했으며, 범주형 컬럼의 결측치는 관련 행을 제거하여 분석의 정확성을 확보했습니다.
• 이상치 탐지: Box Plot과 Z-score를 활용하여 생산량 및 소비량 데이터의 극단적인 이상치를 탐지했으나, 데이터의 실제 변동성을 존중하여 통계적 이상치보다는 도메인 지식 기반의 합리적인 범위 내에서 처리했습니다.
• 데이터 통합: 추가적으로 확보한 '세계 인구 데이터셋'을 연도 및 국가 기준으로 병합하여, 1인당 식량 생산/소비량과 같은 파생 변수를 생성했습니다. 이를 통해 인구 증가가 식량 시스템에 미치는 영향을 분석할 수 있었습니다.
• 데이터 형식 변환: 시계열 분석을 위해 'Year' 컬럼을 datetime 형식으로 변환하고, 특정 분석을 위해 광범위한 데이터(wide format)를 좁은 데이터(long format)로 변환하는 작업을 수행했습니다.

핵심 데이터 처리 코드 예시

# 예시: Pandas를 활용한 데이터 로드 및 결측치 처리
import pandas as pd
import numpy as np

# df_food = pd.read_csv('food_we_grow.csv') # 실제 프로젝트에서는 여기에 로드
# df_population = pd.read_csv('world_population.csv') # 실제 프로젝트에서는 여기에 로드

# 예시 데이터프레임 생성 (실제 데이터셋 대체)
data_example = {
    'Country': ['Korea', 'Korea', 'USA', 'USA', 'China', 'China'],
    'Year': [2010, 2011, 2010, 2011, 2010, 2011],
    'Item': ['Wheat', 'Wheat', 'Corn', 'Corn', 'Rice', 'Rice'],
    'Value': [100, 105, 200, 210, 300, np.nan]
}
df_food = pd.DataFrame(data_example)

# 결측치 처리: Value 컬럼의 NaN을 평균으로 대체
df_food['Value'] = df_food['Value'].fillna(df_food['Value'].mean())

# 새로운 변수 생성: 1인당 생산량 (가상 인구 데이터 활용)
df_food['Population'] = [50, 50.5, 300, 305, 1300, 1310] # 예시 인구 데이터
df_food['Value_per_Capita'] = df_food['Value'] / df_food['Population']

# 데이터 처리 결과 미리보기 (to_markdown 예시)
# print(df_food.head().to_markdown(index=False))
                    

위 코드는 데이터 로드, 결측치 처리, 파생 변수 생성 등 실제 분석 프로젝트에서 수행되는 데이터 처리 과정을 Python Pandas로 구현한 예시입니다. `to_markdown()` 함수를 활용하면 분석된 표 데이터를 마크다운 형식으로 깔끔하게 정리하여 보고서에 포함할 수 있습니다.