방송통신대 파이썬프로그래밍기초 :: 13강. 실전 프로그래밍 1 &기말시험 예상기출문제(정답및 해설)

파이썬 기초 실전 프로젝트 1: 텍스트 데이터 분석기 제작 및 데이터 분석

오늘은 파이썬 프로그래밍 기초 과정 중 매우 흥미롭고 실용적인 '실전 프로젝트 1: 텍스트 데이터 분석기'에 대해 알아보려고 합니다.

 

반응형

 

방송통신대파이썬기초

 

우리가 인터넷에서 접하는 수많은 뉴스 기사, 소설, 연설문 등의 원시 데이터(Raw Data)는 그 자체로는 큰 의미를 갖기 어렵습니다. 하지만 이를 파이썬을 통해 분석하면 가치 있는 정보(Information)로 변환할 수 있는데요. 이번 포스팅에서는 한국방송통신대학교 컴퓨터과학과 정재화 교수님의 강의 내용을 바탕으로, 표준 데이터 분석 파이프라인의 개념과 데이터 전처리의 중요성, 그리고 이를 파이썬으로 구현하는 방법을 핵심만 쏙쏙 뽑아 정리해 드리겠습니다.

컴퓨터과학과 학우분들이나 파이썬 데이터 분석의 기초를 다지고 싶으신 분들께 큰 도움이 되길 바랍니다!

 

 

 

 

 

 

◆ 핵심 내용 요약

1. 프로젝트 개요 및 목표

• 프로젝트명: 텍스트 데이터 분석기
• 목표: 텍스트 파일(연설문, 뉴스 기사, 셜록 홈즈 전집 등)을 읽어와 의미 있는 키워드를 추출하고, 이를 시각적으로 표현하여 리포팅하는 전체 파이프라인을 구현하는 것입니다. 즉, 원시 데이터(Raw Data)를 가치 있는 정보(Information)로 변환하는 것이 핵심입니다.

2. 표준 데이터 분석 파이프라인 (Life Cycle)

원시 데이터가 최종 인사이트가 되기까지는 다음과 같은 4단계의 표준 파이프라인을 거칩니다.

• 수집 (Collection): 파일 입출력을 통해 외부 데이터를 프로그램 메모리로 적재합니다.
• 전처리 (Preprocessing): 분석 가능한 형태로 데이터를 깨끗하게 정제하고 변환합니다.
• 분석 (Analysis): 통계나 알고리즘을 적용하여 데이터에서 가치 있는 패턴(빈도 등)을 추출합니다.
• 시각화 (Visualization): 정보 전달력을 향상시키고 인지적 부하를 줄이기 위해 그래픽이나 텍스트 등으로 표현합니다.

3. 데이터 전처리(Preprocessing)의 중요성: GIGO 원칙

• GIGO (Garbage In, Garbage Out): "쓰레기를 넣으면 쓰레기가 나온다"는 뜻으로, 아무리 정교한 분석 알고리즘을 쓰더라도 잘못되거나 부정확한 데이터를 입력하면 결과 역시 잘못 출력된다는 원칙입니다.
• 따라서 데이터의 품질과 분석 결과의 질을 높이기 위해 데이터 전처리는 필수적입니다.

4. 파이썬을 활용한 프로그램 설계 및 기능

• 기능 모듈화: 프로그램을 함수 단위로 쪼개어 구조화합니다.
  • clean_text(text), count_words(word_list), get_sorted_list(counts_dict), print_save_graph(data)
• 데이터 로드 (os 모듈): os 모듈을 사용해 컴퓨터의 운영체제 기능을 제어하며, 현재 프로그램이 실행 중인 위치인 CWD(Current Working Directory)를 기준으로 파일을 탐색하고 로드합니다.
• 불용어(Stopwords) 필터링: 문법적으로는 필수적이지만 분석적으로는 의미가 없는 단어들(예: a, the, is, of 등)을 제거하는 과정입니다.
• 대소문자 및 문자열 정제: "Apple"과 "apple"을 동일한 단어로 취급하기 위해 .lower() 함수를 사용하고, 특수문자 제거를 위해 .replace(), 단어 분리를 위해 .split() 메서드를 활용합니다.
• 빈도 분석 (Dictionary): 단어의 출현 빈도를 저장하기 위해 Key-Value 모델인 딕셔너리(Dictionary) 구조를 사용하며, 존재하지 않는 키를 안전하게 처리하기 위해 .get() 메서드를 활용합니다.
• 데이터 정렬 및 시각화: 딕셔너리는 순서가 보장되지 않으므로, 빈도수(Value)를 기준으로 정렬하기 위해 값-키(Value, Key) 형태의 리스트로 자료구조를 변환하여 정렬합니다. 이번 실습에서는 별도의 그래픽 라이브러리 없이 텍스트만으로 크기를 표현합니다.

728x90

 

◆ 기출문제 및 실전 예상 문제 5개

 

1. 데이터 분석 과정에서 "잘못되거나 정제되지 않은 데이터를 입력하면, 아무리 훌륭한 알고리즘을 사용해도 잘못된 결과가 도출된다"는 데이터 분석의 기본 원칙을 뜻하는 용어는 무엇인가요?

① FIFO (First In, First Out)

② LIFO (Last In, First Out)

③ GIGO (Garbage In, Garbage Out)

④ MIMO (Multiple In, Multiple Out)

 

 

2. 텍스트 데이터 분석을 진행할 때 문법적으로는 필요하지만, 'a', 'the', 'is', 'at' 처럼 분석적 관점에서는 의미가 없어 전처리 과정에서 필터링해야 하는 단어들을 무엇이라고 부르나요?

① 핵심어 (Keywords)

② 불용어 (Stopwords)

③ 식별자 (Identifiers)

④ 특수어 (Special words)

 

 

3. 파이썬에서 현재 프로그램이 실행되고 있는 작업 위치를 뜻하는 용어로, 파일 열기를 할 때 파일명만 입력하면 이 위치를 기준으로 파일을 검색하게 됩니다. 이 용어의 약자는 무엇인가요?

① CWD (Current Working Directory)

② URL (Uniform Resource Locator)

③ IDE (Integrated Development Environment)

④ API (Application Programming Interface)

 

 

4. 텍스트 분석기 구현 중 단어의 빈도수를 저장하려고 합니다. '단어(고유 식별자)'를 Key로, '빈도(데이터 속성)'를 Value로 매핑하여 저장하기에 가장 적절한 파이썬의 자료구조는 무엇인가요?

① 리스트 (List)

② 튜플 (Tuple)

③ 딕셔너리 (Dictionary)

④ 세트 (Set)

 

 

5. 표준 데이터 분석 파이프라인의 4단계 순서가 올바르게 나열된 것을 고르세요.

① 수집(Collection) ➔ 분석(Analysis) ➔ 전처리(Preprocessing) ➔ 시각화(Visualization)

② 전처리(Preprocessing) ➔ 수집(Collection) ➔ 분석(Analysis) ➔ 시각화(Visualization)

③ 수집(Collection) ➔ 전처리(Preprocessing) ➔ 분석(Analysis) ➔ 시각화(Visualization)

④ 분석(Analysis) ➔ 수집(Collection) ➔ 전처리(Preprocessing) ➔ 시각화(Visualization)

 

300x250

 

 

◆ 정답 및 해설

• 1 정답: ③
  • 해설: Garbage In, Garbage Out(GIGO)은 데이터 전처리의 필요성을 잘 나타내는 컴퓨터 과학 및 데이터 분석의 기본 원칙입니다. 품질이 낮은 데이터를 넣으면 결과도 낮게 나옵니다.
• 2 정답: ②
  • 해설: 'a', 'the', 'is' 등과 같이 문법적 기능은 수행하지만 실제 텍스트의 주제나 의미를 파악하는 데 방해가 되거나 도움이 되지 않는 단어들을 불용어(Stopwords)라고 부르며, 전처리 단계에서 주로 제거합니다.
• 3 정답: ①
  • 해설: 파이썬 프로그램이 현재 실행되고 있는 작업 디렉터리(폴더) 위치를 CWD(Current Working Directory)라고 합니다.
• 4 정답: ③
  • 해설: 단어(Key)와 빈도수(Value)처럼 Key-Value 대응 모델로 데이터를 관리할 때는 파이썬의 딕셔너리(Dictionary) 자료구조가 가장 적합합니다.
• 5 정답: ③
  • 해설: 표준 데이터 분석 파이프라인은 외부 데이터를 가져오는 수집(Collection) ➔ 데이터를 정제하는 전처리(Preprocessing) ➔ 패턴을 추출하는 분석(Analysis) ➔ 결과를 직관적으로 보여주는 시각화(Visualization) 순서로 진행됩니다.

 

마무리 글

지금까지 파이썬 프로그래밍 기초 중 텍스트 데이터 분석기 프로젝트의 핵심 개념과 관련 문제를 살펴보았습니다.

데이터 분석이라고 하면 거창한 통계 공식이나 인공지능 알고리즘부터 떠올리기 쉽지만, 정작 가장 중요하고 많은 시간이 소요되는 것은 '데이터 수집과 전처리(GIGO 원칙)'라는 점을 배울 수 있는 유익한 단원이었습니다. 파이썬에서 제공하는 내장 문자열 메서드(.lower(), .split())와 딕셔너리 자료구조를 잘 활용한다면 누구나 멋진 텍스트 분석기를 만들 수 있습니다.

오늘 정리해 드린 파이프라인의 흐름과 핵심 개념들을 머릿속에 꼭 저장해 두시고, 다음 시간에 다루어질 실전 프로젝트 2탄 내용도 기대해 주세요.

 

 

[이지스퍼블리싱] Do it! 점프 투 파이썬 2판/중학생도 첫날부터 실습하는 초고속 입문서 - 프로그

 

"이 포스팅은 쿠팡 파트너스 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다."