1회차

• 파이썬 및 텍스트 분석 관련 패키지 설치
• 파이썬 문법 복습

초심자에게는 프로그램 설치부터 까다롭습니다. 한국어 텍스트를 파싱하기 위해서는 자바 기반으로 짜여진 KonlPy를 설치하고 이를 파이썬과 연동시켜주는 소프트웨어(JPype)를 설치하고, 시각화를 위해서는 한국어 폰트를 다운받아 따로 설치를 해주어야 합니다. 설치부터 하나하나 차근차근히 같이 해보고 텍스트 분석에 자주 쓰이는 파이썬의 기초적인 문법을 간단히 복습합니다.

2회차

• 웹 페이지 구조 이해하기 - HTML/CSS 기초
• 웹 크롤링 - BeautifulSoup 패키지 활용법
• 웹 크롤링 실습 - 다음 사전 사이트 크롤링하기

웹 크롤링을 하기 위해서는 웹 페이지의 구조를 이해하고 있어야 합니다. 이를 위해 HTML과 CSS를 간단히 배우고 파이썬의 BeautifulSoup 패키지를 활용해서 웹에서 읽어온 HTML 소스코드를 파싱하는 법을 학습합니다. 웹 개발을 위한 수업은 아니기때문에 이론은 간단히 배우고 다음 사전 사이트 크롤링 실습을 통해 배운 것을 다시 확인해 봅니다.

3회차

• 웹 크롤링 - 다음 영화 사이트 크롤링하기

크롤링을 배웠으니 이제 실제로 다음 영화 사이트에 가서 영화 리뷰를 크롤링해 봅시다!
"라라랜드(LaLa Land)" 영화에 대한 사람들의 리뷰 내용을 처음에는 첫 리뷰를 가져오는 것부터 시작해서 전체 리뷰를 가져와 텍스트 형태로 저장하는 것까지 차근차근히 해 봅니다. 그리고 라라랜드 영화 리뷰가 끝나면 수강생 분들이 좋아하는 영화를 선택하여 그 영화에 대한 네티즌들의 리뷰를 가져와 봅니다. 여기서 여러분이 저장한 리뷰 데이터를 직접 가지고 나중에 텍스트 분석을 해볼 거에요!

4회차

• 텍스트 분석의 기초
• 실습 - KonlPy 사용법

텍스트 분석의 기초 5단계에 대해서 배우고, 한국어 텍스트를 파이썬에서 쉽게 다룰 수 있도록 도와주는 KonlPy 패키지 사용법을 실습을 중심으로 배워 봅니다. 토큰화(tokenization), 품사 태깅(pos tagging) 등 복잡해 보이는 개념을 실제 리뷰 텍스트로 실습해 보면서 쉽게 이해해 봅니다.

5회차

•텍스트 전처리
•텍스트 데이터 탐색하기(text exploration)
•실습 - 데이터 탐색

"아버지 가방에 들어가신다", "아버지가 방에 들어가신다". 텍스트 데이터에는 우리가 상상하는 것 이상의 노이즈(noise)가 많이 포함되어 있습니다. 일반적으로 데이터 마이닝에서 데이터 전처리 단계가 차지하는 비중이 80% 이상이라고 하는데, 텍스트 데이터에 한정한다면 90% 이상이 되지 않을까 합니다. 이 수업에서는 문장 부호 제거, 불용어 처리 등 분석의 효율성을 높일 수 있는 텍스트 처리 테크닉을 학습하고, 텍스트에서 자주 등장하는 명사를 뽑아보는 등 데이터를 효과적으로 탐색할 수 있는 방법도 배우게 됩니다.

6회차

•텍스트 시각화 1 - 네트워크 그래프(network graph)
•텍스트 시각화 2 - 워드 클라우드(word cloud)

텍스트를 시각화하는 데에도 많은 방법이 있지만, 가장 널리 쓰이는 방법으로 네트워크 그래프와 워드 클라우드가 있습니다. 워드 클라우드는 자주 사용되는 단어들을 구름과 같은 형태로 보여줘 글 내에서 핵심어(key word)가 무엇인지를 뚜렷하게 보여주고, 네트워크 그래프는 단어 간의 공빈도(co-occurence)를 기반으로 주요 단어 간 관련도를 쉽게 파악할 수 있게 도와줍니다. "백문이 불여일견"이라는 말이 있듯이 잘 만들어진 텍스트 시각화 자료는 복잡하고 고도화된 분석 결과보다 더 많은 인사이트를 줄 때가 많습니다.


[7-8회차]
한국어 텍스트 처리를 배웠으니, 이제 영어 텍스트 처리를 하는 방법을 배워 봅시다!
외국 영화 관련 커뮤니티인 imdb(www.imdb.com)에서 영어 리뷰 데이터를 가져와 nltk 패키지를 활용해 처리하는 과정을 실습해 봅니다.