전염병 확산 초기 언론 보도 분석

import pandas as pd #'일자'column datatype을 int64에서 string 형식으로 변환 df['일자'] = df['일자'].astype('str') #다시 info()로 확인 : object로 바뀜 df.info() #일자 datatype을 datatime64로 변환 df['일자'] = pd.to_datetime(df['일자']) #'일자' 열이 2020-01-20 형태로 변환됨을 확인 df.info()

<class 'pandas.core.frame.DataFrame'> RangeIndex: 2730 entries, 0 to 2729 Data columns (total 15 columns): # Column Non-Null Count Dtype --- ------ -------------- ----- 0 뉴스 식별자 2730 non-null float64 1 일자 2730 non-null datetime64[ns] 2 언론사 2730 non-null object 3 기고자 2565 non-null object 4 제목 2730 non-null object 5 통합 분류1 2730 non-null object 6 통합 분류2 2293 non-null object 7 통합 분류3 1634 non-null object 8 위치 2703 non-null object 9 기관 2652 non-null object 10 키워드 2730 non-null object 11 특성추출(가중치순 상위 50개) 2730 non-null object 12 본문 2730 non-null object 13 URL 2607 non-null object 14 분석제외 여부 170 non-null object dtypes: datetime64[ns](1), float64(1), object(13) memory usage: 320.0+ KB

#일자 값으로 묶어서 합하기 df_date = df.groupby('일자').sum() #일자, 통합분류 값으로 묶어서 합하기 (계층적으로 groupby) df_date_category = df.groupby(['일자']).sum() import matplotlib.pyplot as plt #plot 시각화 #x df_date.index #y df_date.values #plot(x, y) : plt.plot(df_date.index, df_date.values) #fig, ax 조정 fig = plt.figure(figsize = (15, 4)) ax1 = fig.add_subplot(1,1,1) ax1.plot(df_date.index, df_date.values) plt.show()

pip install konlpy !apt-get update !apt-get install g++ openjdk-8-jdk !pip3 install konlpy JPype1-py3 !bash <(curl -s https://raw.githubusercontent.com/konlpy/konlpy/master/scripts/mecab.sh) from konlpy.tag import Mecab mecab = Mecab()

df['제목_명사'] = df['제목'].map(mecab.nouns) df['본문_명사'] = df['본문'].map(mecab.nouns)

with open("stop_words.txt", 'r', encoding='utf-8') as file: stopword1 = file.read().replace('\n', ', ') with open("stop_words2.txt", 'r', encoding='utf-8') as file: stopword2 = file.read().replace('\n', ', ') stop_words = " ".join((stopword1, stopword2, '코로나19', '코로나', '바이러스', '코로나바이러스', '감염증', '신종', '감염', '전염', '감염병', '전염병', '질병', '증후군', '관리', '하루', '발생', '발병', '중앙', '통제', '의료', '대응', '예방', '소독', '당국', '세계보건기구(WHO)', '중앙방역대책본부', '보건소', '에서', '우리나라', '한국', '국내', '첫', '좀처럼', '가까이', '서도', '육박', '돌파', '가운데', '통해', '처음', '선포', '단계', '조치', '사태', '체계', '당분간', '상황', '거주', '앵커', '기자', '뉴스', '보도', '방송', '특파원', '사진', '영상', '출처', '정부', '따르면', '예정', '공식', '발표', '오전', '오후', '지난', '오는', '오늘', '최근', '현재', '요즘', '날', '전날', '소식', '취재', '이날', '현지시간', '외신', '매체' '사례', '언론', '머니투데이', '헤럴드경제', '아시아경제', '로이터통신', '연합뉴스', '교도통신', 'NHK', '사우스차이나모닝포스트(SCMP)', '노동신문', '대통령', '장관', '[', ']', '?!', '.', '!', ':', '...', '?', ',', '‥', '?)..', ')')) df['제목_명사'] = df['제목_명사'].map(lambda x : [word for word in x if word not in stop_words]) df['본문_명사'] = df['본문_명사'].map(lambda x : [word for word in x if word not in stop_words])

from collections import Counter c = Counter() word_list = sum(df['제목_명사'], []) c = Counter(word_list) c.most_common(100) word_list2 = sum(df['본문_명사'], []) c = Counter(word_list2) c.most_common(100)

from sklearn.feature_extraction.text import CountVectorizer from sklearn.decomposition import LatentDirichletAllocation

#LDA 는 Count기반의 Vectorizer만 적용 count_vectorizer = CountVectorizer(max_df=0.1, max_features=1000, min_df=2, ngram_range=(1,2)) # 2개의 문서 미만으로 등장하는 단어는 제외, 전체의 10% 이상으로 자주 등장하는 단어는 제외 # bigram도 포함 feat_vect = count_vectorizer.fit_transform(word_list) print('CountVectorizer Shape:', feat_vect.shape) #CountVectorizer Shape: (16807, 940)

lda = LatentDirichletAllocation(n_components=6) # 토픽 수는 6개로 설정 lda.fit(feat_vect)

def display_topics(model, feature_names, num_top_words): for topic_index, topic in enumerate(model.components_): print('Topic #', topic_index) # components_ array에서 가장 값이 큰 순으로 정렬했을 때, 그 값의 array index를 반환. topic_word_indexes = topic.argsort()[::-1] top_indexes=topic_word_indexes[:num_top_words] # top_indexes대상인 index별로 feature_names에 해당하는 word feature 추출 후 join으로 concat feature_concat = ' '.join([feature_names[i] for i in top_indexes]) print(feature_concat) # CountVectorizer객체내의 전체 word들의 명칭을 get_features_names( )를 통해 추출 feature_names = count_vectorizer.get_feature_names() # Topic별 가장 연관도가 높은 word를 10개만 추출 display_topics(lda, feature_names, 10)

Topic # 0 중국 환자 비상 공항 연휴 증시 중국인 인천 추가 여행 Topic # 1 공포 봉쇄 속보 검역 사망 입국 비상사태 전역 격리 의료진 Topic # 2 확진 확산 사망자 의심 사스 증상 미국 음성 우려 확인

import pyLDAvis.sklearn # sklearn의 ldamodel에 최적화된 라이브러리 pyLDAvis.enable_notebook() vis = pyLDAvis.sklearn.prepare(lda, feat_vect, count_vectorizer) pyLDAvis.display(vis)

# 문서별로, 가장 확률이 높은 topic으로 할당해줌 doc_topic = lda.transform(feat_vect) doc_per_topic_list = [] for n in range(doc_topic.shape[0]): topic_most_pr = doc_topic[n].argmax() topic_pr = doc_topic[n].max() doc_per_topic_list.append([n, topic_most_pr, topic_pr]) doc_topic_df = pd.DataFrame(doc_per_topic_list, columns=['Doc_Num', 'Topic', 'Percentage']) doc_topic_df.head()

doc_topic_df = doc_topic_df.join(review_df) doc_topic_df.head()

doc_topic_df_C2.groupby('Topic')[['Doc_Num']].count()

from wordcloud import WordCloud # matplotlib.pyplot 모듈의 각각 함수를 사용하여 간편하게 그래프를 만들 수 있다. import matplotlib.pyplot as plt # collections 모듈의 counter 클래스는 주어진 단어에 포함된 각 글자의 수를 세어준다. from collections import Counter from konlpy.tag import Okt from PIL import Image import numpy as np

#제목 열 워드클라우드 word_list = sum(df['제목_명사'], []) c = Counter(word_list) word_dictionary = c.most_common(100) word_dict = {word_dictionary[i][0]: word_dictionary[i][1] for i in range(0, len(word_dictionary))} wc = WordCloud(font_path = 'NanumGothic.ttf', background_color = 'white') #폰트지정 gen = wc.generate_from_frequencies(word_dict) plt.figure() plt.imshow(gen)