티스토리

기록으로 기억하기

검색하기

블로그 홈

기록으로 기억하기

chocolemon.tistory.com/m

What you WRITE remains.

구독자: 0

방명록 방문하기

주요 글 목록

[텍스트 마이닝-시각화] 워드클라우드 만들기 패키지 임포트import pandas as pd from wordcloud import WordCloud, ImageColorGenerator from PIL import Image import matplotlib.pyplot as plt import numpy as np from PIL import * 단어명과 빈도가 있는 데이터 불러오기df = pd.read_csv("저장경로/파일명.txt", sep='\t', encoding='UTF-8') df 단어명과 빈도로 딕셔너리 객체 생성. (단어 개수가 많을 경우 적당량만 새 데이터프레임에 담아서 사용해도 됨.)dict = dict(zip(list(df['명사']), list(df['빈도']))) dict 워드 클라우드를 만들고 싶은 모양이 있을 경우 이.. 공감수 0 댓글수 0 2023. 12. 27.
[공간 분석-데이터 전처리] 출발지와 도착지로 이동 경로 집계 후 LineString 객체 생성(geopandas) import pandas as pd import numpy as np from tqdm.notebook import tqdm import re import sys from collections import Counter import geopandas as gpd from shapely.geometry import LineString df = pd.read_excel("저장경로/파일명.xlsx") print(df.shape) print(df.shape) df_count = df.groupby('출발지-도착지_코드', as_index=False).count() df_count df_journey_uniq = df[['출발지-도착지_코드','출발지명','도착지명']].drop_duplicates() df_jo.. 공감수 0 댓글수 0 2023. 12. 27.
[텍스트 마이닝-정제] 주제와 관련 없는 문서 제거하기 데이터 불러오기df = pd.read_csv("저장경로/파일명.txt", sep='\t', encoding='UTF-8) df 데이터에서 주제와 관련 없다고 생각되는 단어가 들어간 문서 찾기# 데이터프레임의 '본문' 칼럼에서 주제와 관련 없는 단어가 들어간 문서의 인덱스를 찾는 작업. 원하는 단어를 and 뒤 코드를 수정하면서 계속 붙여넣으면 됨. find_ad = [i for i in range(len(df)) if '단어1' in df['본문'][i] and '단어2' not in df['본문'][i] and ... 반복] # 찾아낸 문서의 개수와 앞 10개 문서 인덱스만 확인하기 print(len(find_ad), find_ad[:10]) 인덱스 값으로 주제 삭제 후 새로운 데이터 프레임 생성 (원.. 공감수 0 댓글수 0 2023. 12. 27.
기상 관련 데이터 웹사이트 기상청 기상자료개방포털 https://data.kma.go.kr/ 기상자료개방포털 data.kma.go.kr 공감수 0 댓글수 0 2023. 12. 27.
[텍스트 마이닝-지표 산출] TF-IDF 계산 및 문서 개수 합계 산출 패키지 임포트import pandas as pd import numpy as np import re import sys from tqdm.notebook import tqdm from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer, TfidfTransformer 데이터 불러오기df = pd.read_csv("저장경로/파일명.txt", sep='\t', encoding='UTF-8') # print(df.shape, df.columns) corpus = df['morphs'].to_list() print(len(corpus), type(corpus[0])) df.head() 불용어 데이터 불러오기대명사 = pd.read_cs.. 공감수 0 댓글수 0 2023. 11. 17.
[텍스트 마이닝-시각화] Ucinet으로 CONCOR 시각화 https://chocolemon.tistory.com/143 [텍스트 마이닝-분석] 단어동시출현행렬 및 CONCOR 분석SNS 텍스트 분석을 하다 보면 텍스트 데이터에서 네트워크 분석이 필요할 때가 있습니다. 여러 개의 네트워크 분석 기법 중, 전체 데이터 내에서 유사한 맥락과 연결구조패턴을 갖고 있는 단어들chocolemon.tistory.com위 포스트에서 만든 파일을 가지고 CONCOR 분석과 시각화를 진행합니다. Ucinet 프로그램을 다운받습니다. 최신 파일을 다운받으시면 됩니다. https://sites.google.com/site/ucinetsoftware/download Analytic Technologies - DownloadTO DOWNLOAD, PRESS THE RED DOWNLOA.. 공감수 0 댓글수 0 2023. 10. 23.
[코딩 테스트] SQL - 프로그래머스 Lv.4 프로그래머스 코딩 테스트 MySQL: JOIN 보호소에서 중성화한 동물 보호소에서 중성화 수술을 거친 동물 정보를 알아보려 합니다. 보호소에 들어올 당시에는 중성화되지 않았지만, 보호소를 나갈 당시에는 중성화된 동물의 아이디와 생물 종, 이름을 조회하는 아이디 순으로 조회하는 SQL 문을 작성해주세요. select A.ANIMAL_ID, A.ANIMAL_TYPE, A.NAME from ANIMAL_INS A inner join ANIMAL_OUTS B on A.ANIMAL_ID = B.ANIMAL_ID where A.SEX_UPON_INTAKE B.SEX_UPON_OUTCOME order by A.ANIMAL_ID; 프로그래머스 코딩 테스트 MySQL: GROUP BY 식품분류별 가장 비싼 식품의 정보 .. 공감수 0 댓글수 0 2023. 10. 19.
[코딩 테스트] SQL - 프로그래머스 Lv.3 프로그래머스 코딩테스트 MySQL: JOIN 오랜 기간 보호한 동물(1) 아직 입양을 못 간 동물 중, 가장 오래 보호소에 있었던 동물 3마리의 이름과 보호 시작일을 조회하는 SQL문을 작성해주세요. 이때 결과는 보호 시작일 순으로 조회해야 합니다. # 입양을 못 간 동물 = INS에는 이름이 있지만 OUTS에는 이름이 없는 동물 select NAME, DATETIME from ANIMAL_INS where ANIMAL_ID not in (select ANIMAL_ID from ANIMAL_OUTS) order by DATETIME LIMIT 3; 프로그래머스 코딩테스트 MySQL: GROUP BY 카테고리 별 도서 판매량 집계하기 2022년 1월의 카테고리 별 도서 판매량을 합산하고, 카테고리(CATE.. 공감수 0 댓글수 0 2023. 10. 19.
[코딩 테스트] SQL - 프로그래머스 Lv.2 프로그래머스 코딩테스트 MySQL: SUM, MAX, MIN 동물 수 구하기 동물 보호소에 동물이 몇 마리 들어왔는지 조회하는 SQL 문을 작성해주세요. select count(ANIMAL_ID) as count from ANIMAL_INS; 프로그래머스 코딩테스트 MySQL: SUM, MAX, MIN 최솟값 구하기 동물 보호소에 가장 먼저 들어온 동물은 언제 들어왔는지 조회하는 SQL 문을 작성해주세요. select DATETIME as 시간 from ANIMAL_INS order by DATETIME ASC LIMIT 1; 프로그래머스 코딩테스트 MySQL: SUM, MAX, MIN 중복 제거하기 동물 보호소에 들어온 동물의 이름은 몇 개인지 조회하는 SQL 문을 작성해주세요. 이때 이름이 NULL인.. 공감수 0 댓글수 0 2023. 10. 19.
[코딩 테스트] SQL -프로그래머스 Lv.1 프로그래머스 코딩테스트 연습 MySQL: IS NULL 나이 정보가 없는 회원 수 구하기 USER_INFO 테이블에서 나이 정보가 없는 회원이 몇 명인지 출력하는 SQL문을 작성해주세요. 이때 컬럼명은 USERS로 지정해주세요. SELECT count(USER_ID) as USERS from USER_INFO where AGE is null; 프로그래머스 코딩테스트 연습 MySQL: IS NULL 이름이 있는 동물의 아이디 동물 보호소에 들어온 동물 중, 이름이 있는 동물의 ID를 조회하는 SQL 문을 작성해주세요. 단, ID는 오름차순 정렬되어야 합니다. select ANIMAL_ID from ANIMAL_INS where NAME is not null order by ANIMAL_ID; 프로그래머스 .. 공감수 0 댓글수 0 2023. 10. 19.
[텍스트 마이닝-분석] 한글 N-gram 분석 N-gram은 언어 모델을 만들 때 쓰이는 확률론적 언어 모형입니다. 몇 개의 단어를 묶느냐에 따라서 Unigram(1), Bigram(2), Ngram(3개 이상) 등으로 불립니다. https://datascienceschool.net/03%20machine%20learning/03.01.05%20%ED%99%95%EB%A5%A0%EB%A1%A0%EC%A0%81%20%EC%96%B8%EC%96%B4%20%EB%AA%A8%ED%98%95.html 확률론적 언어 모형 — 데이터 사이언스 스쿨.ipynb .pdf to have style consistency -->datascienceschool.net 영어의 경우 NLTK 내에 Ngram 생성 명령이 있지만 한글은! .. ... 없습니다. (😂) 하지만, .. 공감수 0 댓글수 0 2023. 9. 18.
[텍스트 마이닝-분석] 단어동시출현행렬 및 CONCOR 분석 SNS 텍스트 분석을 하다 보면 텍스트 데이터에서 네트워크 분석이 필요할 때가 있습니다. 여러 개의 네트워크 분석 기법 중, 전체 데이터 내에서 유사한 맥락과 연결구조패턴을 갖고 있는 단어들끼리 그룹화하는 기법을 CONCOR 분석이라고 합니다. https://www.kipa.re.kr/site/kipa/research/selectPublishView.do?gubun=KI&pblcteId=PUBL_000000000000572 KIPA조사포럼(~2022) - 한국행정연구원초연결사회에서 사회조사가 나아갈 방향 주제 심층분석 ㆍ인포그래픽스 - 초연결사회란 무엇인가 - 초연결사회에서의 소셜 커넥션 - 초연결사회에서의 정보원 - 초연결사회에서의 생www.kipa.re.kr 이번에는 CONCOR 분석에 필요한 단어동.. 공감수 0 댓글수 0 2023. 9. 18.
[텍스트 마이닝-분석] TF-IDF: sklearn Tfidfvectorizer 사용 텍스트 마이닝을 할 때 분석 데이터가 크면 클수록 얻을 수 있는 정보의 양도 많아지지만, 데이터가 너무 많을 수록 쓸모 있는 정보를 찾아내기도 어려워집니다. 일상적으로 쓰이는 단어(나, 그, 저, 때, 등)같이 빈도는 많지만 그 중요도는 떨어지는 단어를 가려내는 데 유용하게 쓸 수 있는 게 바로 TF-IDF입니다. TF-IDF의 자세한 정의는 아래 문서에서 찾아보실 수 있습니다. https://wikidocs.net/31698 04-04 TF-IDF(Term Frequency-Inverse Document Frequency)이번에는 DTM 내에 있는 각 단어에 대한 중요도를 계산할 수 있는 TF-IDF 가중치에 대해서 알아보겠습니다. TF-IDF를 사용하면, 기존의 DTM을 사용하는 것보다 보다 많…wi.. 공감수 0 댓글수 0 2023. 9. 17.
[텍스트 마이닝-분석] 한글 형태소 분석: KoNLPy 전처리와 맞춤법 검사까지 끝났다면 이제는 텍스트 분석의 기초이자 제일 중요한 단계라고 할 수 있는 형태소 분석을 할 차례입니다. 한글 형태소 분석기는 매우 많습니다. 꼬꼬마, 한나눔, okt(구 트위터), mecab 등... 이 모든 형태소 분석기를 일일이 다운받으려면 너무나도 귀찮겠지만 ... 데이터 사이언티스트들을 위해 형태소 분석기를 한데 모아 패키지를 만들어주신 분들이 계십니다. https://github.com/konlpy/konlpy GitHub - konlpy/konlpy: Python package for Korean natural language processing. Python package for Korean natural language processing. - GitHub - ko.. 공감수 0 댓글수 0 2023. 9. 17.
[텍스트 마이닝-전처리] 한글 맞춤법 검사: Py-hanspell 영어와 달리 한글은 텍스트 분석이 매우 까다롭습니다. 한글은 맞춤법이 매우 까다롭고 복잡한데 sns 텍스트들은 맞춤법이 안 맞는 경우가 빈번해서 간혹 글의 본래 의도와 다르게 텍스트가 분석되는 경우가 있습니다. 이런 문제를 방지하기 위해 한글 텍스트 분석의 정확도를 높이기 위해서는 맞춤법 검사를 해주는 게 좋습니다. 연구용으로 사용 가능한 맞춤법 검사기 중 네이버 한글 맞춤법 검사기를 사용해보겠습니다. 사용법은 아주 간단합니다. py-hanspell 맞춤법 검사 라이브러리를 다운받고 실행하면 끝입니다. https://github.com/ssut/py-hanspell GitHub - ssut/py-hanspell: 파이썬 한글 맞춤법 검사 라이브러리. (네이버 맞춤법 검사기 사용) 파이썬 한글 맞춤법 검사.. 공감수 0 댓글수 0 2023. 9. 17.
[텍스트 마이닝-전처리] 불용어 제거 및 한글만 남기기: 파이썬 정규표현식 텍스트 분석을 할 때 텍스트가 수집된 채널의 종류에 따라 이모티콘이 많거나 특수문자가 많은 경우가 있습니다. 또한 파일로 저장하는 과정에서 문단 바꿈, 탭 등이 자바 언어나 다른 컴퓨터 언어로 표현되기도 합니다. 원하고자 하는 언어로 제대로 텍스트 분석을 하기 위해서는 이런 불순물들을 제거하는 작업이 반드시 필요합니다. 파이썬의 경우 re 모듈을 이용해서 정규표현식으로 문장 부호나 이모티콘 등을 제거할 수 있습니다. 필요한 패키지와 모듈을 임포트합니다. import pandas as pd import numpy as np import emoji # 이모지 제거용 import re from soynlp.normalizer import * #반복되는 자음 제거 import time from tqdm.note.. 공감수 0 댓글수 0 2023. 9. 17.
[텍스트 마이닝-수집] 네이버 블로그 크롤러(2) - 본문 수집 1차 크롤러 https://chocolemon.tistory.com/137 [텍스트 마이닝-수집] 네이버 블로그 크롤러(1) - 수집할 목록 만들기 텍스트 수집 자동화는 사실 '크롤러' 라고 이름 붙이기 애매하지만, 이미 크롤러 라는 단어가 일상적으로 쓰이고 있으므로 편의상 크롤러라고 칭하겠습니다. 이전에 올린 것은 코드를 반복 실행 chocolemon.tistory.com 이제 1차로 수집한 링크의 글들을 수집할 차례입니다. 제일 먼저 필요한 패키지와 모듈을 임포트합니다. import pandas as pd import numpy as np import time from tqdm.notebook import tqdm import random import urllib.request from seleniu.. 공감수 0 댓글수 0 2023. 9. 17.
[텍스트 마이닝-수집] 네이버 블로그 크롤러(1) - 수집할 목록 만들기 텍스트 수집 자동화는 사실 '크롤러' 라고 이름 붙이기 애매하지만, 이미 크롤러 라는 단어가 일상적으로 쓰이고 있으므로 편의상 크롤러라고 칭하겠습니다. 이전에 올린 것은 코드를 반복 실행해야 해서 함수로 만들어 편리성을 높였습니다. (↓ 이전 포스팅) https://chocolemon.tistory.com/105 [텍스트 마이닝-수집] 네이버 블로그 스크래핑 import pandas as pd import time import urllib.request from selenium.common.exceptions import NoSuchElementException, UnexpectedAlertPresentException, TimeoutException from selenium import webdrive.. 공감수 0 댓글수 0 2023. 9. 15.
[chrome driver 오류(?)] Chrome_BITS_?????? 폴더 생성 이걸 오류라고 부르는 게 맞는지 확실하지 않지만, 원래대로라면 삭제되어야 할 파일이 남아있는 것이니 오류가 맞긴 하다. chrome driver를 사용하다 보면 어느 날부터인가 C드라이브에 Chrome_BITS_?????(숫자) 폴더가 생성된 걸 발견했을 것이다. 이건 컴퓨터를 꺼도 지워지지도 않고, 무언가의 로그인 것 같기는 한데 폴더 명에 'Chrome'이 들어가 있으니 괜히 삭제했다가 크롬이 안 켜지는 게 아닐까 걱정도 되고... 여러모로 찝찝해서 검색하다가 이 글을 보게 됐을 것이다. 결론부터 말하자면, 이 폴더는 지워도 된다. 아-무런 문제가 발생하지 않는다. 안심하고 그냥 완전 삭제를 누르면 된다. (하지만 나는 크롬 전문가가 아니므로... 본인이 석연치 않다면 알아서 판단하기를.) 구글링해본.. 공감수 0 댓글수 0 2023. 9. 15.
[텍스트 마이닝-수집] 구글 학술 검색 인용 스크래핑 논문을 작성하다 보면 투고하는 학술지에 맞춰 레퍼런스 작성 양식이 달라지는 경우가 있습니다. 이럴 때 참고 문헌들의 인용을 양식에 맞는 걸로 매번 찾는다면 ... ... 엄청난 시간이 들게 되겠죠. 가뜩이나 시간도 없는데, 클릭해서 찾고, 복사하고, 붙여넣고, 다시 찾고, 복사, 붙여넣기 ... 생각만 해도 한숨이 절로 나옵니다. 컴퓨터가 알아서 참고 문헌 인용을 정리하는 동안 다른 일을 한다면 논문을 아주 빠르게 써낼 수 있을 텐데 그러지 못해 답답한 분들을 위해 구글 학술 검색 스크래핑 코드를 작성해 보았습니다. 먼저 필요한 패키지들을 임포트 해줍니다. import pandas as pd import numpy as np import time from tqdm.notebook import tqdm i.. 공감수 0 댓글수 0 2023. 9. 12.
[코딩 테스트] Python - 입문 - Day13, Day14 프로그래머스 코딩테스트 입문 13일차: 문자열, 배열, 사칙연산, 수학, 조건문 1. 컨트롤 제트def solution(s): numbers = [] for num in s.split(' '): try: numbers.append(int(num)) except: numbers.pop() return sum(numbers) 2. 배열 원소의 길이def solution(strlist): answer = [len(x) for x in strlist] return answer # lambda solution = lambda strlist: [len(x) for x in strlist] 3. 중복된 문자 제거def solution(my_string): answer = [] for i in range(len(my_.. 공감수 0 댓글수 0 2023. 9. 6.
[코딩 테스트] Python - 입문 - Day11, Day12 프로그래머스 코딩테스트 입문 11일차: 수학, 반복문 1. 주사위의 개수 def solution(box, n): answer = (box[0]//n)*(box[1]//n)*(box[2]//n) return answer 2. 합성수 찾기 def solution(n): num = [] count = 0 for i in range(2,n+1): for j in range(1,i+1): if i % j == 0 : num.append(i) if num.count(i) >=3: count += 1 return count 3. 최댓값 만들기(1) def solution(numbers): numbers.sort(reverse=True) answer = numbers[0]*numbers[1] return answer .. 공감수 0 댓글수 0 2023. 8. 4.
[코딩 테스트] Python - 입문 - Day9, Day10 프로그래머스 코딩테스트 입문 9일차: 수학, 문자열, 해시, 완전탐색, 조건문 1. 개미 군단# 장군개미 수 = hp//5, 병정개미 수 = (hp-(hp//5)*5)//3 def solution(hp): jang = hp//5 byeong = (hp-(jang*5))//3 il = hp-((jang*5)+(byeong*3)) answer = jang + byeong + il return answer 2. 모스 부호(1)morse = { '.-':'a','-...':'b','-.-.':'c','-..':'d','.':'e','..-.':'f', '--.':'g','....':'h','..':'i','.---':'j','-.-':'k','.-..':'l', '--':'m','-.':'n','---':'o'.. 공감수 0 댓글수 0 2023. 8. 4.
[코딩 테스트] Python - 입문 - Day7, Day8 프로그래머스 코딩테스트 입문 7일차: 문자열, 조건문, 수학, 반복문 1. 특정 문자 제거하기def solution(my_string, letter): answer = my_string.replace(letter, '') return answer 2. 각도기def solution(angle): if angle > 0 and angle 90 and angle < 180: answer = 3 elif angle == 180: answer = 4 return answer 3. 양꼬치def solution(n, k): answer = (12000*n) + 2000*(k-(n//10)) return answer.. 공감수 0 댓글수 0 2023. 7. 25.
[코딩 테스트] Python - 입문 - Day5, Day6 프로그래머스 코딩테스트 입문 5일차: 수학, 배열 1. 옷가게 할인 받기def solution(price:int): if price >= 500000: answer = int(price*0.8) elif price >= 300000: answer = int(price*0.9) elif price >= 100000: answer = int(price*0.95) else: answer = int(price) return answer 2. 아이스 아메리카노def solution(money): answer = [] answer.append(money//5500) answer.append(money%5500) return answer 3. 나이 출력def solution(age): answer = 2023-age.. 공감수 0 댓글수 0 2023. 7. 25.
[텍스트 마이닝-오류] 크롬드라이버 오류: 셀레니움 크롤링 실행시 scoped_dir 폴더 및 파일 생성 셀레니움으로 크롤링을 진행하던 도중, C드라이브에 빨간불이 떴다. 용량이 10기가도 안 남았다는데, 지난달 이후로는 c드라이브에 설치파일 종류를 제외하고는 무언가를 다운받은 적이 없었다. 대체 이게 무슨 일... 검색해보니 크롬드라이버 오류의 일종으로, c드라이브에 크롤링을 할 때마다 저장된 임시 파일들이 삭제되는 않는 오류였다. 나의 경우에는 C:/Program Files (x86)에 scoped_dir[숫자] 파일로 생성되었다. 크롬드라이버 버전을 바꾸거나, 귀찮으면 그냥 매일 해당 파일을 삭제하면 된다. 공감수 0 댓글수 0 2023. 5. 25.
[텍스트 마이닝-정제] Mecab-Ko 사전 품사 태그 출처: https://bitbucket.org/eunjeon/mecab-ko-dic/src/master/Bitbucketbitbucket.org 공감수 0 댓글수 0 2023. 3. 17.
[텍스트 마이닝-수집] 네이버 블로그 스크래핑 import pandas as pd import time import urllib.request from selenium.common.exceptions import NoSuchElementException, UnexpectedAlertPresentException, TimeoutException from selenium import webdriver from selenium.webdriver.common.by import By from tqdm.notebook import tqdm # 웹드라이버 설정 options = webdriver.ChromeOptions() options.add_experimental_option("excludeSwitches", ["enable-automation"]) opti.. 공감수 0 댓글수 0 2023. 3. 16.
[자연어 처리] 형태소 분석 시 주의사항 보통 자연어 처리를 할 때 여러 분석의 기본 데이터로 단어동시출현행렬(1-mode matrix)를 많이 활용한다. 이때 텍스트 데이터에 있는 모든 단어 혹은 형태소로 단어쌍을 추출할 경우 엄청난 시간이 소요되기 때문에 최소한의 불용어(예: 조사)를 제거하고 진행하는 게 일반적이다. 그런데 이때... 만약 나처럼 아무 생각 없이 모든 조사를 제거하면 '보다' 라는 동사/형용사나 '이다'라는 동사/형용사가 구해지지 않는 끔찍한.. 아니 끔찍까지는 아니어도 스트레스 지수가 치솟는 일이 발생할 수가 있다. ??? '보다'는 동사인데 왜 없지? '이다'는 형용사인데 왜 없지?!?!?!? .. ... 그렇다. '보다'는 조사에도 해당된다. 무턱대고 모든 조사를 삭제해버릴 경우, 사람들이 빈번하게 사용하는 '보다' .. 공감수 1 댓글수 0 2023. 2. 8.
[코딩 테스트] Python - 입문 - Day3, Day4 프로그래머스 코딩테스트 입문 3일차: 사칙연산, 배열, 수학 1. 나머지 구하기# 사용자 정의 함수 def solution(num1, num2): answer = num1 % num2 return answer # 람다 함수 solution = lambda num1, num2: num1%num2 2. 중앙값 구하기import numpy as np # 사용자 정의 함수 def solution(array): answer = np.median(array) return answer # 람다 함수 solution = lambda array: np.median(array) 3. 최빈값 구하기from collections import Counter # 하드 코딩 def solution(array): answer = C.. 공감수 0 댓글수 0 2023. 1. 3.

728x90

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.