목록AI & 빅데이터 (113)
Hey Tech
오늘은 파이썬을 통해 이모티콘을 텍스트로, 텍스트를 이모티콘으로 변환하는 방법을 공유해 드립니다. 바로 시작하죠! 목차 1. emoji 라이브러리 설치 2. emoji 라이브러리 import 3. emoji-text 변환 3.1. emoji to text 3.2. text to emoji References 1. emoji 라이브러리 설치 pip install emoji 2. emoji 라이브러리 import import emoji 3. emoji-text 변환 3.1. emoji to text print(emoji.demojize('🍎')) print(emoji.demojize('🐶')) print(emoji.demojize('❤️')) emoji 라이브러리 내 demojize 메서드를 이용하여 텍스트..
본 포스팅에서는 KoNLPy 라이브러리 내 Mecab 형태소 분석기의 고유명사 추가 방법을 알아봅니다. 목차 1. Mecab 고유명사 사전 접근 2. 고유명사 사전 등록하기 3. 고유명사 사전 업데이트 4. (Optional) 고유명사 사전 등록여부 확인 1. Mecab 고유명사 사전 접근 Mecab 폴더 접근 cd /Users/[USER_NAME]/mecab-ko-dic-2.1.1-20180720 먼저, 터미널/커맨드라인을 통해 mecab 설치 위치에 접근해 줍니다. mecab 설치 시에 파일 경로를 바꾸시지 않았다면 위와 같이 PC 사용자 ID 폴더에 위치해 있습니다. 저와 mecab 버전이 달라 폴더 이름이 다를 수 있으니 참고만 하시길 바랍니다. 고유명사 사전 접근 cd user-dic vi nn..
오늘은 파이썬 pandas 라이브러리를 통해 엑셀에서 특정 열(column)이나 행(row)을 불러오는 방법을 공유해 드립니다. 바로 시작하죠! 1. pandas 라이브러리 import import pandas as pd pandas 설치가 안된 경우: 아래 코드를 커맨드라인/터미널/주피터노트북 환경 중에서 설치부터 진행해 주세요. pip install pandas 2. 데이터셋 불러오기 # 파일이 xlsx 형식인 경우, dataset = pd.read_excel([파일경로], sheet_name = [불러올 시트 이름]) # 파일이 csv 형식인 경우, dataset = pd.read_csv([파일경로], sheet_name = [불러올 시트 이름]) 파일 경로를 대괄호([]) 안에 따옴표('')안에 ..
안녕하세요, 오늘부터 SQLite Studio 환경에서 SQL 구문을 연습해 보는 시간을 갖도록 하겠습니다. SQLite Studio 및 연습용 데이터베이스를 아직 설치하지 않으신 분들은 아래 포스팅을 참고해 주세요 :) heytech.tistory.com/11 [SQL] SQLite 및 연습용 데이터셋 설치하기! 오늘부터 SQLite 데이터베이스를 활용하여 SQL의 기본적인 문법을 빠르고 쉽게 전달해 드립니다. 바로 시작하죠! 목차 1. SQLite란? 2. SQLite 설치 3. SQLite Studio 설치 4. 연습용 DB 설치: Baseball Databank.. heytech.tistory.com 그럼 바로 시작하죠! SELECT: 출력 데이터 선택 SELECT * FROM Salaries L..
오늘부터 SQLite 데이터베이스를 활용하여 SQL의 기본적인 문법을 빠르고 쉽게 전달해 드립니다. 바로 시작하죠! 목차 1. SQLite란? 2. SQLite 설치 3. SQLite Studio 설치 4. 연습용 DB 설치: Baseball Databank 1. SQLite란? SQLite는 흔히 아시는 MySQL이나 PostgreSQL과 유사한 *관계형 데이터베이스(Relational Database, RDB) 관리 시스템의 일종입니다. * 관계형 데이터베이스란? 관계형 데이터베이스는 서로 관계(relataionship)가 있는 여러 테이블(table)들을 포함한 데이터 집합을 의미합니다. 더보기 위의 스크린샷 속 데이터베이스는 앞으로 다루게 될 오픈소스 데이터베이스로서 미국 최대 야구리그인 메이저리..
📚 목차 1. KoNLPy setup 1.1. KoNLPy 설치 1.2. KoNLPy import 1.3. 형태소 분석기 비교 2. 형태소별 토큰화(tokenization)하기 2.1. 토큰화 without 품사 태깅 2.2. 토큰화 with 품사 태깅 2.3. 명사만 추출하기 1. KoNLPy setup 1.1. KoNLPy 설치 KoNLPy 라이브러리가 설치되어 있지 않는 분들은 아래 링크를 참고하셔서 설치해 주시길 바랍니다. heytech.tistory.com/3 [Python/NLP] MacOS에서 KoNLPy 설치하기 오늘은 한국어 자연어처리(NLP)를 위한 파이썬 라이브러리 KoNLPy를 MacOS에서 설치하는 방법을 공유합니다. 1. 사전 설치항목 1.1. MacOS/Linux 패키지 매니저..
오늘은 파이썬을 기반으로 텍스트 내 이모티콘/이모지를 제거하는 방법을 공유해 드립니다. 들어가며... 지난 포스팅에서 구글 번역기 API를 활용하던 중 이모티콘이 포함된 텍스트 데이터의 경우, 정상적으로 번역이 되지 않는 것을 확인하였습니다. 이는 구글 번역기 API가 텍스트 내 이모티콘 데이터를 처리하지 못 하는 것으로 사료됩니다. 이모티콘 제거 코드 # Remove emoticons def remove_emoji(inputString): return inputString.encode('ascii', 'ignore').decode('ascii') print(remove_emoji('🏡 corpo')) 코드는 정말 심플하죠. ASCII 코드에 해당하지 않은 입력 데이터를 모두 무시(제거)하고 출력해 주는..