DATA101

👋 안녕하세요, 빅데이터 분석 플랫폼을 만들고 있는 DATA101 팀입니다.😊 직접 Text 데이터를 분석하는 과정별로 어떤 불편한 점이 있는지 경험담을 들려주세요 :)👨‍💻 주관식을 포함한 모든 설문 항목에 성실하게 답변해 주신 모든 분들께 네이버 페이 쿠폰 10,000원을 발송해 드립니다💸 📍 소요시간 : 10분 내외📆 참여기간 : ~'24년 10월 29일 23시 59분까지✅ 쿠폰지급 : 참여 후 72시간 내 주1) 주관식 답변 미작성 or 질문과 무관한 답변 시 쿠폰 미발송주2) 목표 설문응답 수 달성 시 참가자 모집이 조기에 종료되며 중복 참여 불가 👉 설문 참여 링크 : https://walla.my/v/mLImX8T0KzQL4Hwv5sjn?source=J7t8n Text 빅데이터..

👨‍💻 1.  개요본 포스팅에서는 파이썬 matplotlib.pyplot 패키지를 활용한 시각화 자료 저장 시 자료 내 불필요한 여백을 제거하는 방법에 대해 다룹니다.🤖 2.  문제점아래 (그림 1)과 같이, matplotlib 옵션 설정 없이 시각화 자료를 저장하게 되면 그래프 주변 사방으로 불필요한 여백이 많은 것을 확인할 수 있습니다. 이는 보고서나 대시보드 등에 활용 시 다른 차트들과의 심미성 있는 조화를 방해하는 요소가 되기도 합니다. [예시 코드 - savefig 메소드 옵션 미설정]# 패키지 설치 필요 : pip install matplotlibimport matplotlib.pyplot as plt# 그래프 생성plt.plot([1, 2, 3, 4])plt.ylabel('some nu..

💡 들어가며 본 포스팅에서는 데이터를 월 단위로 카운팅하고 이를 시각화하는 방법을 소개합니다. 1. 패키지 import import pandas as pd import numpy as np import matplotlib.pyplot as plt 2. 데이터셋 불러오기 포스팅에서 사용되는 데이터셋은 공유가 불가하오니 학습 목적으로만 봐주시길 바랍니다. DATASET = pd.read_csv('./dataset_app_review.csv') DATASET.head() 3. 데이터 타입 확인 DATASET.dtypes 아래와 같이, 날짜 정보(date)는 현재 정수형(int)입니다. 편리하게 날짜형 데이터를 처리하기 위하여 이를 datetime 타입으로 바꿔줄 필요가 있습니다. 4. 데이터 타입 변경 "연-..

💡 들어가며 Numpy 패키지의 where 함수를 사용하면 데이터프레임에서 특정 조건에 맞는 인덱스를 찾거나, 해당 인덱스의 값을 쉽게 바꿀 수 있습니다. 기본적으로 numpy 패키지 설치 및 import는 필수입니다. !pip install numpy import numpy as np 1. 조건에 맞는 인덱스 반환 아래와 같이 조건문을 입력하면, 조건에 해당되는 인덱스를 반환합니다. np.where(조건문) 아래와 같은 데이터셋이 있을 때, THK 칼럼 내 값이 30보다 큰 값의 인덱스를 조회해 보면 아래와 같습니다. np.where(30 < DATASET_RAW['THK']) 2. 조건에 따라 데이터 인코딩 아래와 같이, 조건문과 함께 조건문이 참 혹은 거짓일 경우 각각 데이터를 변환할 값을 입력해 ..

📌 Text 빅데이터분석 플랫폼 베타테스트 참가자 모집 중!(네이버페이 4만 원 전원 지급) 👋 안녕하세요, 코딩이 필요 없는 AI/빅데이터 분석 All in One 플랫폼  개발팀입니다.😊 저희 서비스를 사용해 보시고 경험담을 들려주세요 :)💸 참여해 주신 "모든" 분들께 네이버페이 4만 원 쿠폰을 지급해 드립니다.👨‍💻 참여 희망 시 카톡플러스친구 1:1 채팅 or 인스타그램 DM 부탁드립니다 :)📆 참여기간 : 11/25(월)~11/29(금) 11:00~21:00 중 택1 (1시간 1타임)👉 참여장소 : 강남역 인근 스터디카페 미팅Room📍 소요시간 : 총 40분 내외(서비스 체험 및 인터뷰 포함)✅ 참가조건 : Text 빅데이터 분석 업무 경험자👉 참가 가능일정 조회하기 : ht..

📌 들어가며 본 포스팅에서는 Boxplot를 해석하는 방법에 대해 알아봅니다. 아래 그림 1과 같이 세로축은 특정 값의 범위를 나타내고, 이 범위 내에서 데이터는 주로 파란색 박스 안에 분포합니다. 파란색 박스 가운데 노란색 직선으로 표시한 부분이 데이터의 중앙값(Median)이 됩니다. 박스 최상단은 제3 사분위수(Q3, 75th percentile), 최하단은 제1 사분위수(Q1, 25th percentile)입니다. 사분위수(Quantile)란 전체 데이터를 오름차순 정렬한 다음 25%씩 동일한 비율로 데이터를 나눈 것입니다. 즉, 제1 사분위수(Q1)는 가장 작은 데이터부터 전체 중 25% 비율만큼의 데이터를(25%) 의미하고, 제3 사분위수(Q3)는 중앙값(50%)에서부터 25% 비율만큼의 데이..

📝 목차 Update Log 1. 주요 기능 2. 크롬 설치 3. 전체 코드 4. 패키지 설치 5. 코드 설명 🛠 Update Log 👏 Version 1.0.1 @ 2022-10-11 (1) 콘텐츠 조회수 및 업로드일 추출 로직 추가 Heo Jin 님 요청사항으로 추가 및 테스트 완료하였습니다. 1. 주요 기능 본 포스팅에서는 유튜브 검색 결과 콘텐츠의 정보를 수집하는 Scraper를 개발합니다. ※ Scrap이란?('더보기' 클릭) 더보기 Scrap[스크랩]은 웹 페이지에서 특정 데이터를 가져오는 행동을 말합니다. 이처럼 Data Scraping을 하는 프로그램을 Data Scraper 또는 Web Scraper라고 부릅니다. (1) 수집 데이터 종류 - 콘텐츠 제목 - 콘텐츠 링크 - 조회수 - 업..

들어가며 PySpark, 데이터 분석/엔지니어링 혹은 인공지능 분야에 관심 있으신 분들은 한 번쯤 들어보셨을 기술 스택이죠. 이번 포스팅에서는 PySaprk의 개념과 주요 기능을 이해할 수 있도록 정리하고자 합니다. 1. PySpark 개념 PySpark는 Python 환경에서 Apache Spark를 사용할 수 있는 인터페이스입니다. 즉, PySpark는 Spark용 API이기 때문에 PySpark 개념을 이해하려면 Spark에 대해 이해해야 합니다. Apache Spark 개념 Apache Spark는 대용량의 데이터를 고속으로, 효율적으로 처리하는 빅데이터 분산처리 플랫폼(Distributed Computing Platform)입니다. Apache Spark는 데이터를 하드디스크가 아닌 메모리에 캐..