DATA101

📝 목차 Update Log 1. 주요 기능 2. 크롬 설치 3. 전체 코드 4. 패키지 설치 5. 코드 설명 🛠 Update Log 👏 Version 1.0.1 @ 2022-10-11 (1) 콘텐츠 조회수 및 업로드일 추출 로직 추가 Heo Jin 님 요청사항으로 추가 및 테스트 완료하였습니다. 1. 주요 기능 본 포스팅에서는 유튜브 검색 결과 콘텐츠의 정보를 수집하는 Scraper를 개발합니다. ※ Scrap이란?('더보기' 클릭) 더보기 Scrap[스크랩]은 웹 페이지에서 특정 데이터를 가져오는 행동을 말합니다. 이처럼 Data Scraping을 하는 프로그램을 Data Scraper 또는 Web Scraper라고 부릅니다. (1) 수집 데이터 종류 - 콘텐츠 제목 - 콘텐츠 링크 - 조회수 - 업..

들어가며 PySpark, 데이터 분석/엔지니어링 혹은 인공지능 분야에 관심 있으신 분들은 한 번쯤 들어보셨을 기술 스택이죠. 이번 포스팅에서는 PySaprk의 개념과 주요 기능을 이해할 수 있도록 정리하고자 합니다. 1. PySpark 개념 PySpark는 Python 환경에서 Apache Spark를 사용할 수 있는 인터페이스입니다. 즉, PySpark는 Spark용 API이기 때문에 PySpark 개념을 이해하려면 Spark에 대해 이해해야 합니다. Apache Spark 개념 Apache Spark는 대용량의 데이터를 고속으로, 효율적으로 처리하는 빅데이터 분산처리 플랫폼(Distributed Computing Platform)입니다. Apache Spark는 데이터를 하드디스크가 아닌 메모리에 캐..

안녕하세요!오늘은 파이썬(주피터 노트북)을 기반으로 직접 코딩한 구글 플레이 스토어 웹 크롤러 코드를 공유합니다.📝 목차1.  업데이트 Log2.  주요 기능3.  전체 코드4.  필수 초기 세팅5.  코드 및 설명1.  업데이트 Log📌 Last Updated @2024-11-05업데이트 일자 기준으로 구글 플레이 스토어 App 리뷰 데이터 수집 최신 Python 코드는 추가 업데이트되지 않을 예정이며,앞으로는 아래의 DATA101 서비스를 통해 코드 한 줄 없이 App 리뷰 데이터를 수집해 보세요 :) Last Updated @2022-08-24더보기미국 구글 플레이 스토어 크롤러 추가: Github 내 dev_us 브랜치 참고Last Updated @2022-08-21더보기@K1ddong 님께서..

관계형 데이터베이스 관리 시스템이란? RDBMDS(Relational Database Management System), 관계형 데이터베이스 관리 시스템은 말 그대로 관계형 데이터베이스를 유지보수하는 데 사용되는 프로그램입니다. 즉, RDBMS는 SQL 쿼리문을 활용해 데이터베이스 내 데이터를 생성, 업데이트, 삭제하는 프로그램이죠. 대중적으로 알려진 RDBMS 프로그램으로는 MySQL, Oracle, PostgreSQL, SQLite, Microsoft SQL Server 등이 있습니다. 데이터베이스 테이블이란? 데이터베이스 테이블(Database Table)은 행(row)과 열(column)로 구성된 데이터 묶음입니다. 데이터베이스는 여러 테이블을 포함합니다. 하나의 열은 데이터에 대한 구체적인 정보..

필독! 안녕하세요, 구글 플레이 스토어 웹 페이지 구조가 변경됨에 따라 현재 포스팅에 업로드한 크롤러는 작동하지 않습니다. 개편된 웹 페이지 구조를 고려하여 크롤러를 업데이트하였습니다. 아래 포스팅을 참고해 주세요! 감사합니다. https://heytech.tistory.com/293 [Python] 구글 플레이 스토어 웹 크롤러 코드 Version2 안녕하세요! 오늘은 파이썬(주피터 노트북)을 기반으로 직접 코딩한 구글 플레이 스토어 웹 크롤러 코드를 공유합니다. 📝 목차 1. 업데이트 Log 2. 주요 기능 3. 전체 코드 4. 필수 초기 세팅 5. heytech.tistory.com 안녕하세요! 오늘은 파이썬(주피터 노트북)을 기반으로 직접 코딩한 구글 플레이 스토어 웹 크롤러 코드를 공유합니다. ..