| ์ผ | ์ | ํ | ์ | ๋ชฉ | ๊ธ | ํ |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- ์ฝํ
- ์ฝ๋ฉํ ์คํธ
- ๋ฐ์ดํฐ ๋ถ์
- erp
- DFS
- ํ ์คํธ๋ง์ด๋
- sap
- tableau
- ์๋ฐ์คํฌ๋ฆฝํธ
- ๊นํ๋ธ
- ๋ฅ๋ฌ๋
- ๋ฐฑ์ค
- ํ๋ธ๋ก
- react
- ๋ฆฌ์กํธ
- ์๊ณ ๋ฆฌ์ฆ
- nlp
- ๋น ๋ฐ์ดํฐ
- ํ์ด์ฌ
- Git
- ํ ์คํธ๋ถ์
- ํ๋ธ๋ฃจ
- ์ธ๊ณต์ง๋ฅ
- ๋ฐ์ดํฐ๋ถ์
- ์์ฐ์ด์ฒ๋ฆฌ
- abap
- ์๋ง์กด์น์๋น์ค
- AI
- AWS
- github
- Today
- Total
๋ชฉ๋ก๋ถ์ฐ์ฒ๋ฆฌ (1)
Hey Tech
PySpark ๊ฐ๋
๋ฐ ์ฃผ์ ๊ธฐ๋ฅ(+Apache Spark)
๋ค์ด๊ฐ๋ฉฐ PySpark, ๋ฐ์ดํฐ ๋ถ์/์์ง๋์ด๋ง ํน์ ์ธ๊ณต์ง๋ฅ ๋ถ์ผ์ ๊ด์ฌ ์์ผ์ ๋ถ๋ค์ ํ ๋ฒ์ฏค ๋ค์ด๋ณด์ จ์ ๊ธฐ์ ์คํ์ด์ฃ . ์ด๋ฒ ํฌ์คํ ์์๋ PySaprk์ ๊ฐ๋ ๊ณผ ์ฃผ์ ๊ธฐ๋ฅ์ ์ดํดํ ์ ์๋๋ก ์ ๋ฆฌํ๊ณ ์ ํฉ๋๋ค. 1. PySpark ๊ฐ๋ PySpark๋ Python ํ๊ฒฝ์์ Apache Spark๋ฅผ ์ฌ์ฉํ ์ ์๋ ์ธํฐํ์ด์ค์ ๋๋ค. ์ฆ, PySpark๋ Spark์ฉ API์ด๊ธฐ ๋๋ฌธ์ PySpark ๊ฐ๋ ์ ์ดํดํ๋ ค๋ฉด Spark์ ๋ํด ์ดํดํด์ผ ํฉ๋๋ค. Apache Spark ๊ฐ๋ Apache Spark๋ ๋์ฉ๋์ ๋ฐ์ดํฐ๋ฅผ ๊ณ ์์ผ๋ก, ํจ์จ์ ์ผ๋ก ์ฒ๋ฆฌํ๋ ๋น ๋ฐ์ดํฐ ๋ถ์ฐ์ฒ๋ฆฌ ํ๋ซํผ(Distributed Computing Platform)์ ๋๋ค. Apache Spark๋ ๋ฐ์ดํฐ๋ฅผ ํ๋๋์คํฌ๊ฐ ์๋ ๋ฉ๋ชจ๋ฆฌ์ ์บ..