๊ด€๋ฆฌ ๋ฉ”๋‰ด

๋ชฉ๋กtanh (2)

Hey Tech

[๋”ฅ๋Ÿฌ๋‹] ๊ธฐ์šธ๊ธฐ ์†Œ์‹ค(Vanishing Gradient)์˜ ์˜๋ฏธ์™€ ํ•ด๊ฒฐ๋ฐฉ๋ฒ•

๐Ÿ“Œ Text ๋น…๋ฐ์ดํ„ฐ๋ถ„์„ ํ”Œ๋žซํผ ๋ฒ ํƒ€ํ…Œ์ŠคํŠธ ์ฐธ๊ฐ€์ž ๋ชจ์ง‘ ์ค‘!(๋„ค์ด๋ฒ„ํŽ˜์ด 4๋งŒ ์› ์ „์› ์ง€๊ธ‰) ๐Ÿ‘‹ ์•ˆ๋…•ํ•˜์„ธ์š”, ์ฝ”๋”ฉ์ด ํ•„์š” ์—†๋Š” AI/๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ All in One ํ”Œ๋žซํผ  ๊ฐœ๋ฐœํŒ€์ž…๋‹ˆ๋‹ค.๐Ÿ˜Š ์ €ํฌ ์„œ๋น„์Šค๋ฅผ ์‚ฌ์šฉํ•ด ๋ณด์‹œ๊ณ  ๊ฒฝํ—˜๋‹ด์„ ๋“ค๋ ค์ฃผ์„ธ์š” :)๐Ÿ’ธ ์ฐธ์—ฌํ•ด ์ฃผ์‹  "๋ชจ๋“ " ๋ถ„๋“ค๊ป˜ ๋„ค์ด๋ฒ„ํŽ˜์ด 4๋งŒ ์› ์ฟ ํฐ์„ ์ง€๊ธ‰ํ•ด ๋“œ๋ฆฝ๋‹ˆ๋‹ค.๐Ÿ‘จ‍๐Ÿ’ป ์ฐธ์—ฌ ํฌ๋ง ์‹œ ์นดํ†กํ”Œ๋Ÿฌ์Šค์นœ๊ตฌ 1:1 ์ฑ„ํŒ… or ์ธ์Šคํƒ€๊ทธ๋žจ DM ๋ถ€ํƒ๋“œ๋ฆฝ๋‹ˆ๋‹ค :)๐Ÿ“† ์ฐธ์—ฌ๊ธฐ๊ฐ„ : 11/25(์›”)~11/29(๊ธˆ) 11:00~21:00 ์ค‘ ํƒ1 (1์‹œ๊ฐ„ 1ํƒ€์ž„)๐Ÿ‘‰ ์ฐธ์—ฌ์žฅ์†Œ : ๊ฐ•๋‚จ์—ญ ์ธ๊ทผ ์Šคํ„ฐ๋””์นดํŽ˜ ๋ฏธํŒ…Room๐Ÿ“ ์†Œ์š”์‹œ๊ฐ„ : ์ด 40๋ถ„ ๋‚ด์™ธ(์„œ๋น„์Šค ์ฒดํ—˜ ๋ฐ ์ธํ„ฐ๋ทฐ ํฌํ•จ)โœ… ์ฐธ๊ฐ€์กฐ๊ฑด : Text ๋น…๋ฐ์ดํ„ฐ ๋ถ„์„ ์—…๋ฌด ๊ฒฝํ—˜์ž๐Ÿ‘‰ ์ฐธ๊ฐ€ ๊ฐ€๋Šฅ์ผ์ • ์กฐํšŒํ•˜๊ธฐ : ht..

[Deep Learning] Activation Function ๊ฐœ๋… ๋ฐ ์ข…๋ฅ˜: sign, tanh, sigmoid, softmax, ReLU, Leaky ReLU

๐Ÿ“š ๋ชฉ์ฐจ 1. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ๊ฐœ๋… 2. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ์ข…๋ฅ˜ 2.1. Sign ํ•จ์ˆ˜ 2.2. Sigmoid ํ•จ์ˆ˜ 2.3. Tanh ํ•จ์ˆ˜ 2.4. Softmax ํ•จ์ˆ˜ 2.5. ReLU ํ•จ์ˆ˜ 2.6. Leaky ReLU ํ•จ์ˆ˜ 1. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ๊ฐœ๋… ํ™œ์„ฑํ™” ํ•จ์ˆ˜(Activation Function)๋ž€ ํผ์…‰ํŠธ๋ก (Perceptron)์˜ ์ถœ๋ ฅ๊ฐ’์„ ๊ฒฐ์ •ํ•˜๋Š” ๋น„์„ ํ˜•(non-linear) ํ•จ์ˆ˜์ž…๋‹ˆ๋‹ค. ์ฆ‰, ํ™œ์„ฑํ™” ํ•จ์ˆ˜๋Š” ํผ์…‰ํŠธ๋ก ์—์„œ ์ž…๋ ฅ๊ฐ’์˜ ์ดํ•ฉ์„ ์ถœ๋ ฅํ• ์ง€ ๋ง์ง€ ๊ฒฐ์ •ํ•˜๊ณ , ์ถœ๋ ฅํ•œ๋‹ค๋ฉด ์–ด๋–ค ๊ฐ’์œผ๋กœ ๋ณ€ํ™˜ํ•˜์—ฌ ์ถœ๋ ฅํ• ์ง€ ๊ฒฐ์ •ํ•˜๋Š” ํ•จ์ˆ˜์ž…๋‹ˆ๋‹ค. ํผ์…‰ํŠธ๋ก ์— ๋Œ€ํ•œ ์ž์„ธํ•œ ๋‚ด์šฉ์€ ์ด๊ณณ์„ ์ฐธ๊ณ ํ•ด ์ฃผ์„ธ์š”. ์•„๋ž˜ ๊ทธ๋ฆผ 1์— ๋…ธ๋ž€์ƒ‰์œผ๋กœ ์ƒ‰์น ํ•œ ๋ถ€๋ถ„์ด ํผ์…‰ํŠธ๋ก ์˜ ํ™œ์„ฑํ™” ํ•จ์ˆ˜ ๋ถ€๋ถ„์ž…๋‹ˆ๋‹ค. 2. ํ™œ์„ฑํ™” ํ•จ์ˆ˜์˜ ์ข…๋ฅ˜ 2.1. Sign ํ•จ์ˆ˜ ์œ„์˜ ํผ์…‰..