μ΅κ·Όμ μ κ° μ§μ€νκ³ μλ ν€μλλ μΈκ³΅μ§λ₯ κ·Έμ€μμλ λ₯λ¬λ μ λλ€.
μΈκ³΅μ§λ₯μ΄λ "μΈκ°μ΄ μννλ μ§μ μΈ μμ μ μλν"νλ κ²μ΄λΌκ³ μ μν μ μμ΅λλ€.
μΌλ°μ μΌλ‘ μΈκ³΅μ§λ₯ κ·Έ μ€μμλ λ₯λ¬λμ μκ°ν λ μΈκ°μ λμμ μκ°μ λ°μ λ§λ κΈ°μ λ‘ λ°μ΄ν°λ₯Ό νμ΅νμ¬ μ¨κ²¨μ§ ν¨ν΄μ μ°Ύμλ΄λ κΈ°μ μ΄λΌκ³ μ€λͺ ν©λλ€.
λ₯λ¬λ κΈ°μ μ μ΅νλ©΄μ μ λ§ μ¬λμ λλ μ΄λ»κ² μμ§μ΄λμ§ κΆκΈν΄μ‘μ΅λλ€. μ΄λ° κΆκΈμ¦μΌλ‘ μ½κΈ° μμν μ± μ΄ "λλ μ΄λ»κ² κ²°μ νλκ°?"μ λλ€. μ΄ μ± μμ μΈκ³΅ μ§λ₯ / λ₯λ¬λμ μ ν μΈκΈλμ§ μμ΅λλ€. μ μλ μ¬λμ λκ° λμνλ λ°©μμ μ¬λ‘λ₯Ό μ€μ¬μΌλ‘ μκ°ν©λλ€.
"λλ μ΄λ»κ² κ²°μ νλκ°?"λ 21μΈκΈ°λΆμ€μ¬ μμ λ²μν μ± μΌλ‘ 2016λ 07μμ μΆκ°λ μ± μ λλ€. μ΄ μ± μ λμ κ΄μ¬μ΄ μκ±°λ μ΅κ·Όμ μΈκ³΅μ§λ₯μ κ΄μ¬μ κ°κ³ μλ λΆλ€μκ² μ κ·Ήμ μΌλ‘ μΆμ²νλ μ± μ λλ€. μ΄ μ± μ μ½μΌλ©΄ λ₯λ¬λ κΈ°μ κ³Ό μΈκ°μ λκ° λμνλ λ°©μμ μμ°μ€λ½κ² λΉκ΅νκ² λ©λλ€. λμ λ₯λ¬λμ μ¬λ―Έμλ λΉκ΅μ κΈ°μ μ λν μλ‘μ΄ μκ°μ μ£Όλ μ± μ λλ€.
μ μλ λκ° κ²°μ μ λ΄λ¦¬λ λ©μΉ΄λμ¦μ μ΄ν΄νκ³ , ν©λΉν κ²°μ μ λ΄λ¦΄ μ μλλ‘, μμ (λ)λ₯Ό ν¨κ³Όμ μΌλ‘ μ¬μ©ν΄μΌ νλ€κ³ μ€λͺ ν©λλ€. 무쑰건μ μΌλ‘ λ Έμ μ΄λ€ κ²°μ μ λ°λ₯΄κΈ° 보λ€, μν©μ λ°λΌ μκ°νλ λ°©μμ μ ννκ³ λ μ¬λ°λ₯Έ κ²°μ μ λ΄λ¦΄ μ μλλ‘ λ§λ€μ΄μΌ νλ€κ³ μ£Όμ₯ν©λλ€. κ·Έλ¬κΈ° μν΄μλ λκ° κ²°μ μ λ΄λ¦¬λ λ°©μμ μ΄ν΄ν΄μΌ νλ€λ κ²μ΄ μ΄ μ± μ μ£Όμ λ§₯λ½μ λλ€.
μ΄ μ± μ μ΄ 8μ₯μΌλ‘ ꡬμ±λμ΄ μμ΅λλ€.
μ΄ μ± μ λ€μκ³Ό κ°μ μ₯μΌλ‘ ꡬμ±λ©λλ€.
κ° μ₯μ κ°λ΅ν μνΌμλλ₯Ό μκ°νκ³ , κ·Έ μΌνλ‘λΆν° λκ° κ²°μ νλ λ°©μμ μκ°ν©λλ€. κ·Έμ€μμ μΈμ κΉμλ λͺ κ°μ§λ₯Ό κ°λ΅νκ² μκ°νκ² μ΅λλ€.
μ¬λμ΄ μ§μΉκ³Ό λ€λ₯Έ λΆλΆμ λ³Έλ₯μ΄ μλκ³ μ΄μ±μ λ°λΌ νλ¨νκ³ μκ°νλ€λ κ²μ΄λΌκ³ μ°λ¦¬λ λ°°μ μ΅λλ€. κ·Έλ λ€λ©΄ μ¬λμ μ΄μ±μ μν΄μ κ²°μ μ λ΄λ¦¬λ κ±ΈκΉμ? λͺ κ°μ§ μ¬λ‘λ₯Ό λ€μ΄ μμ¬ κ²°μ κ³Όμ μμ μ€μν κ²μ λ³Έλ₯(κ°μ )μ΄λ©°, μ΄μ±λ§μΌλ‘ μΈκ°μ κ²°μ μ λ΄λ¦΄ μ μλ€κ³ λ§ν©λλ€. μ΄μ±μ κ²°μ κΈ°μ€μ λμ΄ν λΏ κ²°μ μ λ΄λ¦¬μ§ λͺ»νλ μ¬λ‘λ₯Ό μκ°ν©λλ€. μΈκ°μ λ³Έλ₯(κ°μ )μ΄ κ²°μ μμμ λν νΈν₯μ μΌμΌν€κ³ μ΄λ¬ν νΈν₯μ΄ μμ¬ κ²°μ μ ν΅μ¬μΌλ‘ μμ©νλ€κ³ λ§ν©λλ€. μ°λ¦¬κ° μ§κ°μΌλ‘ μ΄λ€ κ²°μ μ λ΄λ¦¬λ κ³Όμ μ μ΄λ° νμμ΄λΌκ³ μκ°ν©λλ€.
κΈ°κ³ νμ΅/λ₯λ¬λμμ λ°μ΄ν°λ₯Ό νμ΅νμ¬ μΈκ³΅μ§λ₯μ λ§λ λ€λ κ²μ μ°λ¦½ μ ν λ°©μ μμ κ³μ(Coefficient)μ νΈν₯(Bias)λ₯Ό κ²°μ νλ κ³Όμ μ΄λΌκ³ μμ½ν μ μμ΅λλ€. μ΄λ κ² μ°λ¦½ μ ν λ°©μ μμ λ§μ‘±νλ μ΅μ μ κ³μ(Coefficient)λ₯Ό μ°Ύμκ°λ κ³Όμ μ΄ νμ΅(Learning)μ λλ€. λ°μ΄ν° μμ± μ€μμ νΉμ μμ±μ κ°μ‘°νκ±°λ 무μνλ κ³μλ₯Ό μ°Ύμλ΄κ³ νΈν₯μ κ³μ°ν©λλ€. κ·Έλ¦¬κ³ μ΄ κ²°κ³Όμ νμ± ν¨μλ₯Ό μ μ©νμ¬ μ°μ° κ²°κ³Όλ₯Ό μ¦νμν€κ±°λ μ κ±°νλ κ³Όμ μ κ±°μΉ©λλ€. μ¬λμ κ°μ μ΄ λ§λλ νΈν₯μ λ₯λ¬λμ νμ± ν¨μμ λλμ΄ μλΉν λΉμ·ν©λλ€.
μ΄λ μ μλ μ’ ν©μ μΈ μν©μ νλ¨νκ³ κ²°μ νλ κ³Όμ μμ μ§κ°μ μ¬μ©νλ κ²½μ°κ° λ§μ΅λλ€. μ°λ¦¬κ° μ΅μνκ³ μ μλ μΌμ ν λλ¬Έ μμ κ°μ λ°λΌμ νλ¨νλ κ²½μ°κ° λ§κ³ , μ΄ κ²°μ μ΄ λλλλ‘ μ νν κ²½μ°κ° λ§μ΅λλ€. λ€μ μλ₯Ό λ³΄κ² μ΅λλ€.
μ°λ¦¬κ° μ μλ μΌμ λν΄μ μμ κ°μ μ§λ¬Έμ λ°μΌλ©΄ μ§κ°μ μΌλ‘ κΈ°κ°μ΄λ ν¬μ μΈλ ₯μ λλ΅ν©λλ€. λ Όλ¦¬μ μΌλ‘ λΆμνκΈ° λ³΄λ€ μ§κ°μ μΌλ‘ κ²°μ ν λ΅λ³μ΄ λ μ νν κ²½μ°κ° λ§μ΅λλ€. μ΄κ±΄ μ΄λ€ μ΄μ μΌκΉμ?
"μκ°μ κ΄ν μκ°"μ΄λ μ± μμ μΈκ°μ λλ System 1κ³Ό System 2λ‘ λλμ΄ μλ€κ³ ν©λλ€. System 1μ μ§κ°μ΄ κ΄μ₯νλ μμμ λλ€. System 2λ λ Όλ¦¬μ μΈ νλ¨μ΄ κ΄μ₯νλ λΆλΆμ λλ€. System 1μ μλμ§ μλͺ¨κ° μκ³ λμμ μ¬λ¬ κ°μ§λ₯Ό νκΊΌλ²μ μ²λ¦¬ν©λλ€. System 2λ κ³ λμ μ§μ€λ ₯μ΄ νμν λ°©μμΌλ‘ μλμ§ μλͺ¨κ° ν¬κ³ , ν λ²μ ν κ°μ§λ§ μ²λ¦¬ν μ μμ΅λλ€. μΈκ°μ λ³Έλ₯μ μΌλ‘ System 1μ μ νΈν©λλ€. μ΅μν μΌμ System 1λ‘ μ²λ¦¬ κ°λ₯ν©λλ€. κ·Έλ¬λ μμνκ±°λ μ λͺ¨λ₯΄λ μΌμ ν κ²½μ°μλ System 2λ₯Ό μ¬μ©ν΄μΌ ν©λλ€. μ΄μ , λͺ¨κ΅μ΄λ‘ λννκΈ°, λ§€μΌ λ°λ³΅μ μΌλ‘ μννλ μμ μ΄λ° κ²λ€μ System 1μ΄ μ²λ¦¬ν©λλ€. λμ μν, μΈκ΅μΈκ³Ό μμ΄λ‘ λννκΈ°, μ΄μ νμ΅ν κ² μ€μ΅ λ± μ΄λ° κ²μ System 2μμ μ²λ¦¬ν©λλ€.
μΈκ°μ μ§κ°μ System 1μ΄ μ²λ¦¬νλ μμμ ν΄λΉν©λλ€. μμμ κΈ°κ³ νμ΅μ μ§μ ν λͺ¨λΈμ κ°μ€μΉ(κ³μ, Coefficient)λ₯Ό μ΅μ ννλ κ³Όμ μ΄λΌκ³ νμ΅λλ€. κ·Έλ λ€λ©΄ μ°λ¦¬κ° μ±μ₯νλ©΄μ λ°°μ°κ³ νμ΅νκ³ μ΅ν 무μμ μ μΈ μ§κ°μ΄λ μ΄λ€ λͺ¨λΈμ μ΅μ νλ κ°μΆ©μΉ(κ³μ)μ ν μ±ν¨ μκ° μλκΉμ? μΈκ°μ 무μμμ΄λ System1μ΄ κ΄μ₯νλ λͺ¨λΈλ‘ μ¬λ¬ κ°μ§ μμμ μ΅μ νμ μ’ ν©μ μΈ μν©μ΄ κ³ λ €λ μ΅μ μ κ²°μ μ λ΄λ¦¬λ λκ΅¬κ° μλκΉμ?
무μμ, μ§κ° = μ΅μ νλ λͺ¨λΈ + νμ± ν¨μ
μ¬λμ μ΄λ€ μΌμ΄ μ±κ³΅νλ©΄ λνλ―Όμ΄λΌλ νΈλ₯΄λͺ¬μ΄ λΆλΉλλ€κ³ ν©λλ€. μ΄ νΈλ₯΄λͺ¬μ λ§μ‘±κ°μ΄λ κΈ°μ κ°μ μ μ λ°ν©λλ€. λν, μ¬λμ μμνμ§ λͺ»ν μ€λ₯λ₯Ό κ²½ννκ±°λ λκ° κΈ°μ‘΄κ³Ό λ€λ₯Έ μν©μ κ²½νν κ²½μ°μλ λνλ―Όμ΄ λΆλΉν©λλ€. μ€λ₯λ₯Ό κ²½ννκ³ λ μλ‘μ΄ ν¨ν΄μ λ°κ²¬ν λ λ°μνλ λνλ―Όμ μ±μ·¨κ° λ§μ‘±κ°μ μ λ°νλ λνλ―Όμ΄ 3-4λ°° μ λλΌκ³ ν©λλ€. μ€λ₯ λ° μλ‘μ΄ ν¨ν΄κ³Ό κ΄λ ¨λ λνλ―Όμ μ¬λμ κΈ΄μ₯μν€κ³ μ§μ€νκ² λ§λλλ€.
μ¬λ―Έμλ κ²μ λλ°κ³Ό λνλ―Όμ λλ€. μΉ΄μ§λ Έμ λλ° κ²°κ³Όλ μ² μ νκ² λμ(μμμ μ)μ κ·Όκ±°ν©λλ€. κ²°κ³Όκ° λ¬΄μμμ μ΄κΈ° λλ¬Έμ μ΄λ€ ν¨ν΄μΌλ‘ κ·Έ κ²°κ³Όλ₯Ό λ§μΉ μ μμ΅λλ€. κ·Έλ¬λ λλ°μ νλ©΄μ μ¬λμ 무μμμ μΌλ‘ μ΄λ€ ν¨ν΄μ λ§λ€κ³ κ·Έ ν¨ν΄μ λ°λΌμ λ°°ν μ νκ³ κ²°κ³Όλ₯Ό μμΈ‘ν©λλ€. 무μμ μ μΈ λλ°μ μ¬λμ΄ λ§λ ν¨ν΄μ μ μ©νμ¬ λ§μΆκΈ°λ κ΅μ₯ν μ΄λ ΅μ΅λλ€. κ²°κ³Όμ μΌλ‘ 무μμμ κ²°λ‘ μ κ³μν΄μ νλ¦¬κ² λ©λλ€. μ€ν¨κ° λ°λ³΅λ¨μ λ°λΌ λνλ―Όμ κ³Όλ€ λΆλΉλ©λλ€. λνλ―Όμ΄ κ³Όλ€ λΆλΉλλ©΄, μ κ²½μ΄ λ μΉ΄λ‘μ μ§μ€νκ² λμ΄ μλ‘μ΄ ν¨ν΄μ λ§λ€μ΄ μμΈ‘μ λ§λλ κ³Όμ μ μ΄μ§ν©λλ€. κ²°κ³Όμ μΌλ‘ μ΄λ° μμΈ‘μ κ³μ ν리κ²λκ³ , λνλ―Όμ μ§μμ μΌλ‘ λ λ§μ΄ λΆλΉλ©λλ€. μ΄λ° νΈλ₯΄λͺ¬μ μμ©μ μ¬λμ ν₯λΆμν€κ³ , κ²°κ΅ λλ° μ€λ μλ‘ λ§λ€κΈ°λ ν©λλ€.
κ²°κ΅ λλ° μ€λ μκ° μΉ΄μ§λ Έλ₯Ό μ°Ύμκ°λ μ΄μ λ μμΈ‘ μ€νμ κ²°κ³Όλ‘ λ°μνλ λνλ―Όμ μ¦κΈ°κΈ° μν¨μ΄κ³ , κ²°κ΅ λμ μκΈ° μν΄μ μΉ΄μ§λ Έμ μΆμ νλ μν©μ΄ λ§λ€μ΄μ§λλ€.
μμΈ‘μ΄ μ€ν¨ν κ²½μ° λνλ―Όμ΄ νμμ 3-4λ°°κ° λΆλΉλλ μ΄μ λ μ κ²½μ λ μΉ΄λ‘κ² μ μ§νμ¬ λ λΉ λ₯΄κ² νμ¬ λ¬Έμ λ₯Ό ν΄κ²°νλ ν¨ν΄μ νμ΅νκΈ° μν¨μ λλ€. κΈ°κ³νμ΅μμ λͺ¨λΈμ νμ΅μν¬λ "μ€μ°¨"λ₯Ό κ΄λ¦¬ ν©λλ€. μ¬κΈ°μ λͺ¨λΈμ΄ λ§λ€μ΄λΈ μ€μ°¨μ μ κ³±μ ν©μ μ΅μννλ λ°©ν₯μΌλ‘ νμ΅μ μ§νν©λλ€. μ¬κΈ°μ μ€μν κ²μ μ€μ°¨λ₯Ό μ κ³±νλ€λ κ²μ λλ€. μ€μ°¨λ₯Ό μ κ³±νλ€λ κ²μ μ€μ°¨κ° ν΄ κ²½μ° κ·Έ μ€μ°¨λ₯Ό μ¦ννκΈ° μν¨μ λλ€.
λ§μ½μ μ€μ°¨κ° 1μ΄λΌλ©΄ μ΄ μ€μ°¨μ μ κ³±μ 1μ λλ€. μ€μ°¨κ° 10μ΄λΌλ©΄ μ€μ°¨μ μ κ³±μ 100μ λλ€. μ€μ°¨λ₯Ό μ κ³±ν¨μΌλ‘μ¨ μ€μ°¨μ κ·λͺ¨λ μ¦νμμΌ λΉ λ₯΄κ² λͺ¨λΈμ νμ΅μν€λ λ°©λ²μ λλ€. μ΄λ μΈκ°μ λκ° μμμ λΉλκ° λ νμλ³΄λ€ λ λ§μ λνλ―Όμ λΆλΉνμ¬ κ°κ°μ λ μΉ΄λ‘κ² λ§λλ κ²κ³Ό μλΉν μ μ¬ν©λλ€. μ¬λ―Έμλ λͺ¨μ΅μ λλ€.
μ΄ μ± μμ μ€λͺ νλ μΈκ°μ λκ° κ²°μ μ λ΄λ¦¬κ±°λ λμνλ λ°©μμ λ₯λ¬λμ κ°λ κ³Ό λμλλ κ²λ€μ΄ μλΉν λ§λ€κ³ λκ»΄μ‘μ΅λλ€.
| μΈκ°μ λ | λ₯λ¬λ |
|---|---|
| κ°μ μ νΈν₯ | νμ± ν¨μ |
| λνλ―Ό κ³Όλ€ λΆλΉ | μ€μ°¨ ν¨μ |
| μΈμ, Life | Epoch |
| νλμ λ³ν | Mini-batch |
| 무μμ | νμ΅ νλΌλ―Έν° |
| μ§ν | μ κ²½λ§ Hyperparameter κ°μ |
μ΄ μ± μ μΈκ°μ λκ° μλνλ λ°©λ²μ μ¬λ‘λ₯Ό ν΅ν΄μ μ§κ΄μ μ΄κ³ μ΄λ ΅μ§ μκ² μ€λͺ νκ³ μμ΅λλ€. νμμ μ¬λμ΄ μ΄λ€ κ³Όμ κ³Ό μ΄λ€ μ΄μ λ‘ μκ°νκ³ κ²°μ νλμ§ κΆκΈνμ λΆλ€μ΄λΌλ©΄ μ κ·Ή μΆμ²ν΄ λ립λλ€. κ·Έλ¦¬κ³ λ₯λ¬λμ΄λΌλ κΈ°μ μ μ΅νκ±°λ μΈκ°μ μ¬κ³ μ λ₯λ¬λμ νμ΅μ μ΄λ»κ² λΉκ΅νκ³ λΉμ ν μ§λ₯Ό κ³ λ―Όνμλ λΆλ€μκ²λ μ λ§ μ κ·Ή μΆμ²ν΄ λ립λλ€. μΈκ°μ λμ μΈκ³΅μ§λ₯μ μλ‘μ΄ λλμ λ°μΌμ€ κ² κ°μ΅λλ€.