편집
714
번
"From Deep Learning to Rational Machines/Imagination"의 두 판 사이의 차이
둘러보기로 가기
검색하러 가기
→인공 모델의 상상력
| 22번째 줄: | 22번째 줄: | ||
생물학적 타당성에 대한 주의사항 : 인공 모델이 생물학적 구조와 정확히 일치한다는 보장은 없으며, 기능주의를 채택하면 정확한 구조적 대응이 없다는 점이 별 문제가 안 될 수도 있다. 그럼에도 인공 모델과 생물학적 뇌는 다음과 같은 유사성이 있을 수 있다. (1) 계층적으로 구조화되고 추상화된 정보의 필요성 (2) 이전 경험에서 파생된 배경 확률 가정을 바탕으로 한 표상 구조의 새로운 결합의 가능성. 결국 인공 모델은 경험주의적 방식과 유사한 방식으로 추론과 표상의 문제를 해결할 수 있다는 "개념 증명"으로 작용할 것. | 생물학적 타당성에 대한 주의사항 : 인공 모델이 생물학적 구조와 정확히 일치한다는 보장은 없으며, 기능주의를 채택하면 정확한 구조적 대응이 없다는 점이 별 문제가 안 될 수도 있다. 그럼에도 인공 모델과 생물학적 뇌는 다음과 같은 유사성이 있을 수 있다. (1) 계층적으로 구조화되고 추상화된 정보의 필요성 (2) 이전 경험에서 파생된 배경 확률 가정을 바탕으로 한 표상 구조의 새로운 결합의 가능성. 결국 인공 모델은 경험주의적 방식과 유사한 방식으로 추론과 표상의 문제를 해결할 수 있다는 "개념 증명"으로 작용할 것. | ||
==인공 | ==인공 신경망의 특정 표본 합성 능력== | ||
책 전반의 논제 : 마음이 명시적 추론에서 개별 범주 표본을 의식적으로 표상하고, 변형된 범주 매니폴드 형태로 로크적 일반 관념과 같은 것을 무의식적으로 표상한다. | 책 전반의 논제 : 마음이 명시적 추론에서 개별 범주 표본을 의식적으로 표상하고, 변형된 범주 매니폴드 형태로 로크적 일반 관념과 같은 것을 무의식적으로 표상한다. | ||
| 30번째 줄: | 30번째 줄: | ||
적대적 생성 신경망(GAN : 생성 신경망 + 판별 신경망) : 생성 신경망이 가짜 입력을 만들고, 생성 신경망은 그것이 진짜인지 가짜인지 판별함으로써, 생성 신경망 훈련시킨다. 그러면 GAN은 어떤 구조로 구체적인 가짜 입력을 만들어내고, 진짜 같은 가짜를 만들어내는 데 성공할 수 있을까? | 적대적 생성 신경망(GAN : 생성 신경망 + 판별 신경망) : 생성 신경망이 가짜 입력을 만들고, 생성 신경망은 그것이 진짜인지 가짜인지 판별함으로써, 생성 신경망 훈련시킨다. 그러면 GAN은 어떤 구조로 구체적인 가짜 입력을 만들어내고, 진짜 같은 가짜를 만들어내는 데 성공할 수 있을까? | ||
[[그림:GAN.png|thumb|적대적 생성 신경망(GAN)의 구조]]생성 신경망은 기본적으로 DCNN과 유사하지만, 첫째, GAN의 입력은 (DCNN의 고차원 정보와 반대로) 저차원의 특징 공간(잠재 공간이라 부름)의 벡터이며, GAN의 작동 과정은 (DCNN의 합성과 풀링의 반대로) 전치 | [[그림:GAN.png|thumb|적대적 생성 신경망(GAN)의 구조]]생성 신경망은 기본적으로 DCNN과 유사하지만, 첫째, GAN의 입력은 (DCNN의 고차원 정보와 반대로) 저차원의 특징 공간(잠재 공간이라 부름)의 (랜덤) 벡터이며, GAN의 작동 과정은 (DCNN의 합성과 풀링의 반대로) '''전치 합성곱'''과 '''언풀링'''으로 이루어지며, 이를 통해 생성 신경망은 저차원의 잠재 공간 벡터로부터 고해상도의 표본을 생성한다. 물론 처음에는 엉터리 표본을 생성하지만,판별 신경망의 판별 결과에 따른 훈련을 통해, 생성 신경망은 잠재 공간의 의미있는 특징들에 대한 풍부한 정보들을 활용할 수 있는 방식으로 진화하여, 판별 신경망을 속일 수 있는 표본을 생성하게 된다. | ||
이를 위해 생성 신경망은 잠재 공간을 효율적으로 그룹화하는 방법을 학습해야 하며, 입력의 차원이 출력의 차원보다 작으므로, 생성 신경망은 판별 신경망의 영역에서 가장 넓은 범위의 분산을 설명하는 소수의 잠재 공간 차원으로 특징 공간을 압축하는 방법을 학습해야 하며, 잠재 공간 벡터에 명시되지 않은 일부 세부 사항을 그럴듯한 값으로 채워야 한다. 이 그럴듯한 추정치 역시 적대적 훈련 과정을 통해 점진적으로 조정된다. | |||
전치 합성곱은 작은 행렬을 더 큰 행렬로 확장하는 데 사용되는 연산자. 이때 입력 행렬에 커널(번역기)이 반복 적용된다. 훈련은 효과적인 커널의 획득 과정으로 이해될 수 있다. 한편, (오토인코더에서 많이 사용되던) 언풀링은 풀링의 역과 유사한 작업을 수행한다. 그런데 언풀링은 신경망의 역방향 정보 전송을 필요로 하는데, 대부분의 GAN에서 이러한 역방향 정보 전송이 말이 안 되므로, GAN은 언풀링을 피하고 추가적인 전치 합성곱 층을 선호한다. | |||
이러한 작업을 통해 높은 추상화 수준의 잠재 공간 벡터는 그럴듯한 고해상도 표본으로 렌더링될 수 있다. 그리고 이 합성된 표본은 (흄과 버클리의 견해와 유사하게) 추상적 범주를 대신해 추론 과정에 사용될 수 있다. 그리고 이러한 가능성은 포더가 흄에게 제기한 첫 번째 문제가 해결될 수 있음을 보여준다. | |||
== 인공 신경망의 새로운 복합 관념의 합성 능력 == | |||
GAN은 포더가 제기한 두 번째 문제, 즉 어떻게 경험주의적 마음이 새로운 관념을 합성할 수 있는지의 문제도 해결할 수 있다. GAN의 생성 신경망에 무작위 잡음 대신 잠재 공간의 특성과 잘 매핑된 벡터를 입력하면 원하는 여러 특징들을 가진 새로운 합성물을 생성할 수 있다. 이를 "내삽"의 방법이라 부른다. 예를 들어 잠재 공간 내에서 "남자", "안경 쓴 남자", "여자"의 벡터 좌표를 이용하면, "안경 쓴 남자"-"남자"+"여자"의 벡터를 생성 신경망에 입력하여 렌더링하면 "안경 쓴 여자"의 그럴듯한 표본을 생성할 수 있다. 이러한 방법은 스타일 벡터를 이용한 새로운 주제의 그림 생성에도 사용되었고, 대성공을 거두었다. | |||
[[분류:과학철학]] | [[분류:과학철학]] | ||