편집
714
번
"From Deep Learning to Rational Machines/Imagination"의 두 판 사이의 차이
둘러보기로 가기
검색하러 가기
잔글
From Deep Learning to Rational Machines/Imagination (원본 보기)
2024년 6월 26일 (수) 20:19 판
, 2024년 6월 26일 (수)→인공 신경망의 특정 표본 합성 능력
| (같은 사용자의 중간 판 3개는 보이지 않습니다) | |||
| 10번째 줄: | 10번째 줄: | ||
둘째, 사고의 생산성 문제 : 경험주의적 마음은 과거에 한 번도 경험해 본 적 없는 새로운 복합 관념을 어떻게 형성할 수 있는가? 포더는 경험을 통해 획득한 관념의 분해와 자유로운 재합성에 호소하는 흄의 설명이 겉보기에만 훌륭할 뿐, 세부사항이 없는 빈 설명이라고 불평한다. | 둘째, 사고의 생산성 문제 : 경험주의적 마음은 과거에 한 번도 경험해 본 적 없는 새로운 복합 관념을 어떻게 형성할 수 있는가? 포더는 경험을 통해 획득한 관념의 분해와 자유로운 재합성에 호소하는 흄의 설명이 겉보기에만 훌륭할 뿐, 세부사항이 없는 빈 설명이라고 불평한다. | ||
셋째, 사고 간의 인과적 관계와 의도적 관계 구별하기의 문제 : 흄은 연합된 이미지는 경험에서 복사된 것이 아니라 상상력에 의해 종합된 것이며, 그 연합된 이미지의 강도를 통해 신뢰성을 검토한다고 얘기한 바 있는데, 이는 오늘날의 확률적 추론에 대한 휴리스틱 접근의 전신이라 할 수 있다. | 셋째, 사고 간의 인과적 관계와 의도적 관계 구별하기의 문제 : 포더에 따르면, 연합주의는 사고의 내용 사이의 의도적(의미론적) 관계와 사고 자체의 인과적 관계를 구별하지 못한다. ... 흄은 연합된 이미지는 경험에서 복사된 것이 아니라 상상력에 의해 종합된 것이며, 그 연합된 이미지의 강도를 통해 신뢰성을 검토한다고 얘기한 바 있는데, 이는 오늘날의 확률적 추론에 대한 휴리스틱 접근의 전신이라 할 수 있다. | ||
===흄의 상상력 설명에 대한 포더의 비판=== | ===흄의 상상력 설명에 대한 포더의 비판=== | ||
| 28번째 줄: | 28번째 줄: | ||
우리 또는 인공 모델은 어떻게 새로운 (구체적인) 관념을 합성할 수 있는가? 이는 추상화와 반대 방향의 과정으로, "변형된 범주 매니폴드"에서 "완전한 렌더링된 특정 항목"으로 돌아가는 과정, 일반적인 범주 표상에서 특정한 관념으로 돌아가는 과정이다. 이를 위해 버크너는 적대적 생성 신경망에서부터 시작한다. | 우리 또는 인공 모델은 어떻게 새로운 (구체적인) 관념을 합성할 수 있는가? 이는 추상화와 반대 방향의 과정으로, "변형된 범주 매니폴드"에서 "완전한 렌더링된 특정 항목"으로 돌아가는 과정, 일반적인 범주 표상에서 특정한 관념으로 돌아가는 과정이다. 이를 위해 버크너는 적대적 생성 신경망에서부터 시작한다. | ||
적대적 생성 신경망(GAN : 생성 신경망 + 판별 신경망) : 생성 신경망이 가짜 입력을 만들고, | 적대적 생성 신경망(GAN : 생성 신경망 + 판별 신경망) : 생성 신경망이 가짜 입력을 만들고, 판별 신경망은 그것이 진짜인지 가짜인지 판별함으로써, 생성 신경망 훈련시킨다. 그러면 GAN은 어떤 구조로 구체적인 가짜 입력을 만들어내고, 진짜 같은 가짜를 만들어내는 데 성공할 수 있을까? | ||
[[그림:GAN.png|thumb|적대적 생성 신경망(GAN)의 구조]]생성 신경망은 기본적으로 DCNN과 유사하지만, 첫째, GAN의 입력은 (DCNN의 고차원 정보와 반대로) 저차원의 특징 공간(잠재 공간이라 부름)의 (랜덤) 벡터이며, GAN의 작동 과정은 (DCNN의 합성과 풀링의 반대로) '''전치 합성곱'''과 '''언풀링'''으로 이루어지며, 이를 통해 생성 신경망은 저차원의 잠재 공간 벡터로부터 고해상도의 표본을 생성한다. 물론 처음에는 엉터리 표본을 생성하지만,판별 신경망의 판별 결과에 따른 훈련을 통해, 생성 신경망은 잠재 공간의 의미있는 특징들에 대한 풍부한 정보들을 활용할 수 있는 방식으로 진화하여, 판별 신경망을 속일 수 있는 표본을 생성하게 된다. | [[그림:GAN.png|thumb|적대적 생성 신경망(GAN)의 구조]]생성 신경망은 기본적으로 DCNN과 유사하지만, 첫째, GAN의 입력은 (DCNN의 고차원 정보와 반대로) 저차원의 특징 공간(잠재 공간이라 부름)의 (랜덤) 벡터이며, GAN의 작동 과정은 (DCNN의 합성과 풀링의 반대로) '''전치 합성곱'''과 '''언풀링'''으로 이루어지며, 이를 통해 생성 신경망은 저차원의 잠재 공간 벡터로부터 고해상도의 표본을 생성한다. 물론 처음에는 엉터리 표본을 생성하지만,판별 신경망의 판별 결과에 따른 훈련을 통해, 생성 신경망은 잠재 공간의 의미있는 특징들에 대한 풍부한 정보들을 활용할 수 있는 방식으로 진화하여, 판별 신경망을 속일 수 있는 표본을 생성하게 된다. | ||
| 52번째 줄: | 52번째 줄: | ||
이제 초점을 예술적 창의성에 제한해보자. 여기서 요구되는 새로움은 자유와 제약의 혼합이다. 즉 단순히 무작위적인 것은 미적으로 흥미롭지 않다. 흥미로운 형태의 새로움은 "이전 경험에 의해 정보를 제공받지만, 그에 비추어 볼 때 이해 가능하거나 가치 있고 생각될 수 있는 것의 한계를 밀어붙이는 것"이다. 예술적 목적을 위해 신경망의 두 가지 방향의 혁신을 생각해볼 수 있다. 첫째는 미적 판별 신경망, 둘째는 미적 생성 신경망. 미적 판별 신경망은 미적 우수성을 인간처럼 평가하도록 훈련시킨 신경망이고(e.g., DCM), 미적 생성 신경망은 형태나 스타일 면에서 새로움을 극대화하여 흥미로운 새로움 탐색에 특화된 신경망이다(e.g., CAN : 훈련 세트의 라벨에서 스타일 표현들을 학습한 후, 적대적 훈련 과정에서 새로운 스타일 표현을 학습하여 명시적으로 그것들과 벗어나는 표본을 생성). | 이제 초점을 예술적 창의성에 제한해보자. 여기서 요구되는 새로움은 자유와 제약의 혼합이다. 즉 단순히 무작위적인 것은 미적으로 흥미롭지 않다. 흥미로운 형태의 새로움은 "이전 경험에 의해 정보를 제공받지만, 그에 비추어 볼 때 이해 가능하거나 가치 있고 생각될 수 있는 것의 한계를 밀어붙이는 것"이다. 예술적 목적을 위해 신경망의 두 가지 방향의 혁신을 생각해볼 수 있다. 첫째는 미적 판별 신경망, 둘째는 미적 생성 신경망. 미적 판별 신경망은 미적 우수성을 인간처럼 평가하도록 훈련시킨 신경망이고(e.g., DCM), 미적 생성 신경망은 형태나 스타일 면에서 새로움을 극대화하여 흥미로운 새로움 탐색에 특화된 신경망이다(e.g., CAN : 훈련 세트의 라벨에서 스타일 표현들을 학습한 후, 적대적 훈련 과정에서 새로운 스타일 표현을 학습하여 명시적으로 그것들과 벗어나는 표본을 생성). | ||
== | == 경험의 시뮬레이션 == | ||
시뮬레이션된 경험은 새로운 표상을 발견하고, 미래와 반사실적 상황을 생각하여 의사결정과 인과 추론에 도움을 줄 수 있다. 이 영역에서 상상은 에피소드 기억과 접합됨. 단, 알파고 등이 사용한 몬테카를로 트리 탐색은 경험적인 방법은 아니며, 지나치게 포괄적이며 이미 잘 정의된 탐색 공간을 활용한다. 여기서 추구하는 상상 기반 계획은 경험에 의해 안내되고, 더 효율적이고 현실 세계에서 문제 해결을 특징짓는 더 혼란스럽고 덜 정의된 탐색 공간에 적용될 수 있어야 한다. | |||
수면이나 몽상의 역할이 약간 밝혀져 있다. 미로 탐색 훈련을 받는 쥐들에 대한 연구에서, 수면과 휴식 기간 동안 쥐들의 내측 측두엽은 이전 경로 및 새로운 경로에 대응되는 발화 패턴을 보였다. 인간과 동물의 효율적으로 보이는 학습 능력은, 휴식기에 일종의 시뮬레이션된 경험 덕분일 수 있다. | |||
GAN 등 DNN 기반 생성 모델들도 유사한 이점을 얻을 수 있다. 예를 들어 SimGAN은 GAN 방법을 통해 수많은 시뮬레이션 데이터를 생성하고, 이를 통해 판별 신경망의 정확도를 향상시킨다. 물론 과적합의 우려가 있긴 하지만, 이를 피하는 방법도 이미 개발되어 있다. | |||
의사결정에 시물레이션된 경험을 활용하는 데 있어 상상력이 수행하는 역할은 보다 까다롭다. 상상력은 완전한 탐색보다 효율적으로 고려한 미래 작업의 작은 집합을 채워주어야 한다. 상자 이동 전략 게임 Sokoban의 플레이를 위해 상상력 보강 에이전트 I2A가 개발된 바 있는데, 이 시스템은 결정을 내려야 할 때마다 테스트해볼 만한 경로(롤아웃)의 집합을 생성하고, 이전 게임 플레이 경험을 기반으로 각 롤아웃에 대한 보상 값을 계산하고, 모든 롤아웃을 합성항 가장 큰 보상과 연관된 행동을 결정함으로써, 수십 번의 사전 계획이 필요한 Sokoban 퍼즐을 안정적으로 해결할 수 있었다. | |||
이러한 성취는 연합주의적 마음이 인과저 관계와 의미론적 관계를 구별하지 못한다는 포더의 우려를 해결해준다. | |||
[[분류:과학철학]] | [[분류:과학철학]] | ||