서울대학교 컴퓨터공학부 장병탁 교수 연구팀에서 최근 만화영화 뽀로로를 기반으로 한 상상력 기계를 개발하여 화제가 되고 있다. 이름만으로도 신기한 상상력 기계. 도대체 기계가 어떻게 뽀로로 만화를 보며 상상력을 기를 수 있다는 것일까? 장병탁 교수에게 직접 상상력 기계에 대해 들어볼 수 있었다.
컴퓨터공학부 장병탁 교수
Q: 이번에 개발하신 상상력 기계에 관한 소개 부탁드립니다.
사람의 사고과정 중 가장 큰 특징은 ‘연상’이라고 할 수 있습니다. 사람은 어떤 정보를 기억하면 그것으로부터 연상을 통해 다른 것을 떠올립니다. ‘컵’이라는 단어를 듣게 되면 컵을 들어서 물을 마시는 모습을 떠올리는 것 처럼요. ‘상상’이라는 것은 이러한 연상이 여러 번에 걸쳐 이루어지는 과정이라고 볼 수 있습니다. 주어진 정보로부터 학습하여 이를 통해 사람의 사고과정을 닮은 ‘연상 메모리’를 만들고, 이를 통해 연상을 할 수 있도록 만든 것이 저희가 이번에 개발한 상상력 기계입니다.
Q: ‘기계가 학습한다’라는 것은 어떤 의미인가요?
기계가 학습한다는 것은, 주어진 정보로부터 그것들 간의 관계와 같은, 더 높은 차원의 정보를 알아내는 것이라고 할 수 있습니다. 사람이 학습하는 것과 같은 과정입니다. ‘기차’라는 단어를 모르는 어떤 사람에게 기차가 있는 여러 그림들을 보여주다 보면, 처음에는 그림 안의 어떤 것이 ‘기차’인지 모르지만, 점차 ‘기차’가 어떤 것을 가리키는 단어인지 알게 되고, 처음 보는 그림을 보여주었을 때 그림 안에 있는 특정한 물체가 ‘기차’라고 말할 수 있는 능력이 생기게 되죠. 이런 똑같은 과정이 기계에서 이루어지는 것이 기계 학습(machine learning)입니다.
Q: ‘연상 메모리’는 무엇인가요?
사람의 뇌는 단어와 이미지를 연관시켜 기억합니다. 이 연관성 때문에 ‘기차’라는 단어를 들으면 머릿속에서 기차의 모양이 그려지게 되는 것이죠. 관련성이 있는 정보들이 네트워크를 이루며 뇌 신경망에 저장되는 것입니다. 이러한 네트워크는 정보를 여러 층에 걸쳐 분석하며 다른 정보들과의 연관성을 찾아내며 만들어집니다.
연상 메모리는 이러한 사람의 뇌 속의 기억구조를 모방한 방식의 메모리입니다. 이미지를 입력받으면 최하위층은 이미지 속의 각 픽셀 정보를 저장하고, 점차 위층으로 올라갈수록 몇 개의 픽셀이 모여 만드는 경계선, 물체의 모양, 이 물체가 어떤 물체인지에 대한 정보를 저장하는 것이죠. 이러한 구조를 통해 정보를 저장하고, 분석을 통해 관련성 있는 정보들이 네트워크를 이루게 됩니다. 메모리에 더 많은 정보가 쌓일수록 네트워크는 더욱더 크고 조밀해지게 되겠죠.
상상력 기계가 더 많은 에피소드를 보고 학습함에 따라 연상 메모리에 지식 네트워크가 쌓여가는 모습
Q: 그렇다면 이 ‘연상 메모리’를 통해 대사를 가지고 장면을 그려내고, 장면을 보고 해당하는 대사를 만들어내는 것인가요?
네 맞습니다. 만화 속 여러 장면을 분석하면서 대사와 장면을 분석하고, 서로 연관된 단어와 그림들이 네트워크를 이루게 되면, 어떤 대사가 주어졌을 때 연상 메모리 안에 저장된 네트워크를 통해 대사 속 단어들과 연관된 그림들을 찾고, 이를 이용해 장면을 상상하여 그려내는 것이죠. 한 장면이 주어졌을 때 그에 맞는 대사를 만들어내는 것도 같은 원리입니다.
Q: 상상력 기계가 지식을 습득하는 매개체로 만화영화 ‘뽀로로’를 선택하신 계기가 있으신가요?
상상력 기계가 학습을 해나가는 과정은 어린 아이가 학습하는 것과 매우 비슷합니다. 처음에는 아무것도 모르지만, 점차 주변에서 많은 것들을 보면서 지식을 쌓고, 연관관계를 바탕으로 연상, 나아가 상상까지 할 수 있게 됩니다. 아이의 학습을 모델로 하여 만든 것이 상상력 기계이기 때문에, 그 학습의 매개체도 아이들에게 인기가 많은 뽀로로 만화영화를 선택하게 되었습니다.
Q: 상상력 기계의 응용가능성과 관련하여 앞으로의 연구목표를 소개해 주신다면요?
주어진 정보로부터 더 정확한 연상, 상상을 할 수 있도록 상상력 기계를 더 발전시키고 싶습니다. 현재 뽀로로가 183화까지 있는데, 183개의 에피소드를 다 보고난 뒤 184화 에피소드를 상상하여 만들어 낼 수 있는 기계를 만드는 것도 한가지 목표입니다.
상상력 기계는 사람으로 비유하자면 ‘뇌’에 해당합니다. 정보를 입력받고 그로부터 연상 네트워크를 만드는 것이죠. 상상력 기계라는 ‘뇌’를 가지고, 만화영화를 보며 습득한 지식을 통해 뽀로로처럼 행동하는 로봇을 만들고 싶습니다. 이러한 로봇이 만들어진다면 아이들의 교육 용도로도 활용될 수 있겠죠.
장병탁 교수는...
1986년에 서울대 컴퓨터공학부를 졸업하고 독일 Bonn대학에서 인공지능으로 박사학위를 취득한 후 1997년부터 서울대에서 인공지능을 연구하고 있다. 현재 한국인지과학산업협회장을 맡고 있다.
홍보팀 학생기자
이주헌(전기정보공학부 12학번)