보이는 대화, 들리는 제스처 - 멀티모달 말뭉치 30년의 여정

말과 몸짓이 분리되지 않는 소통의 본질을 탐구하며, 멀티모달 커뮤니케이션 연구 30년의 흐름을 집약한 학술서다. 언어와 비언어, 청각과 시각, 음성과 동작이 통합된 메시지를 이룬다는 전제 아래, 복합적 소통양식을 기록·분석해 온 연구의 전환점을 짚는다. 언어학·심리학·전산학이 교차하는 대화 연구의 지형을 한눈에 조망한다.



1990년대 생체인식 데이터 수집에서 출발해 인공지능 학습 인프라로 확장되기까지의 과정을 다섯 세대로 구분해 정리한다. AMI, IEMOCAP, FOLK, CEJC, CANDOR 등 주요 말뭉치 사례를 통해 음성과 텍스트를 넘어 제스처, 시선, 사물, 공간을 통합해 온 패러다임의 변화를 보여준다.



국립국어원과 AI Hub를 중심으로 한 한국어 멀티모달 말뭉치의 현주소를 진단하고, ‘보존용 마스터’와 ‘분석용 프록시’를 병행하는 이중 트랙 전략을 제안한다. 인간과 기계, 기술과 언어의 경계를 넘나들며 포스트휴먼 시대 소통 연구의 방향을 제시하는 이 분야의 정리이자 제안서다.



인간 소통의 총체성을 포착해 온

멀티모달 말뭉치 연구의 30년



‘보이는 대화, 들리는 제스처’라는 이 역설적인 표현은 멀티모달 커뮤니케이션의 본질을 담고 있다. 대화는 귀로만 듣는 것이 아니라 눈으로도 ‘보는’ 것이며, 제스처는 눈으로만 보는 것이 아니라 그 의미로서 ‘듣는’ 것이다. 인간의 소통에서 언어와 비언어, 청각과 시각, 음성과 동작은 분리될 수 없는 하나의 통합된 메시지를 형성한다. 이처럼 복합적인 소통양식을 기록하고 분석하려는 노력이 바로 멀티모달 말뭉치 연구이다.



『보이는 대화, 들리는 제스처: 멀티모달 말뭉치 30년의 여정』은 지난 30년간 전 세계에서 구축된 멀티모달 말뭉치의 역사를 체계적으로 정리하며, 언어학·심리학·전산학이 교차하는 대화 연구의 결정적 전환점들을 그려낸 학술서이다. 이 책은 포스트휴먼적 소통의 총체적인 모습을 어떻게 경험적으로 포착할 것인가라는 한 가지 질문에서 출발한다. 그 대답으로 지난 30년간 1990년대 생체인식 데이터 수집에서 출발해 오늘날 인공지능 학습의 핵심 인프라로 진화하기까지, 멀티모달 말뭉치의 흐름을 다섯 세대로 구분하여 살핀다.



각 시대별로 AMI, IEMOCAP, FOLK, CEJC, CANDOR 등의 사례를 통해 인간 소통의 총체성을 깊이 있게 탐구한다. 이를 통해 음성과 텍스트라는 분절된 기호를 넘어 제스처, 시선, 사물, 공간까지 통합적으로 기록해 온 연구 패러다임의 전환을 조명한다. 나아가 국립국어원과 AI Hub를 중심으로 한 한국어 멀티모달 말뭉치의 현주소를 진단하고, ‘보존용 마스터’와 ‘분석용 프록시’를 병행 구축하는 ‘이중 트랙 전략’을 미래의 핵심 패러다임으로 제안한다.



기술과 언어, 인간과 기계의 경계를 넘나들며 소통의 다층적 본질을 파고드는 이 책은, 연구자와 독자 모두에게 멀티모달 커뮤니케이션의 새로운 지평을 여는 안내서가 될 것으로 기대한다. 인간의 목소리만이 아니라 손짓, 시선, 그리고 그 사이에 놓인 사물과 기술까지 인간과 비인간 행위자들이 함께 직조해 내는 의미의 네트워크를 탐구하는 연구 여정에, 이 책이 길잡이가 되기를 소망한다.