자동화된 불평등 - 첨단 기술은 어떻게 가난한 사람들을 분석하고, 감시하고, 처벌하는가

괜찮다고 말하지만 괜찮지 않은 너와 나, 우리가 안고 사는 우울. 그리고 그 감정이 가져온 마음의 병 우울증. 화제의 채널



벽돌과 모르타르로 된 구빈원은 어떻게 디지털 구빈원으로 진화했을까?

기술의 중립성이라는 가면을 벗기다!



디지털 시대가 시작된 이래 공공 분야에서의 의사 결정은 획기적인 변화를 겪고 있다. 업무 처리 과정을 고도화한다는 명목 아래 공공서비스에 자동화 기술을 적용하고 전산화된 알고리즘을 활용하는 등 광범위한 신기술 도입이 이뤄지고 있다. 이런 변화를 지지하는 이들은 흔히 새로운 세대의 디지털 도구를 ‘혁신적’이라고 극찬한다. 빅데이터, 알고리즘 등의 첨단 기술 도구가 형식적인 관료주의를 대대적으로 개혁하고 해결책을 촉진하며 투명성을 높여, 본질적으로 더 민주적인 정부를 만드는 데 기여한다는 것이다.



하지만 유뱅크스는 가난한 노동자 계층을 표적으로 삼고 있다는 점에 주목한다면, 새로운 데이터 분석 체제는 ‘혁명’이라기보다 ‘진화’에 가깝다고 통렬히 지적한다. 그에 따르면 미국의 가난한 노동자 계층은 오래전부터 사생활 침해적인 감시, 야밤의 불시 단속, 그리고 처벌적인 공공 정책의 대상이 되어 왔다. 19세기에는 지방자치단체가 설립한 구빈원에 격리되었고, 20세기에는 개별사회복지사의 조사를 받으며 마치 재판 받는 죄인처럼 다뤄졌다. 이 책은 현대의 빈곤 관리 시스템이 세련된 첨단 기술로 무장하고 있지만 실은 19세기부터 존재해 온 처벌적인 빈곤 관리 전략의 단순한 확대에 지나지 않는다고 이야기한다.



『자동화된 불평등』에서 가장 주목해야 할 개념은 ‘디지털 구빈원’이다. 이는 자동화된 의사 결정 시스템, 데이터마이닝, 위험 예측 모형 등 공적 서비스 분야에 침투한 첨단 기술에 대한 저자의 날카로운 문제의식이 담긴 용어이다. 저자 버지니아 유뱅크스는 “기술과 불평등을 이야기하면서 역사와 맥락을 삭제하는 움직임에 대한 저항”의 차원으로 ‘디지털 구빈원’이라는 용어를 사용한다고 힘주어 말하며, 빈곤을 관리하는 첨단 기술이 결코 중립적이지 않다고 일갈한다.



유뱅크스에 따르면 디지털 구빈원은 소외 집단이 공공 자원에 접근하는 것을 단념시키고, 이들의 노동, 지출, 성생활, 육아를 감시하며, 심지어 이런 요구에 순응하지 않는 사람들은 처벌하고 범죄자 취급한다. 19세기의 벽돌과 모르타르로 만들어진 구빈원이 그랬던 것처럼 말이다. 저자는 유색인, 이민자, 성적 소수자, 가난한 사람들이 공적 서비스를 받으려 할 때, 어떤 식으로 첨단 기술의 표적으로 지목되어 감시와 추적을 받는지 구체적인 사례와 함께 세밀하게 살펴 나간다. 그럼으로써 복지 혜택을 합리화하고 능률화하기 위한 방법이라고 여겨 왔던 디지털 기술의 실상은 결코 소외 집단에게 호의적이지 않다는 것을 사회 구조적인 측면에서 고발하고 있다.





가난한 이들은 디지털 덫에 어떻게 걸려드는가!

소외 집단을 표적으로 삼는 은밀한 알고리즘의 실체



유뱅크스는 디지털 구빈원의 실체를 생생하게 그려 내기 위해 인디애나주와 로스앤젤레스, 피츠버그를 직접 찾아간다. 당사자들과의 인터뷰, 재판 참관, 공공 기록 조사 등의 방법으로 사회복지 서비스 현장에서 일어나고 있는 일을 분석해 내는 솜씨가 집요한 탐사 저널리즘을 방불케 한다.



인디애나주에서는 2006년 복지 수급자격 판정 현대화 실험이 진행됐다. 복지 서비스 신청을 온라인으로 받아 적격성 판정을 자동화한다는 계획이었는데, 3년 동안 의료보험, 푸드 스탬프, 현금 수당 신청에 대해 무려 100만 건이나 ‘거부 통지’를 내보내는 사태가 발생했다. 새로운 컴퓨터 시스템이 신청상의 오류를 신청자의 ‘협조 불이행’으로 해석했기 때문이다. 자동화 시기에 메디케이드 혜택을 상실한 소피(sophie)라는 소녀는 직접 휠체어를 타고 주지사를 찾아가 사회복지 정책실장과 면담을 한 끝에 겨우 보험 혜택을 회복할 수 있었다. 시스템상의 오류 때문에 생명 유지 장치나 다름없는 공공서비스 혜택을 상실한 소피 같은 사례는 인디애나주에서 차고 넘친다. 유뱅크스는 자동화 시스템이 불러온 무서운 충격을 견뎠지만, 끝내 목숨을 잃게 된 소피에게 이 책을 헌정한다.



2013년부터 시험 사용된 로스앤젤레스의 노숙인 통합 등록 시스템에서도 가난한 이들은 공공 정책의 수혜자라기보다 표적이 될 뿐이다. 이 시스템은 전산화된 알고리즘을 활용해 등록된 노숙인들을 적절한 주택 자원과 연결시켜 주는 서비스다. 그런데 로스앤젤레스시에서는 통합 데이터 시스템을 구축한다며 노숙인들의 내밀하고 개인적인 정보를 수집하면서도, 그 대가로 거의 아무것도 제공하지 않고 있는 것이 현실이다.

한편 2016년 8월에 개시된 앨러게니가정선별도구(Allegheny Family Screening Tool, AFST)라는 통계 모형의 사례를 면밀히 들여다보면, 첨단 기술 도구가 가난한 이들의 미래에도 섣불리 손을 대고 있음을 알 수 있다. AFST는 한 가정을 아동 학대 조사 대상으로 선별할지 여부를 판단하는 ‘위험 예측 점수’를 계산해 내는 위험 예측 모형인데, 그 산출 기준이 매우 편파적이다. 이를테면 음식 부족, 부적절한 주거, 무면허 보육 시설, 건강관리 부족과 같은 빈곤의 지표를 아동 방치의 징후로 해석함으로써 가난한 이들에게 ‘문제 부모’라는 꼬리표를 붙이는 것이다.



유뱅크스는 이 세 가지 사례를 면밀히 분석하며, 윤리적·기술적으로 복잡한 문제를 갖는 자동화된 의사 결정이 점차 빠르게 증가하는 상황에 주목해야 한다고 강조한다. 가난한 이들이 첨단 기술 도구의 표적이 되어 정치적 권리를 잃고, 생존 자체가 불법화되는 상황은 결국 민주주의 자체를 위협할 것이기 때문이다. 이 책은 첨단 기술을 이용한 사회적 분류에 가장 열광한 곳이 심각한 불평등으로 분열되고 전체주의 정권이 통치하는 나라들이라는 사실을 기억해야 한다고 꼬집는다.





디지털 구빈원, 어떻게 해체할 것인가!

변화는 우리 안에서 시작되어야 한다



현재 ‘디지털 구빈원’은 소수 권력집단의 손에 행정 권한을 집중시키고 있다. 통합 데이터 시스템과 디지털 감시 인프라는 역사상 비할 데 없는 수준의 통제력을 제공하고 있다. 우리가 주목해야 할 것은 새로운 기술이 제도에 통합되면 추진력이 생긴다는 사실이다. 또한 그 기술은 원숙해질수록, 이의를 제기하거나 방향을 재설정하기가 점점 더 어려워진다.



게다가 ‘디지털 구빈원’은 가난에 대한 문화적 이해와 정치적 대응에 관련된 문제이기 때문에, 해결책을 논의하는 것이 어렵고 시간이 오래 걸리는 일이기도 하다. 그렇다고 가난을 대하는 새로운 방식이 등장하기를 기다리는 동안, 기술 발전이 속도를 늦출 것 같지는 않은 상황이다. 따라서 우리는 새로운 기술로 인한 피해를 최소화하기 위한 기술 설계 원칙을 지금 당장 논의하기 시작해야 한다. ‘디지털 구빈원’이 그 망을 점점 확장하기 전에 말이다. 이 책이 다루고 있는 문제가 그만큼 시급하다는 뜻이다.



그동안 소프트웨어, 알고리즘 등의 컴퓨터 기술은 오랫동안 탈문화 영역으로 여겨져 왔다. 그 운영의 세부 사항이 복잡하기 때문에 보통 사람들이 기술의 실체를 파악하기 어렵기도 했다. 잘못된 데이터, 소프트웨어 등의 잠재적 영향력이 광범위한 상황인데도 첨단 기술이 어떻게 작동하는지, 거기에 어떻게 대처해야 할지 제대로 된 논의조차 시작하지 못했다. 이런 점에서 『자동화된 불평등』은 데이터마이닝, 정책 알고리즘, 위험 예측 모형 등의 첨단 기술에 대한 신비화를 경계하고, 이를 사회적 논쟁의 장으로 끌어오는 데 도움을 줄 것이다.