AI 알고리즘 감시 제도, 한국은 왜 도입이 늦을까?

AI 기술은 이미 사람들의 삶 깊숙이 들어왔다. 금융, 행정, 의료, 교육, 고용, 마케팅 등 거의 모든 분야에서 AI 알고리즘은 인간 대신 판단을 내리며, 사회 구조를 결정짓는 역할을 수행하고 있다. 예를 들어, AI는 어떤 이의 대출을 승인할지, 누구의 이력서를 다음 단계로 보낼지, 누가 복지 혜택을 받을 자격이 있는지를 정한다. 이 과정은 겉보기에 효율적이고 객관적이며 중립적으로 보인다. 하지만 실제로는 어떤 데이터를 학습했고, 어떤 기준을 따르는지조차 알 수 없는 블랙박스인 경우가 대부분이다.

이러한 비가시성과 불투명성은 AI의 결정이 사용자에게 영향을 미쳐도 책임을 묻기 어렵게 만든다. 예를 들어 부당하게 채용에서 탈락하거나, 대출이 거절된 사람이 ‘왜 그런 판단이 내려졌는지’를 따질 수 없는 구조다. 그 판단은 사람이 아닌 AI 알고리즘이 내린 것이고, 그 AI는 '어떻게'를 설명하지 못하기 때문이다. 이처럼 AI가 의사결정에 개입하면서도 설명 의무나 책임을 지지 않는다면, 사회는 공정성과 신뢰를 잃게 된다.

이 때문에 세계 각국은 ‘AI 알고리즘 감시 제도’ 도입에 적극적으로 나서고 있다. 감시 제도란, 특정 AI 시스템이 사회에 미치는 영향을 사전에 분석하고, 외부 기관이 알고리즘의 편향, 책임성, 설명 가능성을 감시하고 평가하는 제도를 의미한다. 하지만 한국은 이런 흐름에 비교해 매우 더디게 움직이고 있다. 아직 알고리즘을 감시하거나 투명성을 강제할 수 있는 법제도는 사실상 전무하다. 이 글에서는 한국이 알고리즘 감시 제도 도입에 왜 소극적인지, 어떤 문제점이 있는지를 여러방면으로 살펴본다.

알고리즘은 중립적이지 않다: 기술이 되레 편향을 강화할 때

많은 사람은 알고리즘이 객관적이고 중립적이라고 생각한다. '데이터 기반 의사결정'이란 말은 얼핏 기술이 사람보다 더 공정할 것처럼 들린다. 하지만 알고리즘은 사람이 만든 데이터를 바탕으로 작동하며, 그 속에 사회적 편향과 차별이 들어가기 쉽다. 그리고 그 결과는 더 구조적이고 은밀한 차별로 이어질 수 있다.

대표적인 사례가 미국의 COMPAS 범죄 예측 알고리즘이다. 이 시스템은 재범 가능성을 예측하는 알고리즘인데, 흑인 피의자에게 일관되게 더 높은 점수를 부여해 ‘재범 가능성이 높다’는 판단을 내렸다. 결국 이들은 보석에서 불이익을 받았다. 이는 흑인에 대한 사회적 편견이 데이터로 수집되고, 알고리즘이 이를 학습해 결과를 반복 생산한 사례다.

한국에서도 유사한 문제는 존재한다. 한 채용 플랫폼의 AI 시스템이 여성 지원자보다 남성 지원자의 이력서를 더 긍정적으로 평가한 사실이 확인된 적 있다. 그 이유는 단순했다. 과거 합격자 중 남성 비율이 높았고, 그 데이터를 기반으로 학습된 알고리즘이 그 ‘경향’을 그대로 반영한 것이다.

이처럼 AI는 단지 효율적인 도구가 아니다. 사회적 기준을 결정짓는 수단이며, 그 기준이 공정하지 않다면 결과 역시 왜곡된다. 그렇기 때문에 알고리즘은 반드시 감시되고, 검증되어야 한다. 하지만 지금의 한국 사회는 이러한 감시 시스템이 거의 작동하지 않고 있다.

세계는  AI 알고리즘 감시 제도 도입 중, 한국은 왜 뒤처졌나?

유럽연합은  2023년 ‘AI 규제법(EU AI Act)’을 통해 알고리즘 투명성과 감시를 법제화했다. 이 법은 고위험 AI 시스템에 관해 설명 가능성 확보, 외부 알고리즘 감사, 사용자 권리 명시, 편향 방지 조치 등을 의무화하고 있다. 미국도 알고리즘의 차별 가능성을 줄이기 위해 NIST(미국 국립표준 기술연구소) 가이드라인을 도입하고, 대형 플랫폼 기업에 알고리즘 공개를 권고하고 있다.

반면 한국은 여전히 ‘AI 윤리 기준’이라는 선언적 수준에 머물러 있다. 2021년 정부가 발표한 이 기준은 인간 중심성, 공정성, 책임성 등을 제시했지만, 법적 강제력이 없는 자율 지침에 불과하다. 기업은 이를 따를 의무가 없으며, 알 권리와 투명성 확보는 전적으로 기업의 ‘선의’에 달려 있다.

이처럼 정부가 규제보다는 진흥에 초점을 맞추는 동안, 알고리즘은 점점 더 많은 영역에서 사람의 삶을 평가하고 선택하고 배제하고 있다. 소비자는 어떤 데이터로 판단이 내려졌는지조차 알 수 없고, 잘못된 결정이 내려졌을 경우 이를 정정할 기회조차 보장되지 않는다. 알고리즘의 권력은 커지고 있지만, 그를 감시할 수 있는 권한은 누구에게도 주어지지 않은 셈이다.

한국의  AI 알고리즘 감시 제도 지연 이유: 정책, 제도, 사회 모두의 공백

한국이 알고리즘 감시 제도를 도입하지 못하는 이유는 단순히 늦은 법 제정 때문만은 아니다. 이는 기술 중심 정책 패러다임, 입법 인프라 부족, 사회적 감시 역량 부재라는 3중 구조적 문제 때문이다.

첫째, 정부 정책은 지금까지 AI 기술 진흥에 초점이 맞춰져 있다. 디지털 뉴딜, AI 반도체, 스마트시티 등 기술을 통한 경제 성장 전략은 강화됐지만, 그 기술이 사회에 미치는 영향을 조절하려는 윤리·감시 정책은 부차적인 것으로 취급되었다. 알고리즘 감시는 산업을 위축시킨다는 인식이 강하게 작용하고 있다.

둘째, 입법 인프라가 절대적으로 부족하다. 알고리즘 감시 관련 법안은 거의 발의조차 되지 않았으며, 담당 정부 부처도 명확하지 않다. 과학기술정보통신부와 개인정보보호위원회, 방송통신위원회 등이 일부 업무를 나눠 맡고 있지만, 전담 조직은 부재하다. 알고리즘 피해에 대응할 수 있는 옴부즈맨 기구나 공공 감시 기관도 없다.

셋째, 사회적 감시 역량이 약하다. 유럽이나 미국에서는 시민단체, 기술 윤리 연구소, 인권 변호사 그룹이 알고리즘 감시에 적극 참여하고 있지만, 한국에서는 관련 조직도 드물고, 전문 인력도 부족하다. 그 결과 알고리즘 피해가 발생해도 이를 조사하고, 개선을 요구할 수 있는 시민적 기반이 매우 취약하다.

 AI 알고리즘, 기술이 아닌 사람을 위한 시스템이 되어야 한다

AI 알고리즘 감시 제도는 단순한 기술 규제가 아니다. 이는 기술로부터 인간을 보호하는 사회적 안전장치이며, 공공성을 회복하기 위한 최소한의 방어선이다. 우리가 알고리즘에 권한을 부여하는 만큼, 그 권한은 반드시 책임과 감시 아래 놓여야 한다.

이제 한국도 본격적인 제도화를 시작해야 한다. 우선, 알고리즘 감사 및 설명 의무를 법제화해야 하며, 기업이 사용하는 AI가 공정하게 작동하는지를 확인할 수 있는 외부 감사 제도를 마련해야 한다. 시민이 자신의 데이터를 기반으로 내려진 판단에 대해 이의를 제기하고, 정정을 요청할 수 있는 알고리즘 이의신청권도 도입할 필요가 있다.

또한 공공기관부터 알고리즘 사용을 명확히 밝히고, 평가 기준과 데이터의 투명성을 보장해야 한다. 나아가 시민단체와 기술 전문가, 법률 전문가가 참여하는 사회적 감시 네트워크를 구축해, 기업의 알고리즘이 사회 전체에 미치는 영향을 지속해서 감시할 수 있는 구조를 마련해야 한다.

기술은 진보하되, 그 진보가 사람을 배제하지 않도록 만드는 일. 그것이 바로 AI 알고리즘 감시 제도의 존재 이유이며, 한국이 더 이상 미룰 수 없는 과제다. 기술의 발전보다 더 중요한 것은 기술을 감시할 수 있는 사회의 성숙이다.