신뢰도 제고 위해 AI의 생각을 읽다

스크랩

[ A+ ]/[ A- ]

사람을 위한 AI 모델이 필요하다 ⓒ Pixabay

인공지능(AI)은 사람을 위해 등장했다. AI도 사람 편의를 위해 개발되고 있는 기술 중 하나이기 때문이다. 이에 많은 석학들은 ‘사람을 위한 AI’를 개발해야 한다고 주장하고 있다. 이러한 사실은 지난 6월에 열린 ‘aix2019’ 콘퍼런스에서 확인할 수 있었다.

SKT는 지난달 25일 그랜드 인터컨티넨탈 서울 파르나스에서 ‘aix2019’ 콘퍼런스를 개최했다. 해당 콘퍼런스는 AI 전문 석학이 AI 관련 주제로 강의하는 행사로, 시리 공동 창업자 톰 그루버(Tom Gruber), 스탠퍼드대학 교수 제임스 랜디( James Randi), SKT 센터장 김윤 등 세계적 석학이 참여했다.

콘퍼런스 주제는 ‘인간 중심의 AI’였다. 이에 많은 석학들은 인간을 도울 수 있는 AI를 개발해야 한다고 주장했다. 톰 그루버는 인간에게 본질적으로 유익한 영향을 줄 수 있는 AI 개발을 당부했다. 제임스 랜디는 AI는 인간을 대체하기보다는 보조하는 도구라고 주장했다.

이처럼 AI는 사람을 위해서 개발되고 있으나, 일부 사람들은 이와 같은 시선으로 AI를 바라보지 않는다. AI를 위협 존재로 여기는 경우도 있다. 이유는 명확하다. AI를 신뢰할 수 없기 때문이다.

현재의 AI 사고방식은 블랙박스처럼 숨겨져 있어 AI의 사고를 읽을 수 없다. 협력 관계가 보통 이뤄지기 위해서는 생각이 공유돼야 하는데, 현재의 AI에게서는 이를 기대할 수 없는 것이다.

시장 조사 전문 기관 ‘KPMG’는 2200명의 정보통신기술(ICT) 분야 종사자 대상으로 AI의 신뢰도를 설문 조사했다. 그리고 KPMG는 AI에 관한 신뢰도가 낮음을 확인했다. 응답자의 35%만이 AI를 강하게 신뢰한다고 응답했기 때문이다. 대체로 신뢰한다고 밝힌 사람은 40%이고, 신뢰하지 않는다고 응답한 사람은 25%에 이른다.

해당 설문 대상이 AI 기술에 친숙한 ICT 종사자임을 고려할 때 AI 신뢰도에 관한 긍정적인 답변이 낮은 편이며, 신뢰하지 않는다고 응답한 사람이 25%나 된다는 사실이 오히려 놀랍다.

블랙박스에 가려진 AI 동작 방식

블랙박스에 가려진 AI 생각 ⓒFlickr

혹자는 “AI 사고가 블랙박스에 가려진 이유가 무엇일까”라고 궁금할 수 있다. 궁금증에 대한 답은 AI의 학습 방식에 있다.

AI는 인공적으로 만든 지능이며, 여기서 말하는 ‘지능’은 사람의 생각을 뜻한다. 따라서 AI는 인공적으로 사람의 지능을 흉내 내기 위해서 만들어진 기술로 정의할 수 있다. 물론 현재까지 만들어진 모든 AI는 사람처럼 완벽한 사고를 할 수는 없다. 약간 흉내만 낼 뿐이다.

그러므로 AI는 자율주행차에만 국한된 것이 아니면, 아주 단순한 기기인 계산기에도 적용됐다고 볼 수 있다. 계산기 또한 사람의 암산을 흉내 냈기 때문이다. 다만, 전자와 후자에는 가장 큰 차이가 있다. 그건 바로 ‘지능 구현 방법’이다.

AI를 구현하는 방법에는 크게 두 가지 접근법이 있다. 하나는 ‘지식 공학’ 접근법이고, 다른 하나는 경험주의 접근법이 있다. 참고로 전자를 연역주의 접근법이라고 할 수 있고, 후자는 귀납적 접근법이라고 볼 수 있다.

전자 방식은 아주 단순하다. 사람이 직접 공식을 만들어 AI에게 주입하는 것이다. AI는 학습이 필요 없이 사람이 만든 공식에 입각해서 그대로 동작한다. 반면 후자는 학습이 필요하다. 공식이 주어지지 않기 때문이다. 대신, 데이터만 주어진다. AI는 투입 데이터와 산출 데이터를 끊임없이 받아 이를 학습한다.

즉, 전자의 경우 사람이 만들어진 공식에서 AI가 움직인다. 반면 후자의 경우, AI가 스스로 학습해서 공식을 만들어서 움직인다. 참고로 후자 방식의 기술을 ‘기계학습(ML, Machine Learning)’이라고 부른다.

기계학습은 AI 적용 범위을 넓힐 수 있다는 장점이 있다. 사람이 파악하지 못하는 지식 영역을 기계가 스스로 파악해서 움직일 수 있기 때문이다. 그래서 AI가 자율주행 시스템에까지 확장할 수 있었던 이유도 기계학습 때문으로 볼 수 있다.

그런데 단점이 있다. AI가 만들어낸 공식(혹은 사고방식)이 가시적으로 드러나지 않는다는 점이다. 다시 말해, 사람들은 AI가 무슨 생각을 하는지 알 수 없으며, 본인이 원하는 방식대로 동작하지 않을 수 있다.

통제 불능으로 인한 4가지 문제점

AI의 통제 불능은 4가지 문제를 유발한다. 첫째는 AI 불신이다.

AI를 믿을 수 없다면 자율주행차 앞을 지나갈 수 있을까? 실제로 유럽에서는 이러한 문제가 대두되었다. 그래서 현대모비스, 벤츠, 포드 등은 자율주행차의 상태를 표시하는 기술을 개발하고 있다.

두 번째는 책임 소재이다. 경제협력개발기구(OECD)는 기업에서 활용하는 AI가 스스로 담합에 참여할 수 있다고 경고한 바 있다. 그렇게 되면, 책임을 누가 져야 할까? 관리하는 기업도 AI를 통제할 수 없다. 그러므로 기업에 책임을 무조건 떠넘기는 것은 불가능하다.

세 번째는 ‘개인정보보호규정(GDPR)’ 대응이다. GDPR은 개인 데이터가 어떻게 가공되는지를 명시하도록 돼 있다. AI에 적용된 데이터의 경우에는 이를 설명하기가 어렵다. AI가 어떻게 학습하고 반영하는지를 알 수 없기 때문이다.

마지막 문제는 개발자가 AI를 고도화하기 어렵다는 점이다. AI가 학습하고 판단한다. 그런데 무슨 근거로 판단하는 것일까? AI 잘못된 편견으로 판단하는 것은 아닐까? 가령, 눈(Snow)의 사진만 보고 늑대로 오판단 한 것은 아닐까?

GDPR 대응목적으로도 XAI가 필요하다 ⓒPixabay

AI 생각을 표현하는 XAI

앞서 언급한 4가지 문제는 모두 AI의 통제 불능과 관련이 있다. 혹은 AI 생각을 읽을 수 없기 때문으로 볼 수 있다. 이러한 이유로, AI 생각을 읽을 수 있는 기술이 필요하다. 다행히 이러한 기술 개발이 이뤄지고 있다. 참고로 이러한 기술을 ‘설명가능 AI(XAI, eXplainable AI)’라고 부른다.

XAI 구현을 위해서는 크게 3가지 기술이 필요하다. 첫 번째는 AI 생각을 사람이 이해할 수 있게 변환하는 기술이다. 자연어처리 기술이 이에 해당한다. 두 번째는 AI 생각을 읽는 통계 기술이 필요하다. 세 번째는 사용자 인터페이스 기술이 필요하다.

세 번째 기술은 음성, 화면 표시 등 일반적인 기술이기 때문에 중요치 않다. 중요한 것은 앞의 두 기술이다. XAI가 AI 생각을 읽더라도 사람이 이해할 수 있는 언어로 표현할 수 없으면, 이러한 기술은 무의미하다. 그러므로 표현하는 기술이 중요하다.

UC버클리 대학이 대표적으로 이러한 연구를 하고 있다. ‘시각적 설명 만들어내기(Generating Visual Explanations)’ 논문에서는 AI가 사진 내용을 추론한 것을 문장으로 표현하는 기술을 소개했다. 혹은 엔비디아(NVIDIA)는 자율주행차가 영상에서 인식한 사물에 단어를 붙이는 방식으로 사람이 자율주행시스템의 AI 생각을 읽을 수 있게 개발했다.

AI를 읽는 기술에는 어떤 것이 있을까? 가장 단순한 모델로는 ‘민감도 분석(Sensitivity Analysis)’이 있다. AI가 고려할 것으로 판단되는 요인을 변화 시켜 결과를 확인하는 것이다. 유사 모델로는 ‘개별조건예측(ICE, Individual Conditional Expectation)’, 부분의존구성(PDP, Partial Dependence Plots), ‘일부 해석 모델 – 불가지론 설명(LIME, Local Interpretable Model – Agonistic Explanations)’ 등이 있다.

그 외 대표적인 방법으로는 ‘첨가 요인 민감도(SHAP, Sharply Additive Explanations)’가 있다. SHAP는 AI가 고려할만한 요인이 포함됐을 때와 포함되지 않았을 때를 비교해 해당 요인의 가중치를 분석한다.

이처럼 AI 생각을 읽기 위한 기술이 개발되고 있다. 앞으로 XAI는 AI와 함께 발전될 전망이다. AI가 산업에 보급될수록, AI 협력을 위한 XAI가 더욱더 요구될 것이기 때문이다.

출처 : https://www.sciencetimes.co.kr/?p=194378&cat=36&post_type=news