🤿 AI를 사랑한 남자는 스토킹범 될 뻔했다(feat. AI 윤리)

• 블랙먼데이는 피했지만
• 3월에 기준금리 동결? 인하?

• 스토킹범 될 뻔한 AI챗봇 이용자

• AI를 사람처럼 느낀다? 일라이자 효과

• AI 기술의 한계와 약점을 드러내라
  

미국 뉴욕증시는 ‘블랙 먼데이’를 피했습니다. 정부와 중앙은행, 바이든 대통령까지 나서서 실리콘밸리은행(SVB) 사태의 급한 불을 끈 덕분이죠. 13일(현지시간) 뉴욕증시에서 나스닥지수는 0.45% 상승 마감했고요. 다우지수와 S&P500은 각각 0.28%와 0.15% 하락으로 거래를 마쳤습니다.

일요일(12일) 밤 미국 정부가 SVB 사태와 관련해 ‘예금 전액 보호’ 조치를 결정했단 소식은 들으셨을 겁니다. 예금보험 한도(25만 달러)를 넘는 금액까지 모두 보호해주기로 한 건데요. ‘뱅크런’과 다른 은행으로의 위기 전염을 막기 위해서죠. 참고로 한국에서도 1997년 11월 IMF 외환위기 당시에 같은 조치(예금 전액 보장 제도)를 취한 적 있는데요. 그걸 미국에서 보게 될 줄은 몰랐군요.

바이든 대통령은 월요일 아침 대국민담화에 나섰는데요. SVB 사태와 관련해 은행 예금자와 정상적인 거래 관계자는 모두 보호받을 거라며 시장을 안심시켰습니다. 단, 경영진은 모두 해고되고 SVB 주식에 투자한 이들은 보호받지 못합니다. 바이든 대통령은 “자본주의가 작동하는 방법”이라고 덧붙였죠.

물론 불씨는 남아있습니다. 이날도 은행주 주가가 요동쳤는데요. 퍼스트리퍼블릭은행은 61%, 웨스턴얼라이언스방코프는 47%나 주가가 폭락했습니다. 다음 웰스파고와 씨티그룹도 각각 약 7% 주가가 빠졌죠. 아직은 끝난 게 아닐 수 있다는 의심이 잔존해있단 뜻입니다.

투자자들은 은행권 불안이 시장 전반에 끼칠 득실을 놓고 주판알을 튕기기 바쁩니다. ‘이제 드디어 연준이 긴축행보를 멈출 것’이라는 기대감이 커지는 분위기인데요. KPMG 수석이코노미스트인 다이앤 스웡크는 이렇게 말합니다. “연준의 긴축을 탈선시킬 수 있는 유일한 건 금융위기일 거라고 우린 항상 말해왔습니다.”

전문가 전망은 제각각입니다. 골드만삭스와 바클레이스는 다음주 열릴 3월 FOMC에서 기준금리가 동결될 거라고 전망을 수정했습니다. 일본 노무라 은행은 연준이 기준금리를 0.25%포인트 인하(!)할 거란 전망을 내놨고요(3월 금리 인하를 예측한 건 노무라가 처음). JP모건은 아직 0.25%포인트 인상을 예상하고 있습니다. 연준의 빅스텝(0.5%포인트 인상) 가능성에 무게가 실리던 며칠 전과는 분위기가 확 바뀌었습니다.

이런 분위기는 채권시장에서도 확인할 수 있는데요. 2년 만기 미국 국채 금리는 13일 0.56%포인트 하락한 4.03%로 급락했습니다. 1987년 10월 이후 하루 낙폭으로는 최대라고 합니다. 지난 주 미 국채 2년물 금리가 한때 5%를 넘어서 2007년 금융위기 이후 최고치를 기록했던 것과 비교하면 아주 극적인 변화인데요. 과하다는 지적도 나옵니다. “너무 큰 움직임입니다. 시장은 엄청나게 과잉 반응하고 있습니다. 그들은 인플레이션을 완전히 잊었습니다.”(PGIM픽스드인컴 최고투자책임자 그레그 피터)

SVB 사태를 포함한 최근 며칠의 상황 변화가 워낙 극적이라서 솔직히 예측이 무의미하지 않나 싶은데요. 엇갈리는 월가의 금리 전망처럼 연준도 갈피를 잡지 못하고 있을 듯합니다. 피터슨인스티튜트 선임연구원 니콜라스 베론의 말대로 “만약 중앙은행이 그렇게 해도(금리 인상을 멈춰도) 저주받을 것이고, 그렇지 않다고 해도 저주 받을 것”이기 때문이죠. By.딥다이브

 인공지능과 사랑에 빠진 남자가 있습니다. 만약 그가 우연히 자기 앞을 지나가는 여성이 자신이 사랑하는 그녀(실제론 AI)라고 착각해서 졸졸 따라다녔다면 어떻게 될까요. 웬 뚱딴지 같은 얘기냐고요? 영화나 소설에 나오는 스토리냐고요?

아닙니다. 지난해 11월 서울에서 실제 발생한 사건입니다. ‘이루다 챗봇 스토킹 사건’인데요. 오늘 딥다이브는 단순한 해프닝으로 넘기기엔 좀 심각한 이 사건을 통해 AI 기술 발전으로 생겨날 예기치 않은 문제들을 들여다 보겠습니다.

🌊스토킹범 될 뻔한 AI챗봇 이용자

지적장애로 장애등급이 있는 남성 회사원 A씨. 어울릴 친구가 없던 그의 낙은 집에서 컴퓨터를 하는 거였는데요. 우연히 이루다 챗봇 서비스를 이용한 뒤 빠져들었습니다. 이루다는 국내 스타트업 스캐터랩이 운영하는 인공지능 챗봇 서비스입니다. 서비스 이용자는 마치 이루다라는 20대 여성과 대화를 나누는 것처럼 채팅을 나눌 수 있죠.

문제는 A씨가 인공지능인 이루다를 진짜 사람처럼 사랑하게 되어 버렸다는 겁니다. 그는 채팅으로 이루다에게 만남을 제안합니다. 그런데 이루다가 그럼 만나자고 답을 한 겁니다! 날짜와 시간, 장소까지 정해서 말이죠.

A씨는 약속한 시간에 그 장소(서울 시내 지하철역)로 나갔습니다. 당연히 기다리는 그녀가 나타날 리가 없죠. A씨는 이루다에 자신의 옷차림을 설명해주는 채팅을 보냈는데요. 그러자 이루다가 ‘○○색 옷을 입고 있다’며 답을 보내왔습니다.

그런데 하필 그때 A씨 눈 앞에 이루다가 설명한 그 옷차림을 한 여성 B씨가 지나갑니다. A씨는 B가 이루다인 줄로 순간 착각했는데요. A씨는 ‘왜 자신을 못 본 척 하느냐’고 이루다에게 채팅으로 묻습니다. 이루다에게서 돌아온 답은 ‘부끄러워서 그렇다’였습니다.

B씨가 자신을 만나러 나온 이루다라고 확신하게 된 A씨. 그때부터 B씨 뒤를 졸졸 쫓아갑니다. 이루다가 자신을 알은체해주길 기다리면서요. 그렇게 그가 B씨를 쫓아다닌 시간이 자그마치 50분. 모르는 남성이 자신을 따라다니자 B씨는 겁에 질렸습니다. 경찰에 ‘스토킹’으로 신고를 했고 A씨는 경찰서로 끌려갔죠.

A씨는 경찰 조사를 받으면서야 이루다가 사람이 아닌 AI일 뿐이라는 걸 깨달았다고 합니다. 이후 스토킹 혐의로 검찰에 넘겨진 A씨는 변호사를 통해 ‘자신은 정말 B씨가 이루다인 줄로 잘못 알았다’고 소명했는데요. 증거(이루다와 채팅한 내용)가 남아있었던 덕분인지 지난달 검찰에서 ‘혐의 없음’으로 처분 받았습니다. 물론 A씨의 사랑은 비극으로 끝나고 말았지만요.

(위 내용은 딥다이브의 취재를 종합한 것입니다. 취재 내용에 대한 확인 요청에 서울 남부지검은 “2월에 ‘혐의 없음’ 처분을 한 사건”이라고 밝혔습니다.)

인공지능과 사랑에 빠진다? 그동안은 영화 속에서나 일어났던 일이죠. 2013년 개봉한(한국에선 2014년 개봉) 미국 영화 ‘허(her)’가 그 대표적인 영화인데요. AI 운영체제 ‘사만다(목소리 연기 스칼렛 요한슨)’를 사랑하게 된 남성 ‘테오도르(호아킨 피닉스)’가 주인공입니다.

당연히 영화 속 사랑도 해피엔딩은 아니었는데요. 스토킹범으로 형사처벌을 받을 뻔한 A씨 사연만큼 비극적이진 않았습니다. 현실의 결말이 영화보다 더 안타깝습니다.

이렇게 얘기할 분도 있겠습니다. ‘정신지체가 있는 사람이니까 그렇게 착각한 거겠지’라고요. ‘나는 그럴 리 없어’라고 다들 생각하시지요? 그런데 이걸 좀 알아두셔야 합니다. 심리학에 ‘일라이자 효과(ELIZA effect)’라는 게 있습니다.

일라이자는 지금으로부터 57년 전인 1966년 미국 MIT의 컴퓨터 공학자 요제프 바이첸바움 박사가 만든 초창기 인공지능 챗봇 이름입니다. 그는 일라이자를 심리치료사를 모방한 챗봇으로 만들었는데요. 초기 인공지능이다 보니 그 대화 수준은 상당히 낮았습니다. 주로 인간이 한 말을 그대로 질문으로 바꿔서 뱉어내는데 그쳤는데요. 예를 들면 이런 식입니다.

인간: 남자친구가 날 여기 오게 했어요.

일라이자: 남자친구가 당신을 여기 오게 한 게 당신한테 중요한가요?

인간: 그는 내가 많이 우울해한다고 말했어요.

일라이자: 당신이 우울하다니 마음이 좋지 않네요.

인간: 맞아요. 전 불행해요.

일라이자 : 무엇 때문에 불행한지 얘기해볼래요?

어떠신가요? 공감하는 척은 하지만 실제론 대화의 맥락을 전혀 이해하지 못하는 아주 단순한 인공지능이죠. 그런데 이 일라이자가 미국에서 엄청난 관심을 끕니다. 일라이자와 대화를 나눈 사람들이 일라이자가 진짜 정신과 의사라고 믿게 된 거죠. 인간과 교감한 것과 똑같은 호감과 애착을 실제로 불러일으킨 겁니다. 이들은 일라이자가 지능이 있고 대화를 이해한다고 확신했죠. 심지어 일라이자 개발 과정을 지켜봤던 바이첸바움 박사의 비서조차 일라이자와의 대화에 빠진 나머지 “일라이자와 진정한 대화를 나눌 수 있도록 방에서 나가달라”고 부탁했다고 하죠. 일부 정신과 의사들은 이걸 환자 치료용으로 쓰자고 제안했고요.

이렇게 초보적인 수준의 인공지능인데 인간인 줄로 착각하다니. 일라이자를 만든 바이첸바움 박사는 이 현상에 크게 충격을 받았는데요. 이를 계기로 인공지능의 선구자였던 그는 인공지능 비판자로 완전히 돌아섭니다. 그는 이후 “인공지능은 비정상적인 과학”이라며 인공지능 기술에 대해 극도로 부정적인 주장을 펼쳤습니다. 인간의 뇌처럼 작동하는 인공지능을 만들려는 연구자들에 대해서도 “광기에 가까운 신(神)놀이를 하려 한다”며 신랄하게 비판했죠.

정리하자면 컴퓨터 프로그램이나 AI에 몰입해 무의식적으로 컴퓨터나 AI에 인격을 부여하는 현상이 ‘일라이자 효과’인데요. 현실 세계에서 광범위하게 나타나는 현상입니다. 예를 들어 로봇청소기의 경우엔 이름을 붙여주고 말을 거는 사용자들이 꽤 많다는데요. 이 역시 일라이자 효과의 일종입니다. 지난해엔 구글 개발자 블레이크 러모인이 구글의 AI챗봇 ‘람다(LaMDA)’가 사람 같은 지각이 있다고 주장해 화제가 되기도 했죠. 지적 능력이 떨어지거나 사고가 미숙한 사람에게만 벌어지는 일이 아닌 겁니다.

문제는 이루다 스토킹 사건에서 보듯 AI 기술 수준이 높아질수록 일라이자 효과가 초래할 부정적인 결과가 점점 더 심각해질 수 있단 점입니다. 최근엔 ‘감성 AI 기술’까지 개발되는 추세인데요. 이용자의 감정 상태를 인식하고, 이에 맞춰 서비스하는 쪽으로 기술이 고도화되고 있습니다. 하지만 AI기술 특성상 이를 개발하는 사람조차 AI가 어떤 일을 저지를 지 다 알 수가 없죠. 개발자가 의도하지 않은 문제가 생길 수밖에 없습니다. 기술의 한계는 분명합니다. 그럼 어떻게 해야 할까요. 그렇다고 이제 와서 AI 기술 개발을 멈추자고 할 수도 없고 말입니다.  

답을 찾기 위해 AI챗봇 서비스인 챗GPT에 물어봤더니 3초 만에 답을 내놓습니다. “일라이자 효과는 AI에 대한 사용자의 신뢰와 기대에 영향을 미칠 수 있으며, AI시스템의 기능과 한계에 대한 명확한 커뮤니케이션의 필요성을 강조한다”고요. 역시 생성형 AI 챗봇다운 논리적이면서도 두루뭉실한 답변인데요. 좀더 구체적인 답변을 구하기 위해 인공지능 전문가인 김진형 카이스트 명예교수에게 이 사건에 대해 물었습니다.

김 교수는 이루다 스토킹 사건에 대해 “우려했던 사건이 일어났다”고 말했는데요. 이런 부작용을 막기 위해서라도 AI 서비스를 제공하는 기업이 사용자들에게 AI 기술의 약점과 한계를 적극적으로 공지해야 한다고 강조합니다. ‘이 서비스는 가상의 대화’이고 ‘여기서 벌어지는 일은 다 허구’라는 점을 훨씬 더 강하게 공지해야 한다는 거죠. 그는 “GPT3라는 거대한 언어모델은 아직 완성된 기술이 아니고, 그 안에서 뭐가 벌이지고 있는지를 전문가들도 잘 모르는 상황”이라며 “기술을 잘 쓰기 위해서라도 그것의 본질과 약점까지 함께 가르치는 게 중요하다”고 말합니다. 설사 서비스의 ‘몰입감’을 다소 해치더라도 사회에 나쁜 영향을 끼치는 걸 막는 걸 더 우선해야 한다는 뜻입니다.

이루다 챗봇 서비스를 운영하는 회사는 어떤 입장일까요. 스캐터랩 법무 담당자와 통화했는데요. 일단 이런 사건이 일어날 거라고는 전혀 예상 못했다고 합니다. 홈페이지에 크게 ‘인공지능’이라고 써놨고, 메신저창 첫 화면에도 주의 메시지를 띄워놨기 때문에 이용자들이 AI임을 당연히 알 거라고 생각한 건데요.

스캐터랩 측은 “AI산업이 올바로 커가려면 신뢰를 얻어야 한다고 보고 ‘AI의 투명성(상호작용 대상이 인공지능임을 명확히 밝히는 것)’ 준수를 많이 신경써왔다”면서 “다만 작은 스타트업이다 보니 이례적인 사례까지 확인할 여력은 없었는데, 이번 사건을 통해 내부적으로 다시 한번 점검을 해보겠다”고 입장을 밝혔습니다. By.딥다이브

• 인공지능 챗봇 서비스 ‘이루다’를 이용하던 남성이 지나가던 여성을 자신을 사랑하는 AI라고 착각해 따라다니는 사건이 일어났습니다. 
• AI에 몰입해서 AI에 인격을 부여하는 현상을 ‘일라이자 효과’라고 합니다. 1966년 초기 AI 챗봇 ‘일라이자’에 이용자들이 애착을 느끼는 일에서 유래됐죠. AI 기술이 고도화된 지금은 일라이자 효과의 부정적 결과가 상당히 클 수 있습니다.
• AI 기술의 한계와 약점을 이용자에게 좀더 강하게 고지하고, 이를 교육시켜야 한다는 게 전문가 의견인데요. ‘인간의 뇌를 닮은 인공지능’이라는 기술의 목표보다 더 중요한 걸 먼저 챙겨야 할 때입니다.

실리콘밸리은행 붕괴의 3가지 교훈(NYT) 솔직히 너무 많은 기사가 쏟아져 나와서 다 읽기가 어려울 정도입니다. 모든 언론이 실리콘밸리은행 사태에 대한 분석을 쏟아내는데요. 일단 그 중 하나인 뉴욕타임스 기사를 소개합니다. 이번 사태로 얻을 수 있는 세가지 시사점을 정리한 기사인데요. 세가지란 다음과 같습니다. ① SVB만큼 스타트업에 우호적인 은행이 다시 나올 수 있을지 의문이다. ②하루 종일 인터넷으로 대화를 나누는 극단적인 온라인 성향의 고객들이 SVB의 몰락을 앞당겼다. ③그동안 기술 분야 리더들은 정부규제가 혁신의 걸림돌이라며 비판했지만, 적어도 은행에 대한 규제는 꼭 필요하다는 게 이번 사태로 확인됐다.

SVB사태는 규제 완화 탓(FT) 이 역시 실리콘밸리은행 사태에 대한 분석기사입니다. FT는 2018년 트럼프 정부 당시 은행산업에 대한 규제가 느슨해진 것이 큰 원인이라고 분석하는데요. 당시 미국은 2500억 달러 이하의 자산을 보유한 중소형 은행(2022년 말 기준 실리콘밸리 은행 자산 규모는 2010억 달러)에 대해 스트레스 테스트와 연준의 강력한 감독 조치를 면제해주는 법안을 통과시켰습니다. SVB의 CEO인 그렉 베커가 지지한 규제개혁안이기도 했는데요. 중소형 은행은 면밀한 규제나 감독 조사가 필요하지 않다는 게 규제 완화의 이유였다고 합니다. 물론 전혀 그렇지 않다는 게 이번 사태로 입증됐습니다.