인간이 AI를 결코 이해하지 못하는 이유

데이비드 비어
2023년 4월 7일

인공 신경망 개발을 시작한 많은 선구자들은 그것이 실제로 어떻게 작동하는지 확신하지 못했으며 오늘날 우리는 더 이상 확신하지 못합니다.

1956년, 20대 초반의 런던 여행 중 수학자이자 이론 생물학자인 Jack D Cowan은 Wilfred Taylor와 그의 이상한 새 "학습 기계"를 방문했습니다 . 그가 도착했을 때 그는 그와 마주한 "거대한 장치 뱅크"에 당황했습니다. Cowan은 "기계가 제 역할을 하는 것"을 서서 지켜볼 수 밖에 없었습니다. 그것은 연결을 찾고 데이터를 검색하는 방법을 배울 수 있는 것처럼 보였습니다.

논평 및 분석
David Beer는 요크 대학교의 사회학 교수입니다.

그것은 많은 전선과 상자에 손으로 납땜한 투박한 회로 블록 처럼 보였을지 모르지만 Cowan이 목격한 것은 신경망의 초기 아날로그 형태였습니다. 거의 모든 명령에 대한 응답으로 서면 콘텐츠를 생성하는 기능으로 ChatGPT에 대해 많이 논의했습니다 . ChatGPT의 기본 기술은 신경망입니다. ( ChatGPT가 꿈꾸는 AI 감성 에 대해 자세히 읽어보세요 )

Cowan과 Taylor는 서서 기계가 작동하는 것을 지켜보면서 기계가 이 작업을 어떻게 수행하고 있는지 정확히 알지 못했습니다. Taylor의 미스터리한 기계 두뇌에 대한 답은 "아날로그 뉴런" 어딘가에서, 기계 메모리에 의해 만들어진 연관성에서, 그리고 가장 중요한 것은 자동화된 기능이 실제로 완전히 설명될 수 없다는 사실에서 찾을 수 있습니다. 이러한 시스템이 목적을 찾고 그 힘이 풀리려면 수십 년이 걸릴 것입니다.

당신은 또한 좋아할 수 있습니다:

자동 번역을 거부하는 언어
우리가 기계를 그토록 신뢰하는 이유
AI의 이상하고 놀라운 예술
신경망이라는 용어는 광범위한 시스템을 포함하지만 IBM에 따르면 중심적 으로 이러한 "신경망(ANN(인공 신경망) 또는 SNN(시뮬레이션 신경망)이라고도 함)은 기계 학습의 하위 집합이며 딥 러닝 알고리즘의 핵심". 결정적으로 용어 자체와 그 형태 및 구조는 "인간의 뇌에서 영감을 받아 생물학적 뉴런이 서로 신호를 보내는 방식을 모방"합니다.

초기 단계에서 그 가치에 대한 약간의 의심이 남아있을 수 있지만, 수년이 지나면서 AI 패션은 신경망으로 확고하게 방향을 틀었습니다. 그들은 이제 종종 AI의 미래로 이해됩니다. 그것들은 우리와 인간이 된다는 것이 무엇을 의미하는지에 대해 큰 의미를 가지고 있습니다. 우리는 최근 이러한 우려가 미치는 영향에 대한 확신을 보장하기 위해 6개월 동안 새로운 AI 개발을 일시 중지하라는 요청과 함께 이러한 우려 의 메아리를 들었습니다 .

신경망을 광택이 나고 눈길을 끄는 새로운 장치에 관한 것이라고 무시하는 것은 확실히 실수입니다. 그들은 이미 우리 삶에 잘 자리 잡고 있습니다. 일부는 실용성이 강력합니다. 1989년으로 거슬러 올라가 AT&T Bell Laboratories의 한 팀은 손으로 쓴 우편 번호를 인식하도록 시스템을 교육하기 위해 역전파 기술을 사용했습니다 . Bing 검색이 AI에 의해 구동되어 "웹용 부조종사"가 될 것이라는 Microsoft의 최근 발표는 우리가 발견한 항목과 이를 이해하는 방식이 점점 더 이러한 유형의 자동화의 산물이 될 것임을 보여 줍니다 .

패턴을 찾기 위해 방대한 데이터를 사용하는 AI는 이미지 인식과 같은 작업을 빠르게 수행하도록 유사하게 훈련되어 예를 들어 얼굴 인식 에 통합될 수 있습니다. 패턴을 식별하는 이러한 능력은 주식 시장 예측 과 같은 다른 많은 응용 프로그램으로 이어졌습니다 .

신경망은 우리가 해석하고 소통하는 방식도 변화시키고 있습니다. Google Brain Team 에서 개발한  Google 번역은 신경망 의 또 다른 탁월한 응용 프로그램입니다.

당신은 체스나 쇼기를 하고 싶지 않을 것입니다. 규칙을 이해하고 전략과 기록된 모든 동작을 기억하는 것은 그들이 게임에 유난히 능숙하다는 것을 의미합니다(ChatGPT는 Wordle과 어려움을 겪는 것처럼 보이지만. 인간 바둑 플레이어를 괴롭히는 시스템(바둑은 악명 높은 까다로운 전략 보드 게임입니다)과 체스 그랜드마스터는 신경망으로 만들어집니다 .

그러나 그들의 범위는 이러한 사례를 훨씬 뛰어 넘어 계속 확장되고 있습니다. 정확한 문구 "신경망"에 대한 언급으로만 제한된 특허 검색은 작성 시점에 135,828개의 결과를 생성했습니다. 이러한 급속하고 지속적인 확장으로 인해 AI의 영향력을 완전히 설명할 수 있는 기회는 더욱 희박해질 수 있습니다. 이것이 제가 연구 와 알고리즘적 사고에 관한 새 책 에서 검토해 온 질문들입니다 .

'알 수 없음'의 신비한 층

신경망의 역사를 되돌아보면 현재를 정의하는 자동화된 결정이나 미래에 더 큰 영향을 미칠 가능성이 있는 결정에 대해 중요한 사실을 알 수 있습니다. 그들의 존재는 또한 우리가 시간이 지남에 따라 AI의 결정과 영향을 훨씬 덜 이해할 가능성이 있음을 말해줍니다. 이러한 시스템은 단순한 블랙 박스가 아니며, 보거나 이해할 수 없는 시스템의 숨겨진 부분이 아닙니다.

인공 지능이 우리 삶에 미치는 영향이 커질수록 우리는 그 방법과 이유를 덜 이해하게 될 가능성이 높습니다.
그것은 다른 것, 즉 이러한 시스템 자체의 목적과 디자인에 뿌리를 둔 것입니다. 설명할 수 없는 것에 대한 오랜 추구가 있습니다. 불투명할수록 시스템이 더 정통하고 발전된 것으로 간주됩니다. 시스템이 더 복잡해지거나 액세스를 제한하는 지적 재산의 통제에 관한 것만은 아닙니다(비록 이것들이 그 일부이긴 하지만). 대신 그들을 이끄는 정신이 "알 수 없음"에 대한 특별하고 내재된 관심을 가지고 있다고 말하는 것입니다. 수수께끼는 신경망의 형태와 담화 자체에도 코딩되어 있습니다. 그것들은 깊게 쌓인 레이어(따라서 딥 러닝이라는 문구)와 함께 제공되며 그 깊이 안에는 훨씬 더 신비한 소리가 나는 "숨겨진 레이어"가 있습니다. 이 시스템의 신비는 표면 아래 깊숙이 있습니다.

인공 지능이 우리 삶에 미치는 영향이 커질수록 우리는 그 방법과 이유를 덜 이해하게 될 가능성이 높습니다. 오늘날 설명 가능한 AI에 대한 강력한 압박이 있습니다. 우리는 그것이 어떻게 작동하고 어떻게 결정과 결과에 도달하는지 알고 싶습니다. 유럽 ​​연합은 잠재적으로 "용납할 수 없는 위험"과 심지어 "위험한" 애플리케이션에 대해 우려하고 있으며, 현재 " 안전하고 신뢰할 수 있으며 윤리적인 인공 지능의 개발"을 위한 글로벌 표준을 설정하기 위한 새로운 AI 법안을 추진하고 있습니다.

이러한 새로운 법률은 "고위험 AI 시스템의 경우 고품질 데이터, 문서화 및 추적 가능성, 투명성, 인적 감독, 정확성 및 견고성에 대한 요구 사항이 위험을 완화하는 데 반드시 필요하다는 설명 가능성의 필요성을 기반으로 합니다 . AI가 제기하는 기본권과 안전" 이는 자율주행차(안전을 보장하는 시스템은 EU의 고위험 AI 범주에 속하지만)와 같은 것뿐만 아니라 향후 인권에 영향을 미칠 시스템이 등장할 것이라는 우려도 있다.

이는 AI의 활동을 확인, 감사 및 평가할 수 있도록 AI의 투명성에 대한 광범위한 요청의 일부입니다. 또 다른 예는 설명 가능한 AI에 대한 왕립 학회의 정책 브리핑에서 "전 세계 정책 토론에서 점점 더 AI의 설계 및 배포에 윤리적 원칙을 포함하려는 노력의 일환으로 어떤 형태의 AI 설명 가능성에 대한 요구를 보게 됩니다. 활성화된 시스템". 

그러나 신경망의 이야기는 우리가 미래에 목표에 가까워지기보다는 멀어질 가능성이 높다는 것을 말해줍니다.

이러한 신경망은 복잡한 시스템일 수 있지만 몇 가지 핵심 원칙이 있습니다. 인간의 두뇌에서 영감을 얻은 그들은 생물학적 및 인간적 사고의 형태를 복사하거나 시뮬레이션하려고 합니다. 구조 및 디자인 측면에서 IBM이 설명하는 것처럼 "입력 계층, 하나 이상의 숨겨진 계층 및 출력 계층을 포함하는 노드 계층"으로 구성됩니다. 이 안에서 "각 노드 또는 인공 뉴런은 다른 노드에 연결됩니다." 출력을 생성하려면 입력과 정보가 필요하기 때문에 "시간이 지남에 따라 정확도를 학습하고 개선하기 위해 훈련 데이터에 의존"합니다. 이러한 기술적 세부 사항은 중요하지만 인간 두뇌의 복잡성에 따라 이러한 시스템을 모델링하려는 소망도 중요합니다.

AI의 젠더 문제
인공 지능은 이러한 시스템 학습을 돕기 위해 방대한 데이터 세트에 의존합니다. 그러나 이러한 데이터 세트의 대부분은 매우 인간적인 편견으로 가득 차 있습니다. 유네스코가 발표한 2019년 보고서는 이러한 편견 중 가장 두드러진 것은 "전 세계적으로 여성을 낙인 찍고 소외시키는" 위험이 있는 "유해한 성별 고정관념"과 관련된 것이라고 경고했습니다. 알고리즘 설계 단계에서도 편향이 생길 수 있습니다. Alan Turing Institute에 따르면 AI 및 데이터 전문가의 22%만이 여성입니다 . 유네스코 보고서의 권고 사항 중에는 AI 연구 분야에서 양성 평등을 높이는 것이 포함되었습니다.

MIT 미디어 랩에서 이미 사용 중인 많은 AI 알고리즘에 내재된 인종적 편견을 강조하기 위해 노력한 Joy Buolamwini와 같은 일부 연구원은 또한 AI가 사람들의 삶을 형성하는 방법에 대한 더 광범위한 교육이 필요하다고 주장합니다 . Alan Turing Institute의 Erin Young, Judy Wajcman 및 Laila Sprejer도 정부가 AI에서 사용하는 데이터의 성별 격차를 해결하기 위한 조치를 취할 것을 촉구했습니다 .

이러한 기술 세부 사항이 실제로 무엇을 의미하는지 이해하려면 이러한 시스템 뒤에 있는 야망을 파악하는 것이 중요합니다. 1993년 인터뷰 에서 신경망 과학자 Teuvo Kohonen은 "자기 구성" 시스템이 "내 꿈"이며 "우리의 신경계가 본능적으로 수행하는 것과 같은 것"을 작동한다고 결론지었습니다. 예를 들어, Kohonen은 자체적으로 모니터링하고 관리하는 시스템이 "모든 비행기, 제트기, 모든 원자력 발전소 또는 모든 자동차에서 모든 기계의 모니터링 패널로 사용될 수 있는" 방법을 상상했습니다. 이것은 미래에 "시스템이 어떤 상태에 있는지 즉시 알 수 있다"는 것을 의미한다고 그는 생각했습니다.

가장 중요한 목표는 주변 환경에 적응할 수 있는 시스템을 갖추는 것이었습니다. 그것은 즉각적이고 자율적이며 신경계의 방식으로 작동할 것입니다. 많은 사람의 개입 없이 스스로 처리할 수 있는 시스템을 갖추는 것이 꿈이었습니다. 뇌, 신경계 및 실제 세계의 복잡성과 미지의 요소가 곧 신경망의 개발 및 설계에 영향을 미치게 될 것입니다.

뇌를 모방하다 – 층을 거듭하다

신경망에 대해 논의할 때 뇌의 이미지와 이것이 불러일으키는 복잡성이 결코 멀리 있지 않다는 것을 이미 눈치채셨을 것입니다. 인간의 두뇌는 이러한 시스템의 일종의 템플릿 역할을 했습니다. 특히 초기 단계에서 뇌(여전히 미지의 영역 중 하나)는 신경망이 어떻게 작동하는지에 대한 모델이 되었습니다.

따라서 이러한 실험적인 새로운 시스템은 그 기능 자체가 거의 알려지지 않은 무언가를 모델로 삼았습니다. 뉴로컴퓨팅 엔지니어인 카버 미드(Carver Mead)는 그가 특히 매력적이라고 ​​생각한 "인지 빙산"의 개념에 대해 공개적으로 말했습니다 . 우리가 알고 있고 눈에 보이는 것은 의식이라는 빙산의 일각에 불과합니다. 나머지의 규모와 형태는 표면 아래에 알려지지 않은 채로 남아 있습니다.

1998년에 신경망에 대해 얼마 동안 일했던 제임스 앤더슨은 뇌에 대한 연구에서 "우리의 주요 발견은 우리가 실제로 무슨 일이 일어나고 있는지 모른다는 인식인 것 같다"고 언급했습니다.

기술 저널리스트인 Richard Waters는 2018년 파이낸셜 타임즈의 상세한 설명에서 신경망이 "인간의 뇌가 작동하는 방식에 대한 이론을 모델로 하여 식별 가능한 패턴이 나타날 때까지 인공 뉴런 레이어를 통해 데이터를 전달하는 방법"에 대해 언급 했습니다 . Waters는 "전통적인 소프트웨어 프로그램에 사용된 논리 회로와 달리 컴퓨터가 특정 답을 내놓는 이유를 정확히 식별하기 위해 이 프로세스를 추적할 방법이 없습니다"라고 제안했습니다. Waters의 결론은 이러한 결과를 선택 취소할 수 없다는 것입니다. 이러한 유형의 뇌 모델을 적용하여 여러 계층을 통해 데이터를 가져오면 답을 쉽게 되돌릴 수 없습니다. 다중 레이어링이 그 이유 중 좋은 부분입니다.

'적응이 전체 게임이다'

Mead 및 Kohonen과 같은 과학자들은 자신이 처한 세계에 진정으로 적응할 수 있는 시스템을 만들고 싶었습니다. 그것은 그 조건에 응답할 것입니다. Mead는 신경망의 가치가 이러한 유형의 적응을 촉진할 수 있다는 점을 분명히 했습니다. 당시 이러한 야망을 반영하여 Mead는 각색 제작이 "전체 게임"이라고 덧붙였습니다. 그는 "현실 세계의 특성 때문에" 이러한 적응이 필요하다고 생각했고, "절대적인 것을 하기에는 너무 가변적"이라고 결론지었습니다.

신경망의 레이어가 더 많이 쌓이면서 복잡성이 증가했고 이러한 깊이 내에서 '숨겨진 레이어'의 성장으로 이어졌습니다.
이 문제는 특히 "신경계가 오래 전에 파악한 것"이라고 생각했기 때문에 특히 고려해야 할 필요가 있습니다. 이 혁신가들은 뇌의 이미지와 그 미지의 이미지로 작업했을 뿐만 아니라 이를 "실제 세계"의 비전과 이것이 가져오는 불확실성, 미지 및 변동성과 결합했습니다. Mead는 시스템이 지침 없이 상황에 대응하고 적응할 수 있어야 한다고 생각했습니다 .

1990년대와 거의 같은 시기에 수학과 심리학, 생물 의학 공학 전반에 걸쳐 작업하는 인지 시스템 전문가인 Stephen Grossberg 도 적응이 장기적으로 중요한 단계가 될 것이라고 주장했습니다 . Grossberg는 신경망 모델링에 대해 연구하면서 "생물학적 측정 및 제어 시스템이 빠르게 변동하는 세계에 실시간으로 빠르고 안정적으로 적응하도록 설계하는 방법에 관한 것"이라고 스스로 생각했습니다. "자체 구성" 시스템에 대한 Kohonen의 "꿈"에서 이전에 보았듯이 "실제 세계"의 개념은 이러한 시스템에 응답 및 적응이 코드화되는 컨텍스트가 됩니다. 실제 세계를 이해하고 상상하는 방식은 의심할 여지 없이 이러한 시스템이 적응하도록 설계되는 방식을 결정합니다.

숨겨진 레이어

계층이 증가함에 따라 딥 러닝은 새로운 깊이를 제공했습니다. 신경망은 컴퓨터 과학 저술가 Larry Hardesty가 설명한 훈련 데이터를 사용하여 훈련됩니다. "최하위 계층인 입력 계층에 입력되고 다음 계층을 통과하여 복잡한 방식으로 곱해지고 더해져서 최종적으로 도착할 때까지 , 출력 레이어에서 급격하게 변형되었습니다." 레이어가 많을수록 변환이 커지고 입력에서 출력까지의 거리가 멀어집니다. 예를 들어 게임에서 그래픽 처리 장치(GPU)의 개발로 Hardesty는 "1960년대의 1계층 네트워크와 1980년대의 2~3계층 네트워크가 10, 15, 심지어 50세대로 꽃을 피울 수 있었습니다. -오늘날의 레이어 네트워크".

신경망은 점점 더 깊어지고 있습니다. 실제로 Hardesty에 따르면 "'딥 러닝'에서 '딥'이 의미하는 것"이 ​​레이어 추가입니다. "현재 딥 러닝은 인공 지능 연구의 거의 모든 영역에서 최고의 성능을 발휘하는 시스템을 담당하고 있기 때문에" 이것이 중요하다고 그는 제안합니다.

그러나 미스터리는 더욱 깊어진다. 신경망 레이어가 쌓이면서 복잡성도 커졌습니다. 또한 이러한 깊이 내에서 "숨겨진 계층"이라고 하는 성장을 가져왔습니다. 신경망에서 최적의 숨겨진 계층 수에 대한 논의가 진행 중입니다. 미디어 이론가 Beatrice Fazi는 "뉴런의 첫 번째 레이어(입력 레이어)와 마지막 레이어(출력 레이어) 사이에 끼워진 숨겨진 신경 레이어에 의존하는 심층 신경망이 작동하는 방식 때문에 딥 러닝 기술은 원래 설정한 프로그래머에게도 불투명하거나 읽기 어려운 경우가 많습니다."

레이어가 증가함에 따라(숨겨진 레이어 포함) 설명하기가 더욱 어려워집니다. 저명한 학제간 뉴미디어 사상가인 캐서린 헤일스( Katherine Hayles)도 "시스템에 대해 얼마나 알 수 있는지, 신경망과 딥 러닝 알고리즘의 '숨겨진 계층'과 관련된 결과"에는 한계가 있다고 지적했습니다.

설명할 수 없는 것을 추구 

종합하면, 이러한 오랜 발전은 기술 사회학자인 Taina Bucher 가 "미지의 문제"라고 부른 것의 일부입니다. 과학 지식에 대한 그의 영향력 있는 연구를 AI 분야로 확장하면서 Harry Collins 는 신경망의 목표는 신경망이 적어도 처음에는 인간에 의해 생성될 수 있지만 "일단 프로그램이 작성되면 자체 수명을 유지하는 것"이라고 지적했습니다 . 엄청난 노력 없이도 프로그램이 정확히 어떻게 작동하는지 알 수 없는 상태로 남을 수 있습니다." 이것은 자기 조직화 시스템에 대한 오랜 꿈을 반영합니다.

여기에 미지의 것, 심지어 알 수 없는 것까지 초기 단계부터 이러한 시스템의 근본적인 부분으로 추구해 왔다는 점을 덧붙이고 싶습니다. 인공 지능이 우리 삶에 미치는 영향이 커질수록 우리는 그 방법과 이유를 덜 이해하게 될 가능성이 높습니다.

그러나 그것은 오늘날 많은 사람들에게 잘 맞지 않습니다. 우리는 AI가 어떻게 작동하고 AI가 우리에게 영향을 미치는 결정과 결과에 어떻게 도달하는지 알고 싶습니다. AI의 발전이 세상에 대한 우리의 지식과 이해, 우리가 발견한 것, 대우받는 방식, 배우고 소비하고 상호 작용하는 방식을 지속적으로 형성함에 따라 이해하려는 충동이 커질 것입니다. 설명 가능하고 투명한 AI에 관한 한 신경망의 이야기는 우리가 미래에 그 목표에 가까워지기보다는 멀어질 가능성이 높다는 것을 말해줍니다.

* 데이빗 비어(David Beer)는 요크 대학교 사회학 교수이자 The Tensions of Algorithmic Thinking: Automation, Intelligence and the Politics of Knowing 의 저자입니다.

이미지 제공:  Alamy