MIT, AI 학습이 쉬운 ‘작은 신경망’ 발견

MIT, AI 학습이 쉬운 ‘작은 신경망’ 발견

인공지능(AI) 기술이 발달하면서, 최근 다양한 AI 제품과 서비스들이 나오고 있다. 대부분의 AI 제품들은 각각 기능과 용도의 차이가 있음에도, ‘깊은 신경망(Deep Neural Networks)’ 기술을 사용한다. 하지만, 깊은 신경망은 많은 훈련 비용이 든다는 단점이 있다.

7일 엔가젯은 “MIT의 연구원들은 그것을 바꾸기를 바라고 있다”며, “오늘 발표된 논문에서, 연구원들은 신경 네트워크에서 최대 10배 더 작고, 더 저렴하고, 더 빨리 가르칠 수 있는 ‘보조 네트워크’가 포함돼 있다는 것을 밝혀냈다”고 보도했다.

대부분의 신경 네트워크를 훈련을 위해서는 엔지니어들이 많은 시간과 비싼 GPU를 이용해 엄청난 양의 데이터 세트를 제공한다.

엔가젯에 따르면, MIT의 컴퓨터 과학과 인공지능 연구소(CSAIL)의 연구원들은 이러한 훈련된 네트워크 내에서 똑같이 정확한 예측을 할 수 있는 하위 네트워크들이 더 작다는 것을 발견했다. 이는 CSAIL의 '로터리 티켓 가설'을 통해 발견됐다. 가설은 대부분의 신경망을 단련하는 것이 ‘복권 당첨을 위해 모든 티켓을 사는 것과 같은 것’이라며, 하위 네트워크를 훈련시키는 것은 당첨 티켓만을 구입하는 것과 같다는 생각에서 출발했다.

CSAIL은 많은 연구원들이 완전한 신경망을 구축하지 않으며, 불필요한 부분을 제거하지 않고 어떻게 ‘당첨된’ 하위 네트워크를 찾을 수 있는지 알아내지 못했다고 가정한다. 만약 그들이 그 단계를 건너뛰고 바로 하위 네트워크로 갈 수 있는 방법을 찾을 수 있다면, 이 과정은 몇 시간의 작업 시간을 절약할 수 있다. 또한, 거대한 회사가 아닌 개별 프로그래머들이 훈련하는 신경망에 접근할 수 있게 할 수 있다.

엔가젯은 “하위 네트워크를 효율적으로 찾는 방법을 결정하고, 왜 어떤 것이 다른 사람들보다 학습에 더 좋은지 이해하는 것은 몇 년 동안 연구자들을 바쁘게 할 것”이라며, 방법은 찾았지만 구현을 위해서는 아직 시간이 필요하다고 밝혔다.

출처 : 온라인 디지털 경제미디어 키뉴스(KINEWS)(http://www.kinews.net)