인공신경망을 이용한 딥 러닝의 개념은 이로부터 40년 가까이 지난 1980년 일본 교토대의 후쿠시마 쿠니히토(Kunihito Fukushima) 박사가 소개한 신경망인 네오코그니션(Neocognition)에서 처음 등장합니다. 1989년엔 얀 러쿤(Yann LeCun) 뉴욕대 교수가 신경망에 표준 역전파(backpropagation) 알고리즘을 적용한 연구로 손으로 쓴 우편번호 인식에 성공하기도 했습니다. 그러나 지나치게 긴 학습 시간 등으로 인해 실용화엔 성공하지 못했습니다.
‘신경망의 아버지’라고 불리는 제프리 힌튼(Geoffrey Hinton) 토론토대 교수는 2006년, 기존 신경망의 과적합(과도한 학습에 따른 오차 증가) 문제를 해결하며 딥 러닝의 새로운 전기를 열었습니다. 이어 2012년 스탠포드대 앤드류 응(Andrew Ng) 교수 등이 이끄는 구글 브레인 팀은 클라우드 환경을 기반으로 방대한 양의 유튜브 비디오를 자동으로 분석, 고양이의 이미지를 찾아내는 데 성공하면서 인간의 뇌를 닮은 NPU의 출발점을 마련했습니다.