도시바 코퍼레이션(Toshiba Corporation)이 딥 러닝 처리를 위한 초저 전류 소비 뉴로모픽 반도체 회로를 사용하는 TDNN(Time Domain Neural Network)¹⁾의 개발로 사물인터넷과 빅데이터 분석을 촉진하고 있다. TDNN은 기존의 디지털 프로세서와 달리 도시바의 오리지널 아날로그 기술을 사용하는 수많은 소형 프로세싱 유닛으로 구성돼 있다. TDNN은 11월 8일 일본에서 열린 IEEE-후원 반도체 회로 기술 국제회의 A-SSCC 2016(Asian Solid-State Circuits Conference 2016, 아시아 솔리드 스테이트 회로 컨퍼런스 2016)에서 발표됐다.

딥 러닝은 많은 전력을 소모하는 고성능 프로세서에 전형적인 엄청난 연산을 필요로 한다. 그러나 딥 러닝의 파워를 센서와 스마트폰 같은 사물인터넷 디바이스에 적용하는 것은 아주 적은 에너지를 소비하며 대량의 필요한 작업을 할 수 있는 에너지 고효율 IC를 요구한다.

폰 노이만(von Neumann)식²⁾ 컴퓨터 아키텍처에서 대부분의 에너지는 데이터를 온칩 또는 오프칩 메모리 디바이스에서 프로세싱 유닛으로 옮기는 데 소모된다. 데이터 이동을 줄이는 가장 효과적인 방법은 프로세싱 유닛 각각이 물리적으로 가까운 곳에 있는 데이터 하나만을 처리하도록 하는 것이다. 이런 데이터 포인트에는 입력 신호(고양이 이미지)가 출력 신호(고양이 같은 이미지 인식)로 전환되는 동안 무게가 부여된다. 데이터 포인트가 원하는 출력에 가까울 수록 더 큰 무게가 부여되며 그 무게는 자동으로 딥 러닝 프로세스를 안내하는 파라미터를 제공한다.

뇌는 뉴런(무게 데이터) 간의 결합 강도가 시냅스(프로세싱 유닛)로 연결되는 것과 유사한 아키텍처를 갖고 있다. 이 경우 시냅스(synapses)는 뉴런(neurons) 간의 연결이며 각각 다른 강도를 갖는다. 강도(무게)는 그 연결을 통과하는 신호를 결정한다. 이렇게 시냅스는 일종의 프로세싱이라 할 수 있다. 공간적으로 완전히 펼쳐진 아키텍처라고 할 수 있는 이 아키텍처는 매력적이지만 분명 단점도 있다. 곧 칩 상에서 이를 복제하면 방대한 연산 회로를 요구해 너무 빨리 거대해 진다.

도시바의 TDNN은 2013년에 개발된 타임 도메인 아날로그와 디지털 혼합 신호 처리(TDAMS)³⁾ 기술을 사용해 프로세싱 유닛의 소형화가 가능하다. TDAMS의 경우 덧셈 같은 연산은 로직 게이트를 아날로그 신호로 통과하는 디지털 신호 지연 시간을 사용함으로써 효율적으로 수행한다. 이 기술을 사용하는 딥 러닝 프로세싱 유닛은 세 개의 로직 게이트와 공간적으로 완전히 펼쳐진 아키텍처의 1비트 메모리로 구성된다. 도시바는 SRAM(static random access memory) 셀을 메모리로 이용하며 손글씨를 인식할 수 있는 개념 검증(proof-of-concept) 칩을 제작한다. 작동 당 에너지 소비는 20.6 fj⁴⁾이며 앞서 이전 컨퍼런스⁵⁾에서 발표된 것보다 1/6배 뛰어나다.

도시바는 에너지와 면적 효율성을 개선하기 위해 TDNN 을 저항 메모리(ReRAM)로 개발할 계획이다. 목적은 디바이스 상에서 고성능 딥 러닝 기술을 구현하는 IC다.

1) TDNN: 타임 도메인 아날로그 및 디지털 혼합 신호처리 기술을 사용하는 뉴럴 네트워크
2) 폰 노이만 유형(Von Neumann type): 가장 널리 사용되는 표준 컴퓨터 아키텍처 이 아키텍처는 데이터를 처리하기 위해 메모리 디바이스에서 프로세싱 유닛으로 입력한다.
3) TDAMS: 로직 게이트를 아날로그 신호로 통과하는 디지털 신호의 지연 시간을 사용하는 아날로그 신호 처리 기술로서 도시바가 개발했다. (참조: http://www.toshiba.co.jp/about/press/2013_02/pr2101.htm)
4) 20.6 fJ: 1W 전력 소비로 1초에 48조 6,000억 회 작동
5) ISSCC 2016(국제 솔리드 스테이트 회로 컨퍼런스 2016) 논문 번호 24.2