동급 최강의 이미지 품질과 보정 환경 제공
다양한 일상 디바이스에 고품질 이미지 제공

Arm은 새로운 세대의 이미지 신호 프로세서(ISP)인 Arm Mali-C52와 Mali-C32 ISP를 출시했다. 이번 ISP 기술은 이미지 센서에서 데이터를 가져와 각 픽셀을 처리할 때, 특히 머신 러닝과 관련된 경우 가장 정확하고 높은 이미지 품질을 제공하는 핵심 기능을 수행한다.

현 디지털 세계는 이러한 인간의 시각적 처리를 따라잡기 위하여 수십년간의 노력을 꾸준히 이어오고 있으며, 이와 같은 주변 환경을 보다 실제에 가깝게 볼 수 있도록 하는 초고화질의 디지털 이미지(digital eyes) 구현은 1조개의 커넥티드 디바이스 실현을 목표로하는 Arm이 해결해야 할 여러 과제 중 하나이다.
 
실제로 Arm 추산에 따르면, 임베디드 시각 기능을 갖춘 IoT 디바이스는 높은 수요를 보이는 커넥티드 디바이스이다. 보안(감시) 및 IP 카메라 시장은 2021년까지 20% 연 성장률을 유지하며 출하량 5억대를 돌파할 것으로 보인다. 개인용 로봇은 75%라는 놀라운 연 성장률을 기록하고 있으며, 2021년 출하량은 2백만 대에 이를 것으로 전망된다.

스마트 홈 시장은 매년 14% 성장하며 2021년 8천 8백만 달러에 이를 전망이며, 드론, 증강 현실(AR), 혼합 현실(MR) 장비와 액션 카메라 등의 다른 디바이스는 시장 카테고리에서 신흥 기술을 벗어나 범용 기술로 전환하는 추세이다.
 
이들 디바이스가 필요로 하는 한층 진보된 초고화질 및 실시간 이미지 수요에 대응하기 위해, Arm은 오늘 새로운 세대의 이미지 신호 프로세서(ISP)인 Arm Mali-C52와 Mali-C32 ISP를 발표한다.

시각적 인식을 픽셀로 전환

이번 신규 출시한 디바이스에 사용된 이미지 기술 가운데 핵심이 되는 부분은 이들 디바이스에 내장된 ISP 기술이다. 제약이 따르는 이들 디바이스에서 ISP는 이미지 센서에서 데이터를 가져와 각 픽셀을 처리할 때, 특히 머신 러닝과 관련된 경우 가장 정확하고 높은 이미지 품질을 제공하는 핵심 기능을 수행한다.

새로운 Arm Mali-C52와 Mali-C32는 각 픽셀 처리 시 25단계 이상의 다양한 기능을 적용하는데, 그 중에는 이미지 출력 품질에 핵심적 차별화를 제공하는 세 가지, 즉 HDR(high-dynamic range)과 노이즈 감소, 색상 관리도 이들과 함께 포함된다.

시장을 선도하는 Arm의 Iridix 기술을 비롯하여 노이즈 및 색상 관리에 사용되는 첨단 알고리즘을 모두 통합한 Mali-C52와 C32 ISP는 위에서 언급한 세 가지 단계를 실시간 및 초고해상도로 제공한다 (예: 60fps로 4K 해상도 제공). 

HDR로 무엇 하나 놓치는 것 없이

HDR의 필요성을 부각시키는 가장 좋은 방법으로는 빛 노출이 과다한 부분과 짙은 음영이 혼재된 장면이 주를 이루는 밝은 실외 환경에 설치된 커넥티드 보안 카메라 이미지에 적용하는 방법이 있다. 인간의 눈은 이러한 환경에서도 자연스럽게 대비를 인식할 수 있지만, 디지털 센서가 이러한 장면을 포착하려면 여러 번의 노출이 필요하다.

이러한 HDR 장면을 충실하게 표현하려면, 이미지 처리를 위해 최소 픽셀당 20 비트 또는 24비트 구성을 필요로 하는데, 디지털 시스템 디스플레이는 일반적으로 8 비트나 10비트인 경우가 많아 이를 처리할 수 있는 데이터 양이 제한적이다.

이 말은 ISP에 배치된 컴퓨터 비전 엔진도 8비트나 10비트 처리에 국한된다는 뜻이기도 하다. 이러한 상황에서 ISP는 (더 높은 비트 심도로) HDR 데이터를 처리한 후 압축 및 추가적인 활용이 필요하기때문에, 결과적으로 동적 범위(dynamic range)가 제대로 관리되지 않으면 음영 내 세부적 부분은 손실될 수 밖에 없다.

Arm의 동적 범위 관리 및 톤 매핑 기술이 적용된 새로운 Mali ISP는 이러한 디바이스 차원의 한계를 극복하고, 이미지 속 주요 부분을 터치하거나 변경하지 않으면서 음영 부분을 향상시킬 수 있도록 설계되었다.

제품 출시 앞당기는 완벽하고 유연한 솔루션

Mali-C52는 이미지 품질 최적화나 영역 최적화를 수행하도록 구성할 수 있다. 이와 같은 유연성을 활용해 Arm 실리콘 파트너들은 여러 제품에 걸쳐 동일한 IP와 소프트웨어를 지속적으로 사용할 수 있다. Mali-C32는 특히 초급 액세스 제어나 취미용 드론과 같이 전력 소모가 적고 비용에 민감한 임베디드 비전 디바이스용으로 최적화된 제품이다. 

해당 두가지 ISP는 모두 자동 노출(auto-exposure), 자동 화이트 밸런스(auto-white balance), 자동 포커스(auto-focus), 즉 3A 라이브러리를 포함한 완성도 높은 드라이버 및 이미지 보정 소프트웨어를 하드웨어 IP와 함께 제공하고 있다.

1조개 디바이스에 필요한 보다 날카로운 디지털 눈

1조개 디바이스 구현이라는 Arm의 비전은 시각으로 뒷받침 되어야 한다. 특히, 1조개 커넥티드 디바이스 세상을 실현하는 Arm의 비전을 달성하려면, 이들 디바이스가 기계와 인간 모두가 신뢰할 수 있는 정보원 역할을 수행해야 하며, 이를 위해서는 주변 환경을 있는 그대로 보고 파악할 수 있는 한층 날카로운 디지털 눈이 필요하다. 그 시작은 바로 오늘 새로이 선보이는 Arm Mali ISP가 가진 최상의 이미지 품질에 있다.