- 딥러닝 기반의 자율주행 혁신의 시작
- 인공지능 기술의 자율주행 적용
- 주요 연구소 및 기업 동향
- 맺음말
[요약] 최근까지만 해도 자율주행 기술은 고가의 특화센서와 자동차 산업의 전문성을 기반으로 한 소수의 기업만이 구현할 수 있었다. 기술 진입 장벽이 매우 높아 장기적인 투자와 기술개발 역량을 확보한 거대 ICT 기업 및 자동차 산업 내 소수의 기업이 자율주행 기술 개발을 주도해 왔다.
실제 구글의 자율주행 자동차 개발 초기에 사용되었던 자동차 1대의 가격만 약 1.7억원이었으며 그 중 핵심 센서로 활용된 LIDAR 센서 하나의 가격만 8천만원에 달했다. 또한 완성차 제조사로부터 영입된 인력들을 중심으로 약 170여명에 이르는 인력이 4년 이상의 R&D를 통해 구현한 결과였다.
하지만, 이러한 높은 기술진입 장벽이 인공지능, 특히 딥러닝으로 인해 허물어지고 있다. 딥러닝을 활용해 자율주행 기술을 구현하는 기업들이 최근 2년 동안 실리콘밸리를 중심으로 빠르게 출현하고 있다. 이들 기업은 종전의 자율주행 기술이 주로 자동차 전문가들에 의해 규칙기반 방식(Rule-based Approach)으로 구현되었던 것과는 달리 딥러닝을 활용해 마치 사람이 주행을 반복할수록 운전을 익혀가는 것과 같은 과정으로 자율주행 기술을 구현한다. 소수의 개발자들이 고가의 센서가 아닌 저가의 범용 센서들을 사용하면서도 매우 단시간에 기술을 구현해내고 있다.
게다가 최근 빠르게 진화하고 있는 인공지능 기술이 자율주행 분야에 적용되며 향후 기술 경쟁의 혁신적 변화를 가속화 할 것으로 예상된다. 자율주행 분야의 선행 연구소들에서는 이미 강화학습(Reinforcement Learning), 관계형추론(Relational Networks), 지능이식(Transferring Intelligence)과 같은 인공지능 분야의 최신 연구들을 자율주행 기술 개발에 접목시키기 위한 연구를 진행 중에 있다.
특히 이들 연구는 인공지능이 인간과 유사한 방식으로 학습, 추론, 예측하는 과정을 구현한다는 점에서 자율주행 기술에 접목 될 경우 마치 사람처럼 생각하고 판단하며 주행하는 자동차의 출현도 가능하게 할 것으로 보인다.
학계, 스타트업계에서는 이미 딥러닝 기반의 자율주행 기술의 공개가 잇따르고 있다. 매년 혁신적인 사례들이 등장하는 가운데 자동차 업계의 전문가가 아닌 인공지능, 딥러닝 분야의 전문가들이 자신들의 연구를 자동차 분야에 접목 시키며 기술을 발표하고 있다.
특히 이들 기업은 오픈소스로 자신들의 기술을 공개하며 연구자들의 참여와 경쟁을 통해 기술을 더욱 빠르게 고도화 시키고 있다. 이러한 방식은 기술 공개를 지양하며 자체 기술 개발 및 내재화를 통해 기술을 발전 시켜온 자동차 산업 내 주요 기업들의 기술 경쟁 방식과 큰 차이가 있다.
기존 방식을 고수해 오던 완성차 제조사들도 최근 딥러닝 관련 역량을 빠르게 확보하며 새로운 기술 패러다임에 대응 중이다. Daimler, VW, Toyota 등 주요 OEM들은 2016년 이후 딥러닝 관련 스타트업을 투자/인수하며 외부 기술을 빠르게 도입하고 있으며 내부적으로는 인공지능 전용 연구소를 설립하며 자체 기술 개발에도 막대한 투자를 진행하기 시작했다.
특히 GM, Ford는 각각 약 1조원이 넘는 금액으로 딥러닝 기반의 자율주행 스타트업을 인수하거나 투자하며 뒤쳐졌던 기술 경쟁에 대응하고 있다. 자율주행 기술 경쟁의 핵심은 이미 딥러닝으로 이동하기 시작했다. 딥러닝 분야의 인공지능 전문가들이 저가의 범용센서로 자율주행 기술을 빠르게 구현하고 있다.
대부분의 기업들도 딥러닝 기반의 자율주행 기술 개발을 본격화 하고 있는 가운데 자동차 산업 내 향후 경쟁은 인공지능 분야의 역량확보와 주행 데이터 확보가 핵심이 될 전망이다. 딥러닝 등 기계학습 기반의 인공지능의 성능은 더욱 많은 그리고 더욱 다양한 주행 환경에서 수집된 데이터와 학습 과정 활용이 기술의 완성도를 결정할 것이기 때문이다.
실제 주행데이터 확보의 중요성을 일찍이 인지한 comma.ai, Tesla와 같은 기업들은 이미 수백 만에서 수억 Km에 달하는 주행 데이터를 수집해 자율주행 지능 학습과정에 활용하고 있다. 향후 자율주행 자동차 시장이 본격 개화 시 시장 초기부터 이러한 데이터를 미리 확보하고 고도화된 지능을 보유한 기업들과 그렇지 못한 기업들간의 기술 격차는 매우 클 것으로 전망되며 그 격차는 후발 주자가 단기간에 따라 잡기가 매우 어려울 것이다.<출처: LG경제연구원>
- 딥러닝 기반의 자율주행 혁신의 시작
“사람이 운전하면 자동차가 주행하는 방법을 스스로 깨우친다”, 실리콘밸리의 Startup인 comma.ai의 창업자 George Hotz가 딥러닝 기반의 자율주행 자동차를 선보이며 한 말이다. 딥러닝 기반 인공지능이 탑재된 자동차를 운전자가 주행하면 인공지능이 사람이 운전하는 방식을 깨우쳐 스스로 주행이 가능한 자동차로 발전해 나간다는 것이다.
실제 comma.ai는 지난 2016년 3월 이러한 방법으로 4주만에 자율주행 학습이 가능한 인공지능을 만들어 자동차에 탑재했으며 10시간 동안의 학습으로 기본적인 자율주행 기능을 구현해 냈다. 고가의 특화 센서를 사용하지 않고 총 $1000 이하의 범용 센서만으로 딥러닝 기반 자율주행 기술을 개발하는 것을 목표로 하고 있다.
이는 과거 구글 및 주요 완성차 업체들의 자율주행 기술 구현 방식과 크게 다르다.기존에는 고가의 특화 센서를 사용하고 완성차 업계에 종사한 전문 인력들이 기술 개발의 중심이 되었다. 이들은 다양한 센서 정보와 주행 규칙을 전문가들이 모델링하여 자율주행 기능을 구현해 냈다.
구글의 2012년 자율주행 자동차를 발표했을 때 당시 차체의 가격만 약 $150,000에 달했으며 그 중$70,000이 LIDAR1 센서 가격 이었다. 완성차 업계에서 수 많은 전문 인력들을 영입해 약 170여명에 이르는 개발팀을 꾸리고, 약 4년 이상의 주행테스트를 걸쳐 자율주행 기술을 구현해 냈다.
하지만 신생 Startup인 comma.ai는 단 4명의 개발자가 4주만에 딥러닝을 활용해 구현해 낸 것이다. 물론 구글과 comma.ai가 개발한 자율주행 기능의 기술 수준 및 완성도의 차이는 크다.
하지만 딥러닝을 적용해 기존 자율주행 개발 패러다임을 혁신한 것이다. 실제 최근 1~2년간 실리콘밸리를 중심으로 자율주행 기술을 개발해 낸 Startup이 빠르게 출현하고 있으며 이들은 대부분 딥러닝을 핵심으로 활용하고 있다.
즉 자율주행 자동차 구현의 핵심이 특화 센서와 자동차 업계의 전문가에서 딥러닝 전문가와 주행 과정을 학습 시킬 수 있는 데이터로 이동하고 있는 것이다.
- 인공지능 기술의 자율주행 적용
2014년 이후 인공지능 분야는 딥러닝을 시작으로 매우 빠르게 진화하고 있다. 혁신적인 연구들이 경쟁적으로 출현하고 있는 가운데 이러한 연구들이 특정 산업 영역에 종속되지 않고 다양한 산업에 활용 가능한 범용 기술이라는 점이 더욱 큰 의미를 갖는다.
인공지능 연구를 선도하는 연구 기관, 학계에서는 다양한 산업 영역 중 응용분야가 명확하고 활용 가치가 높은 자율주행 분야를 우선적으로 탐색하고 있다. 실제 인공지능 분야의 다양한 최신 연구들이 자율주행 기술로 빠르게 구현되고 있다.
(1) 시각 인식 지능의 적용
자율주행 기술의 가장 핵심은 사물 인식 기술이다. 전방 충돌 방지, 차선 이탈 방지, 차간 거리 조절 등 지능형 주행 및 자율주행과 관련한 모든 기능을 구현 하기 위해서는 주변 상황을 인식하는 것에서부터 시작하기 때문이다.
물론 사물 인식 기술은 차량 주변의 물체를 단순히 감지하는 것을 넘어 인식된 사물의 종류와 의미를 이해하는 단계를 포괄한다. 인식된 사물이 차량 인지, 표지판 인지, 보행자 인지에 따라 각기 다른 주행 제어 기능으로 구현되기 때문이다.
특히 자율주행 기술 분야의 인식 기술은 다양한 사물에 대한 높은 정확도의 인식률과 이에 따른 실시간 처리가 필수적이기 때문에 기술 구현의 난이도가 매우 높다. 시각정보에 기반해 운전을 하는 사람과 달리 자동차는 매우 다양한 정보를 복합적으로 활용해야 인식의 정확도와 속도를 보장할 수 있다.
따라서 모빌아이(Mobileye)와 같은 매우 소수의 기업이 카메라를 통해 수집된 정보만으로 전방의 차량 및 차선의 감지하거나 다양한 교통 표지판을 인식하는 기술을 구현하고 있으며, 그 외 대부분의 기업들은 카메라를 통해 수집되는 정보와 레이더, 라이다, 초음파, 적외선 센서 등 매우 다양한 센서를 복합적으로 활용해왔다.
하지만 최근 빠르게 발전해 온 딥러닝 기반의 인공지능 기술은 이러한 기존 한계를 혁신적으로 극복하고 있다. 딥러닝을 활용한 시각 인식 지능은 이미 인간의 수준을 넘어서고 있다. 실제 인공지능을 통해 이미지 속 사물의 정확도를 측정하는 경진대회인 ImageNet Challenge에서는 지난 2015년 마이크로소프트가 96.43%의 정확도를 달성하며 인간의 인식률을(94.90%) 추월하였다. (2017년 정확도: 97.85%) (그림 2)
이렇게 발전된 시각 인식 지능은 자율주행 기술 구현에 빠르게 적용되고 있다. 다양한 사물을 높은 정확도로 인식 가능하게 한 기술은 주변의 차량, 보행자 및 각 종 표지판을 인식하는 수준으로 구현되고 있다. 더 나아가 관련 연구 기관, 기업들에서는 어두운 밤이나, 눈/비가 내리는 기상 환경에서도 높은 정확도로 사물을 인식할 수 있는 기술로 발전 시켜 나가고 있다.
실제 Nvidia 등 일부 기업들의 현재 구현되는 시각 인식 관련 기술 시연에서는 인간의 시각으로는 인식하기 어려운 물체들까지 인공지능이 더 높은 성능으로 인식해 내기도 하고 있다(그림 3).
단순한 사물 인식 수준을 넘어 인공지능은 인식된 사물들의 의미를 이해하는 수준으로 발전하고 있다. 보행자의 움직임, 차량의 진행 방향, 도로가 차도인지 인도인지 등과 같이 이미지 내 인식된 사물들의 문맥적 의미(Context Awareness)를 이해하게 되는 것이다. 이러한 문맥적 의미를 이해하는 것은 인식된 사물에 따라 각기 다른 기능의 차량 제어 기술의 구현으로 이어진다는 점에서 매우 중요한 역할을 한다.
과거에는 다양한 센서에서 복합적으로 수집된 정보를 종합적으로 분석해야 인식된 사물의 의미를 분석할 수 있어 완성차 업체 및 일부 Tier 1 기업들만 제한적으로 자율주행 기능의 구현이 가능했다. 하지만 이미지 정보만을 통해 사물을 인식하고 이해하게 되는 것이 가능해지면서 인공지능 역량을 갖춘 새로운 기업들이 그 역할을 대신 할 수 있게 되고 있다.
실제 AutoX라는 신생 벤처 기업은 다른 센서에는 전혀 의존하지 않고 오직 카메라를 통해 입력된 영상 정보만으로 자율주행 기능을 구현한다. 6개의 카메라를 통해 입력되는 자동차 주변 환경 정보를 딥러닝으로 학습한 시각 지능이 마치 사람처럼 주변을 인지하고 자동차를 제어한다.
AutoX의 창업자이자 프린스턴대 교수인 Xiao는 자율주행 분야의 전문가가 아닌 컴퓨터 비전(Vision) 분야의 전문가로서 해당 기술을 구현해 내고 있다(그림 4). 또한 AutoX와 같은 딥러닝 기반의 비전 기술에 기반한 Startup들이 최근 빠르게 등장하고 있는 상황이다.
(2) 학습 지능의 적용: 사람처럼 주행하며 배우기
차량 주행 기능들은 최근까지도 모든 상황들이 규칙으로 정의되고 모델링 된 후 소프트웨어로 구현되는 규칙기반 방식(Rule-based Approach)으로 구현되어 왔다. 따라서 이러한 규칙들을 정교하게 정의하고 모델링 할 수 있는 자동차 분야의 전문가를 확보하는 것이 자율주행 기능 구현의 핵심으로 작용해왔다.
실제 주요 ICT 기업들이 초기 자율주행 기술 개발 시 완성차 업체의 전문 인력들을 대거 영입하며 팀을 구성했던 것도 이와 같은 이유였다. 구글은 과거 자율주행 관련 조직 설립 시 전체 170여명의 엔지니어 중 약 40여명의 인력을 완성차 및 Tier 1 기업에서 영입하였으며, 애플 또한 자율주행 팀 구성 시 폭스바겐, 포드 및 Bosch, Delphi 등 자동차 산업내 전문인력을 대거 영입하기도 했다. 하지만 이러한 규칙기반 방식으로 자율주행 기능을 구현하는 데는 큰 한계가 있다.
첫째, 매우 비효율적이다. 산업 내 전문성을 갖춘 인력을 영입해야 하며 이들이 매우 오랜 시간에 걸쳐 정교하게 규칙들을 모델링해야 하기 때문이다. 또한 이렇게 만들어진 모델을 실제 상황에 지속적으로 적용해 가며 테스트를 반복해 검증하는 과정이 동반된다. 구글의 자율주행 자동차가 수년 동안 도로 주행 테스트를 지속하는 것도 이러한 과정의 하나인 것이다.
둘째, 확장성(Scalability)이 매우 떨어진다. 정교하게 모델링된 규칙을 만들었다 할 지라도 주행 규칙이 다른 국가에 적용하거나 기후적/지역적으로 주행 환경이 다른 지역에 바로 적용하는 것이 매우 어렵기 때문이다. 이 경우 이미 만들어진 모델을 새로운 환경에 맞게 재조정 하는 과정이 필요하게 되며 새롭게 구성된 모델에 대한 검증과정이 또 다시 뒤따르게 된다.
셋째, 아무리 정교하게 만들어 진 규칙이라 할 지라도 자동차 주행 중에 발생 가능한 모든 상황을 사전에 반영하는 것은 거의 불가능하다. 일반적인 도로 주행, 차선 변경과 같은 대표적인 상황들이 아닌 수 많은 예외 상황, 돌발 변수 등을 모두 예측해 모델링하는 것은 매우 어려울 수 밖에 없다. 실제 지난 2016년 구글의 자율주행 자동차의 첫 사고4가 발생 한 것도 미리 예측하지 못했던 상황이 발생했고 적절히 반응하는데 실패하면서 일어났다.
반면, 딥러닝을 기반으로 한 인공지능을 통해 자율주행을 구현하려는 방식은 과거의 방식과 크게 다르다. 딥러닝을 통해 구현되는 방식은 사람이 운전을 배워가는 과정과 유사하다.
딥러닝 기반의 인공지능이 장착된 차량을 사람이 운전하면 인공지능이 운전자의 주행 과정을 관찰하며 운전하는 방법을 스스로 학습해 간다. 또한 다른 차량의 주행 데이터를 인공지능이 학습할 수도 있다.
마치 사람이 초보 운전 때 다른 사람이 주행하는 모습을 조수석에서 관찰하거나, 교통량이 적은 주차장, 이면도로에서 운전을 익혀가고 서서히 도심, 고속도로 등과 같이 교통량이 많은 곳에서도 주행을 해가며 운전을 배워가는 과정과 비슷하다.
따라서 이와 같은 방식에서는 인공지능이 많은 주행 데이터를 학습할 수록 자율주행 기능의 완성도가 높아지게 된다. 여기서 많은 양의 주행 데이터는 단순히 오랜 시간의 주행 데이터 보다는 다양한 주행 환경 및 상황에서 사람들이 반응하는 과정이 포함된 다양한 데이터를 의미한다.
즉 안정적인 주행이 지속되는 상황의 데이터를 많은 양으로 확보하기 보다는 각종 위험 상황과 예측하기 어려운 상황에 대응하는 것과 같은 다양한 상황의 주행 데이터를 확보하는 것이 더욱 중요한 의미를 갖는 것이다. 이는 딥러닝 기반의 자율주행 지능은 데이터를 통해 다른 사람의 시행착오를 학습하고 향후 유사한 상황에 대응하는 방법을 배워가기 때문이다.
따라서 딥러닝 기반의 자율주행 구현 방식은 과거 방식과 달리 자동차 산업 내 전문성 보다는 인공지능, 특히 딥러닝 관련 역량과 주행 데이터가 핵심적인 역할을 하게 된다. 실제 최근 등장하고 있는 자율주행 관련 Startup들은 딥러닝 전공의 전문가들이 주행 데이터를 가지고 자율주행 기능을 구현해내고 있다.
2015년 창업된 drive.ai는 창업 당시 8명의 멤버 중 6명이 스탠포드대 인공지능 연구실의 딥러닝 전공의 박사과정 학생들 이었다. 이들은 카메라를 통한 인식과정에서부터 주행 기능 구현에 이르기까지 자율주행 전 과정을 딥러닝만으로 구현하였다.
단순히 차량 간의 거리를 조정하고 충돌을 방지하는 수준을 넘어(Level 3, 4) 교통 표지판, 신호등 등을 정확히 인식해 목적지까지 완전 자율주행이 가능한 수준까지(Level 5) 기능을 구현하고 있다. 특히 drive.ai는 비가 오거나 어두운 밤과 같이 차량 주행이 쉽지 않은 상황에서의 주행 데이터를 집중적으로 학습 시켜 매우 어려운 상황에서도 자동차가 안전하게 주행할 수 있도록 기능을 고도화 하고 있다(그림 6).
(3) 강화학습(Reinforcement Learning)의 적용: 스스로 규칙을 터득하기
최근 급속히 발전하고 있는 인공지능 분야의 기술 중 자율주행 분야에 적용 될 경우 큰 기술 혁신을 만들어 낼 것으로 기대되는 기술은 바로 강화학습(Reinforcement Learning)이다.
강화학습은 인간의 개입이 없이도 반복학습을 통해 인공지능이 스스로 목적을 달성하는 과정을 터득해 내는 방법이다. 인간은 단지 인공지능이 달성해야 하는 목적과 시행착오 중 성공과 실패에 대한 보상(reward) 값만 정의해 주면 된다.
이에 기반해 인공지능은 수십, 수백만 번의 시행착오를 반복하며 보상값을 극대화 하면서 목적을 달성할 수 있는 방법을 스스로 찾아낸다. 실제 알파고를 구현해 낸 딥마인드가 구글에 인수 당시 보유했던 핵심 기술이 바로 강화학습이었고, 알파고 또한 강화학습에 기반해 바둑을 두는 방법을 스스로 터득해 인간과의 대결에서 승리 했던 것이다.
이러한 강화학습 분야의 연구가 이제 자율주행 기술 구현에 적용되기 시작하고 있다. 특히 기존 방법으로 모델링이 어렵고 주행 데이터 확보의 제약으로 인해 충분한 학습이 어려운 분야에 우선적으로 시도되고 있다. 신호등이 없는 교차로, 비보호 좌회전, 우회전, 램프 진입 등과 같은 경우들은 차량 주행 시 매우 빈번하게 발생하지만 차량들의 진입 속도, 진행 방향, 교통량 등 다양한 변수들이 매 순간 매우 다양한 경우의 수로 발생한다.
이러한 상황들에서 인간은 오랜 운전 경험이나 직관에 의존해 상황을 판단하거나 충돌위험이 발생하더라도 즉각적으로 반응해 위험 상황을 회피하기도 한다.
하지만 이러한 과정을 인간이 일일이 개입해 규칙기반 방식의 인공지능으로 구현하거나 제한된 데이터를 통한 학습만으로 구현해 내기는 매우 어렵다.
대신 강화학습을 적용하면 이러한 과정을 매우 효과적이면서도 높은 완성도로 구현해 내는 것이 가능하다.
수십, 수백만 번의 상황을 재현해 강화학습 기반의 인공지능이 각 상황에서 다양한 시도를 하도록 하는 것이다.
(그림 8 )과 같이 차량이 램프에 진입 시 진입 차량과 주변 차량의 상대 속도, 거리, 진입 속도 등 다양한 변수들을 매우 미세하게 조절해 가며 발생 가능한 다양한 상황 들을 구성한다. 초반 시도에서는 대부분의 경우 다른 차량들과 충돌해 사고를 낼 것이다.
하지만 이러한 충돌 과정을 반복하면서 인공지능은 서서히 충돌을 회피하고 위험 상황을 사전에 방지하는 방법을 서서히 터득하게 된다. 물론 이러한 것을 실제환경에서 재현해 실험하는 것은 거의 불가능하기 때문에 매우 정교하게 구현된 시뮬레이션 환경에서 상황을 반복하게 된다.
이러한 강화학습 기반의 자율주행 연구는 폭스바겐, 포드 등에서 선행 연구 단계로 진행되고 있다. 다만, 안전성을 최우선으로 하는 완성차 업체의 특성상 기존 방법과 강화학습 방법을 서로 병행하며 보완해 사고의 위험을 최소화하는 방향으로 연구를 진행하고 있다.
(4) 사람처럼 사고하는 지능의 적용
① 인간처럼 생각하며 주행하는 자율주행 지능의 구현 가능성
인공지능 분야의 다양한 연구 중 최근 딥마인드가 발표한 두 편의 연구는 자율주행 분야에 향후 적용된다면 매우 큰 효과를 거둘 수 있을 것으로 전망된다. 이들 논문은 관계형 추론(Relational Reasoning)이 가능한 인공지능의 구현에 관한 논문으로서 인공지능학계에서는 2017년 가장 혁신적인 논문들로 꼽히고 있다. 인공지능이 인간의 추론 방식과 유사하게 추론하는 것을 구현 하는 것이 가능하다는 것을 보여주는 논문이다.
그 중 첫번째 논문에서는 인공지능이 주변 상황들을 각각 개별적인 정보로 인식하고 이해하는 것을 넘어 각 정보들 사이의 상대적 관계를 논리적으로 파악해 낸다는 것이다. 이러한 관계형 추론방식이 자율주행 기능에 적용 되면 자동차는 차량주변의 사물들을 개별적으로 인식하지 않고 각 사물들 사이의 상대적인 관계를 직관적으로 인식해 낼 수 있게 된다.
마치 사람이 운전을 할 때와 같이 주변에 존재하는 차량들 간의 거리를 각각 개별적으로 인식하지 않고 서로간의 상대적 거리와 속도를 종합적으로 인지해 주행하는 것과 마찬가지 인 것이다.
또한 차선 변경, 교차로 진입을 할 때 주변 차량들을 따로따로 인식하는 것이 아니라 좌/우, 앞/뒤 차량과의 거리/속도 등의 상대적 관계를 직관적으로 파악해 가장 최선의 방법으로 차량을 제어하며 주행하는 것이 가능할 것이다.
만약 이러한 관계형 인식이 아니라면 각 차량과의 거리, 속도 등을 모두 개별적으로 계산 후모든 가능 조건을 일일이 비교해 최선의 방법을 선택하는 방식으로 구현될 것이다.
하지만 관계형 사고가 가능한 인공지능에서는 인간과 같은 직관적인 관계형 사고에 따라 판단하고 행동할 수 있게 되는 것이다(그림 9).
딥 마인드의 또 다른 논문에서는 이러한 관계형 추론에서 한 발 더 나아가 예측까지 가능한 인공지능을 제안했다.
논문에서 제안된 인공지능은 (그림 10)과 같이 사물의 움직이는 패턴을 학습한다.
사물들이 서로 부딪히며 움직이는 각도, 속도가 지속적으로 변화하는 패턴을 학습하여 향후의 움직임을 추론하는 것이다.
논문에 따르면 약 6 프레임의 움직임을 학습해 향후 200 프레임의 향후 움직임을 예측했을 때 150 프레임까지는 실제와 거의 일치하는 수준으로 예측하는 것으로 나타났다.
이러한 상대적인 예측이 가능한 인공지능이 자율주행에 적용된다면 현재와는 전혀 다른 수준의 자율주행 지능이 구현 될 수도 있다.
현재의 자율주행 기술은 주변 차량들의 속도, 거리 등과 같은 정보를 인식해 주행기능을 구현하지만 이러한 정보들은 매 순간의 일시적인(Snapshot) 정보에 그친다.
하지만 이와 같은 관계형 사고에 기반한 예측이 가능하다면 마치 사람처럼 주변 차량들을 관찰하고 향후 움직임을 예측해 특정 차량에 대해 미리 주의를 하거나 위험 차량을 사전에 회피하는 것도 가능해지는 것이다.
즉 차선을 지속적으로 매우 급격하게 변경하거나 과속과 급정지를 반복하는 차량이 관찰된다면 향후 그 차량의 움직임을 미리 예측해 사고를 사전에 방지하는 것이 가능할 것이다(그림 11).
② 주행 지능의 이식
지능이식(Transferring Intelligence) 관련 연구 또한 자율주행 기술에 적용 가능한 매우 유망한 최신 기술이다. 이는 유사한 기능을 수행하는 인공지능이 이미 존재 한다면 기존의 지능을 새로운 인공지능에 이식해 활용하는 기술이다.
딥마인드등 연구 기관에서 매우 활발하게 연구가 진행되는 분야이기도 하다. 인공지능이 새로운 영역에 활용될 때 적용 분야가 서로 다르더라도 기존 지식을 최대한 활용하기 때문에 단시간에 성능을 발휘하는 것이 가능하다.
이러한 개념은 자율주행 기능 구현 시 활용될 수 있는 여지가 매우 크다. 차량 주행환경은 국가별, 지역별로 주행 법규 및 교통 인프라가 매우 상이하기 때문에 하나의 자율주행 기술이 모든 국가에 범용적으로 적용되기는 매우 어렵다.
그렇기 때문에 자율주행 기능이 특정 지역에 국한하지 않고 어느 국가나 지역으로도 쉽게 확장 가능하도록 시스템을 구현하는 것이 향후 큰 이슈로 부상할 가능성이 높다.
이러한 의미에서 현재 인공지능 분야에서 연구되고 있는 지능의 이식 관련 연구는 향후 자율주행 기술의 확산에 큰 역할을 할 것으로 전망된다.
실제 폭스바겐의 연구팀은 자율주행 기능을 구현하는데 지능의 이식 관련 연구의 적용을 고려하고 있다.
기본적으로 자동차를 주행하는 방식은 공용화한다. 차선 유지, 서행, 급정지 등과 같은 일반적으로 모든 나라에 적용 가능한 주행 기능은 범용적인 지능으로 구현하는 것이다.
이후 각 국가별 차이가 있는 주행 방식은 개별적으로 재학습 과정을 통해 맞춤화 한다. 교통신호, 주행 우선 순위, 표지판 등이 이에 해당한다(그림 12).
- 주요 연구소 및 기업 동향
(1) 학계 연구
학계에서도 최근 딥러닝 관련 연구를 자율주행에 적용하며 다양한 성과를 발표하고 있다. MIT의 Lex Fridman 교수는 자율주행을 위한 딥러닝(‘Deep Learning for Self-driving Cars’)이라는 수업을 개설하며 관련 연구를 함께 진행 중이다.
딥러닝을 기반으로 차량의 주행 영상을 분석해 차선 유지, 차간 거리 조정 등의 기능을 구현하는 프로젝트인 DeepTesla와 복잡한 주변의 차량 흐름을 스스로 감지해 차선을 변경하는 주행기술 개발 프로젝트인 DeepTraffic을 동시에 진행 중에 있다.
특히 DeepTraffic의 경우 학생들이 다양한 자율주행 기능을 구현해 서로 경쟁할 수 있는 환경을 구축해 놓았다. 동일한 환경에서 알고리즘을 서로 검증하고 경쟁한다. 현재 약 20,000건 이상의 알고리즘이 등록되어 있으며, 경쟁을 통해 알고리즘들이 지속적으로 고도화된다.
UC 버클리의 DeepDrive 연구실 또한 딥러닝 기술을 자율주행기능에 적용하려는 대표적인 연구실이다. 딥러닝 기반의 이미지 인식, 강화학습, 지능 이식(Transfer Learning) 등을 자율주행에 적용해 사물 인식 및 주행 알고리즘으로 구현하고 있다. 특히 DeepDrive에는 Toyota, Ford, Honda, GM, 현대자동차 등 완성차 제조사들이 파트너로 참여하고 있다.
온라인 교육에서도 관련 기술에 대한 교육 및 연구가 활발히 진행 중에 있다. 온라인공개 교육(MOOC) 기업인 Udacity는 인공지능과 자율주행 분야에 특화된 교육 과정을 공개하며 누구나 쉽게 딥러닝 기반의 자율주행 기술을 배우며 연구할 수 있게 하고 있다. 구글의 자율주행차 개발 초기부터 프로젝트를 리드하였던 Sebastian Thrun이 설립하였고 자신이 직접 자율주행 관련 수업을 진행하기도 한다.
딥러닝 기반의 인식, 주행 기술들에 대한 교육이 진행되며 연구자들은 오픈소스를 통해 제공되는 자율주행 시뮬레이터를 통해 자신이 개발한 자율주행 알고리즘을 검증하고 고도화한다. 교육과정에는 벤츠, BMW, 맥라렌 등 다양한 완성차 업체들이 참여하면서 연구, 개발된 자율주행 기술을 직접적으로 활용하기 위한 활동도 병행하고 있다.
(2) Startup
최근 딥러닝 분야의 핵심 기술을 보유한 연구자들이 관련 기술을 자율주행에 적용하기 위해 직접 창업하며 수 많은 Startup들이 출현하고 있다. 딥러닝의 자율주행 기술의 적용 분야에 따라 크게 시각 인식 지능 기술(Perception)과 주행 학습 기술 분야로 나눌 수 있다.
① 인식지능 분야(Perception)
DeepScale은 딥러닝 기반의 시각 인식 기술을 자율주행 분야에 적용하고 있는 Startup이다. 다양한 기업들이 유사한 기능을 구현하고 있지만 DeepScale의 차별성은 딥러닝 기술을 고사양의 딥러닝 전용 하드웨어가 아닌 현재 범용적으로 사용되고 있는 하드웨어(Processor)에서도 자신들의 기술이 구동 가능하도록 하고 있다.
딥러닝 기반 기술들은 성능이 뛰어나지만 엄청난 컴퓨팅 파워를 요구한다는 점에서 특화된 전용 하드웨어가 필요하거나 처리 시간이 오래 걸리는 단점이 존재한다.
하지만 DeepScale은 그러한 단점을 보완하면서도 높은 성능으로 인식 지능을 구현해 완성차 업체들이 기존 부품을 변경하거나 추가하지 않으면서도 빠르게 딥러닝을 적용할 수 있게 한다는 것이다.
즉 범용적으로 활용 중인 기존 하드웨어를 유지하면서도 새로운 기술이 적용 가능하다는 점에서 기술을 빠르게 확산 시킬 수 있는 장점이 있다. 창업 이후 2년 만에 AutoTech Ventures 등 투자사들로 부터 투자를 유치하며 성장하고 있다.
이스라엘의 Startup인 SAIPS는 딥러닝 기반의 차량용 시각 인식에 최적화된 소프트웨어를 구현한다. 단순히 전방의 차량, 보행자, 장애물을 인식하는 것과 같은 일시적(Snapshot) 정보를 인식하는 것에 그치지 않고 정보를 지속적으로 분석해 패턴화한다.
이러한 패턴 정보를 통해 이상 징후를 사전에 감지하거나 차량들의 향후 움직임을 예측해 내기도 한다. 시장 내 기술력을 인정 받은 SAIPS는 일찍이 Ford에 인수되었다. Ford는 2021년까지 완전자율주행 자동차의 출시를 목표로 관련 기술을 자체개발과 인수를 통해 확보하고 있다. SAIPS의 기술도 적용되어 향후 시장에 출시될 것으로 예상된다.
② 주행 학습 분야
앞서 소개되었던 comma.ai는 자동차가 마치 인간처럼 운전을 지속적으로 반복하며 학습하는 과정을 딥러닝으로 구현해 오픈파일럿(OpenPilot)이라는 오픈 소스로 공개했다. 학습이 없는 초기 상태에서는 장애물과 충돌하는 등 정상적인 주행을 하지 못한다.
하지만 운전자가 차량을 주행하면 인공지능이 운전자의 주행하는 과정을 학습하며 자율주행 기능이 점진적으로 발전하게 된다. 창업자인 George Hortz11에 따르면 약 10시간의 주행 학습 과정을 통해 시내 주행 및 고속도로 주행에서 차간 거리유지, 정지 등과 같은 주행 기능을 구현할 수 있었다고 한다.
물론 완벽한 자율주행 기능으로 기술을 발전 시키기 위해서는 더욱 방대한 양의 주행데이터가 요구될 것이다. 10시간 동안의 학습으로는 기본적인 주행 기능만 학습된 것이지 상용화 수준의 기술에는 크게 미치지 못하기 때문이다. 이를 보완하기 위해comma.ai는 주행 데이터를 수집하기 위한 방법으로 스마트폰 앱을 배포하기 시작했다.
‘chffr’이라는 앱으로서 누구나 자신의 차량 정면에 스마트폰을 거치하고 앱을 실행 시키면 차량 주행 영상 및 정보(속도, GPS 등)가 comma.ai로 업로드 된다. 주행정보를 공유하는 사람은 comma.ai에 일정 포인트가 적립되며 향후 comma.ai의 서비스가 본격 상용화 시 활용할 수 있게 된다. 단순한 주행 정보뿐만 아닌 더욱 상세한 차량 정보 수집을 위해 comma.ai는 panda라는 하드웨어도 함께 배포하고 있다.
차량 내 OBD(On Board Diagnostic)12에 panda 디바이스를 삽입하고 chffr 앱을 실행하면 단순한 주행 영상뿐만 아니라 핸들의 조향 각도, 엔진 RPM, 엔진 토크 등의 정보가 함께 공유되어 더욱 상세한 차량의 정보를 comma.ai에 제공하게 된다.
이를 통해 comma.ai의 자율주행 인공지능은 수많은 사람들이 업로드하는 주행 정보를 종합적으로 학습하게 된다. 2017년 4월 comma.ai는 이렇게 수집된 주행 데이터가 약160만 Km(1Million miles)에 이른다고 밝혔다. 엄청난 거리의 주행 데이터가 수집되고 있을 뿐만 아니라 수많은 참여자들로부터 다양한 상황의 주행 정보가 축적되고 있다는 점에서 매우 큰 의미를 갖는다.
comma.ai는 LIDAR 등 고가의 특화 센서를 활용하는 대신 표준화된 범용 센서를 활용해 자율주행 기술을 구현한다. 저가의 하드웨어를 기반으로 구현된 자율주행 패키지를 약 $1000이하로 상용화 하는 것을 목표로 하고 있다.
After-market용으로 판매해 자율주행 기능이 탑재되지 않은 일반 차량에 comma.ai의 자율주행 패키지를 탑재하면 자율주행 기능이 실행되는 차량으로 바뀔 수 있도록 한다. 이미 테스트용 하드웨어가 제한적으로 배포되고 있으며 Honda 계열의 차량 3종과 호환되기 때문에 해당 차종을 가지고 있는 운전자는 매우 쉽게 자신의 차량에 자율주행 기능을 탑재할 수 있다.
또 다른 스타트업인 Cruise 또한 comma.ai와 같이 After-market으로 활용 가능한 자율주행 패키지를 개발하고 있다. 이러한 After-market에 활용 가능한 자율주행기술은 기존 판매 된 차량에 자율주행 기술의 적용이 가능해 기술의 빠른 확산과 주행 차량을 통한 데이터 수집이 동시에 가능하다는 점에서 매우 큰 장점이 있다. 이러한 기술적, 사업적 잠재력을 일찍이 인지한 GM은 Cruise를 1조원에 인수(2016. 3)하였다.
(3) 주요 혁신 기업
① Nvidia
컴퓨팅 하드웨어 제조사인 Nvidia는 자사의 GPU 제조 역량을 활용해 자율주행 분야에 진출하고 있다. GPU는 딥러닝 기반의 인공지능 구현 시 컴퓨팅 속도 및 성능 향상을 위해 필수적으로 활용되어야 하는 핵심 하드웨어이다. GPU 시장을 선도하고 있는 Nvidia는 이러한 역량을 기반으로 자율주행 시장에 집중하며 기술 혁신을 만들어 가고 있다.
Nvidia는 우선 자사의 GPU를 기반으로 구현된 자율주행 기술을 플랫폼으로 공개해 자율주행 분야의 생태계를 구축하기 시작했다.
실제 Nvidia는 딥러닝 기반의 자율주행 관련 논문을 발표14하고 자사가 개발한 자율주행 차량의 데모를 공개했다.
데모 영상에서 Nvidia가 개발한 자율주행 자동차는 눈/비가 내리거나 어두운 밤, 혹은 비포장 도로와 같이 주행이 쉽지 않은 다양한 환경에서도 완벽하게 주행한다. 이렇게 개발된 자율주행 기술을 Nvidia는 ‘DrivePX’라는 자율주행 자동차 개발 플랫폼으로 공개하였다.
하드웨어에서부터 소프트웨어 전반을 포괄하는 이 플랫폼에는 자율주행 기술 구현을 위한 기능들이 기본으로 제공되어 개발자들이 매우 쉽게 자율주행 기능을 구현할 수 있게 하고 있다. 개발자들은 DrivePX가 제공하는 기능을 활용하기만 하면 전방 차량 감지, 차선유지 등의 기능을 매우 쉽게 구현할 수 있다.
개발자가 일일이 해당 기능을 구현하고 데이터를 확보해 학습 시키는 과정이 생략되고 높은 성능으로 검증된 기술을 활용하면서 개발 시간을 크게 단축시킬 수 있게 된다. 이러한 딥러닝 기반의 플랫폼 전략을 통해 Nvidia는 시장의 기존 강자들을 제치고 시장을 장악해가고 있다.
Nvidia는 자율주행 분야의 이미지 인식 칩 시장의 80%를장악하던 Mobileye의 시장을 빠르게 잠식하고 있다. 실제 지난 2016년 Tesla는 자율주행 칩 파트너를 Mobileye에서 Nvidia로 전환하기 시작하였으며 Nvidia는 약 20개이상의 완성차 브랜드와 협업을 확대해 나가고 있다.
② Tesla
전기차 혁신 기업인 Tesla는 다음 혁신을 인공지능에 기반한 자율주행 자동차에서 만들어 가고 있다. ‘Autopilot’이라 불리는 반자율주행(Semi-Autonomous Driving)기능을 시장에 안정적으로 상용화 시키며 관련 기술을 빠르게 발전 시켜 나가고 있다.
Tesla의 Autopilot 기능은 일반적인 차선 유지, 차간 거리 조정 등과 같은 기능보다 더욱 진화된 차선 변경, 자동 차고 입/출입 등과 같은 기능들을 포함하고 있다. 무엇보다 Tesla의 Autopilot은 차량에서 발생하는 거의 모든 데이터를 수집하고 분석해 인공지능으로 구현했다는 점에서 향후 더욱 큰 혁신이 예상된다.
Tesla의 모든 차량은 3G/LTE와 같은 통신망으로 연결되어 차량에서 발생되는 모든 데이터가 익명화되어 수집된다. 2014년부터 본격적으로 수집된 주행데이터는 약 56억Km(35억miles)에 이른다. 이 중 Autopilot을 사용하며 주행한 거리는 2억Km(1.3억 miles)에 해당한다.
약 8만여대에 이르는 자동차에서 발생된 정보가 모두 수집되면서 다양한 환경의 주행 정보를 Tesla의 인공지능이 학습하게 된다. 이렇게 학습된 지능을 기반으로 Tesla의 Autopilot는 시간이 지날수록 기능이 고도화되고 발전된 기능은 다시 통신망을 통해 기존 차량에 소프트웨어 업데이트 형식으로 반영되게 된다. 즉 Tesla의 차량의 자율주행 기능은 차량이 주행을 하면 할수록 기능이 점점 진화하게 되는 것이다.
Tesla는 최근 딥러닝 기반의 인공지능 역량 확보를 위해 더욱 노력하고 있다. 기존 Mobileye에서 Nvidia로 Autopilot 전용 하드웨어를 교체하며 딥러닝 기반으로 자율주행 기능을 고도화하고 있다. 또한 지난 6월에는 딥러닝 분야의 핵심 연구자인 Andrej Karpathy를 Tesla 인공지능 연구소의 책임자로 영입했다.
인공지능 분야의 선도 연구소인 OpenAI의 연구자였던 Adnrej는 딥마인드, 구글 등에서 딥러닝, 강화학습 등과 관련한 혁신적 연구를 진행해왔다. Tesla가 집중적으로 확보하고 있는 딥러닝 관련 역량은 기존 확보된 방대한 차량 주행 데이터와 결합되어 향후 혁신적인 자율주행 기술로 구현될 것으로 전망된다.
- 맺음말
딥러닝 기술의 발전으로 인해 자율주행 기술의 핵심이 이동하고 있다. 고가의 특화 센서와 자동차 분야의 전문가가 중심이 되었던 자율주행 기술을 인공지능 분야의 전문가들이 저가의 범용 센서를 활용하면서도 구현 가능하게 된 것이다. 인공지능 역량을 확보한 신생 Startup 및 연구소들이 빠르게 시장에 진출하면서 엄청난 투자와 연구 기간을 들여 기술을 구축해온 거대 IT 기업 및 완성차 제조사들의 기술 장벽이 허물어 지고 있다.
자동차 산업 분야의 전문성(Domain Knowledge)에 기반해 산업을 주도했던 기업들의 주도권이 새로운 기술에 기반한 Startup으로 이동할 가능성이 높아지고 있는 것이다. 실제 자동차 산업 보다 일찍이 딥러닝이 적용되며 기술 적용이 이루어진 언어인식 분야의 경우 기술 구현의 핵심이 언어학자에서 딥러닝 전문가로 빠르게 대체되고 있ek.
업계에서는 ‘언어학자를 1명씩 해고할 때 마다 언어 인식률이 1%씩 향상된다’라고 까지 이야기 되고 있다. 즉 딥러닝 기반의 인공지능이 기존 산업 내 경쟁의 핵심을 변화시키고 있으며 자율주행 기술 분야도 그 패턴을 따라갈 가능성이 커지고 있다.
오랜 시간 동안 산업 내 주도권을 가졌던 완성차 제조사들도 이러한 기술 패러다임 변화에 대응하기 위해 2016년을 전후해서부터 빠르게 딥러닝 관련 기술 역량 확보에 나서고 있다. GM, Ford등과 같은 기업들은 약 1조원 규모로 딥러닝 관련Startup에 투자하거나 인수하였고,
Toyota의 경우 실리콘밸리에 인공지능 전용 연구소 및 투자회사를 설립하기도 했다(그림 18). 주요 완성차 제조사들의 이러한 노력은 혁신적인 기술을 기반으로 새롭게 등장하는 Startup들과 다른 완성차 제조사들과의 기술 경쟁에 대응하기 위한 것으로, 향후에는 이러한 기술 확보 경쟁은 더욱 치열하게 전개될 것이다.
딥러닝 등 최근의 인공지능 기술은 기계학습 과정에 활용되는 데이터에 따라 그 성능이 상당히 좌우될 수 있기 때문에 방대한 주행 데이터를 확보해 자율주행 지능을 고도화 시키는 기업이 향후 경쟁을 선도할 가능성이 높다. 방대한 데이터가 단순히 많은 양의 데이터를 의미하는 것은 아니다.
정상적인 주행상황이 지속되는 많은 양의 데이터 보다는 비나 눈이 내리는 상황과 같이 주변 환경의 인식이나 차량 제어가 어려운 상황의 주행데이터가 자율주행 성능을 더욱 고도화 시킬 수 있다. 따라서 향후에는 이러한 다양성을 갖는 주행 데이터를 학습해 수 많은 상황(edge cases) 까지도 대응할 수 있는 자율주행 기능을 구현하는 것이 경쟁의 핵심으로 작용할 것이다.
이미 comma.ai나 Tesla와 같은 기업들은 기술 구현 초기부터 데이터 수집의 중요성을 인지하고 적극적으로 데이터를 수집하고 있다. 주요 기업들이 소수의 테스트 차량을 통해 주행 데이터를 수집하는 것에 비해 이들 기업들은 수천, 수만 대의 차량 및 참여자를 통해 데이터를 동시 다발적으로 수집하고 있다. 이러한 방식은 후발 주자가 단기간에 확보할 수 없는 방대하면서도 매우 다양한 주행 데이터를 확보할 수 있게 한다.
안전성을 최우선으로 하는 자동차 산업의 특성상 딥러닝 기술만으로 상용화 수준의 자율주행 기술을 개발하기까지는 상당한 시간이 필요할 지도 모른다. 실제 자동차 산업을 이끌어온 완성차 제조사들은 안전성 등을 이유로 그 동안 새로운 기술 혁신에 소극적으로 대응해 오기도 했다.
하지만 새로운 기술 패러다임에 기반해 빠르게 출현하고 있는 신생 기업들은 자신들의 기술을 시장에 우선 출시해 데이터를 수집하며 동시에 완성도를 높혀 가는 전략을 펼치고 있다.
기존 완성차 업체도 기술 상용화에 대한 전략적 선택이 필요한 시점이다. 물론 자율주행과 관련해서는 안전성이 가장 우선 되어야 하지만 이제까지의 방식처럼 기술을 완벽하게 구현하고 검증 후 시장에 출시하기에는 시간과 비용이 너무 많이 소요되기 때문이다. 이는 데이터를 통해 학습이 지속될수록 기능이 향상되는 딥러닝 기반의 인공지능의 특성을 잘 활용하지 못하는 전략이기도 하다.
따라서 일부 제한된 기능을 시작으로 기술을 빠르게 시장에 출시하면서 가능한 많은 양의 데이터를 수집할 수 있는 시스템을 우선적으로 구축하는 것이 더 효과적인 방법이 될 수 있다. 이렇게 수집되는 데이터는 현재 구현되고 있는 기술의 성능과 안전성에 대한 검증뿐 아니라 더욱 고도화된 기능을 구현해 낼 수 있는 선순환의 기초가 될 수 있기 때문이다. <www.lgeri.com>
