AI와 기계 학습의 6 가지 영역을 면밀히 관찰

더 많은 AI 뉴스 및 분석을 보려면 여기 내 뉴스 레터에 가입하십시오.

인공 지능 (AI)으로서 자격이되는 것에 대한 일반적으로 수용되는 정의를 증류시키는 것은 최근에 논쟁의 주제가 되살아났다. 일부는 AI를 "인지 컴퓨팅"또는 "머신 인텔리전스"로 브랜드를 변경 한 반면, 일부는 AI를 "머신 러닝"으로 잘못 교환했습니다. 이것은 AI가 하나의 기술이 아니기 때문입니다. 실제로 로봇 공학에서 기계 학습에 이르기까지 많은 분야로 구성된 광범위한 분야입니다. AI의 궁극적 인 목표는 대부분 인간의 지능 범위 내에서만 작업과인지 기능을 수행 할 수있는 기계를 만드는 것입니다. 거기에 도달하려면 머신이 이들 기능을 엔드 투 엔드로 명시 적으로 프로그래밍하는 대신 이러한 기능을 자동으로 학습 할 수 있어야합니다.

지난 10 년 동안 자율 주행 차에서 음성 인식 및 합성에 이르기까지 AI 분야에서 얼마나 많은 발전을 이룩했는지 놀라웠습니다. 이러한 배경에서 인공 지능은 인공 지능을 20 년 전의 기술이 아니라 오늘날의 삶에 영향을주는 기술로 여기는 기업과 가정에서 대화의 주제가되었습니다. 실제로, AI에 대한 대중 언론 보도는 거의 매일 AI와 기술 거인들이 각자 중요한 장기 AI 전략을 설명합니다. 몇몇 새로운 투자자와 재직자들이이 새로운 세계에서 가치를 포착하는 방법을 이해하기를 간절히 원하지만 대다수는 여전히 이것이 무엇을 의미하는지 파악하기 위해 머리를 긁고 있습니다. 한편 정부는 사회 자동화의 의미에 시달리고있다 (오바마의 작별 연설 참조).

AI가 전체 경제에 영향을 미칠 것이라는 점을 감안할 때 이러한 대화의 행위자는 AI 시스템 구축 또는 사용에 대한 의도, 이해 수준 및 경험의 전체 분포를 나타냅니다. 따라서 질문, 결론 및 권장 사항을 포함하여 AI에 대한 논의는 추측이 아닌 데이터와 현실에 근거를 두는 것이 중요합니다. 출판 된 연구 또는 기술 보도 발표, 추론 적 논평 및 사고 실험의 결과에 대한 영향을 극도로 외삽하는 것은 너무나 쉽고 때로는 흥미 롭습니다.

다음은 디지털 제품 및 서비스의 미래에 영향을 줄 수있는 능력에 주목할만한 AI의 6 가지 영역입니다. 나는 그들이 무엇인지, 왜 중요한가, 그들이 오늘날 어떻게 사용되고 있는지 설명하고 이러한 기술을 연구하는 회사와 연구원의 목록을 포함한다.

받은 편지함에 바로 도착하도록 여기에 가입하십시오.

1. 강화 학습 (RL)

RL은 인간이 새로운 과제를 배우는 방식에서 영감을 얻은 시행 착오에 의한 학습의 패러다임입니다. 일반적인 RL 설정에서 에이전트는 디지털 환경에서 현재 상태를 관찰하고 설정된 장기 보상의 발생을 최대화하는 조치를 수행해야합니다. 에이전트는 각 조치의 결과로 환경으로부터 피드백을 수신하여 조치가 진행을 촉진하는지 또는 방해했는지 알 수 있습니다. 따라서 RL 에이전트는 원하는 목표를 달성하기 위해 찾은 최고의 전략을 활용하여 보상을 얻는 최적의 전략을 찾기 위해 환경 탐색의 균형을 유지해야합니다. 이 접근법은 Google DeepMind가 Atari 게임 및 Go 작업에서 대중적으로 만들었습니다. 실제 환경에서 작동하는 RL의 예는 Google 데이터 센터 냉각을위한 에너지 효율을 최적화하는 작업입니다. 여기에서 RL 시스템은 냉각 비용을 40 % 절감했습니다. 시뮬레이션 할 수있는 환경 (예 : 비디오 게임)에서 RL 에이전트를 사용하면 얻을 수있는 중요한 이점은 훈련 데이터를 매우 저렴한 비용으로 팀에서 생성 할 수 있다는 것입니다. 이것은 실제 세계에서 비싸고 조달하기 어려운 훈련 데이터를 필요로하는 감독 된 딥 러닝 작업과 완전히 대조적입니다.

  • 애플리케이션 : 여러 에이전트가 공유 모델이있는 환경의 자체 인스턴스 학습 또는 동일한 환경에서 서로 상호 작용 및 학습, 자율 주행을위한 미로 또는 도시 거리와 같은 3D 환경 탐색, 관측 된 행동을 재현하는 역 강화 학습 과제의 목표를 학습함으로써 (예를 들어, 비 플레이어 비디오 게임 캐릭터를 인간과 같은 행동으로 유도하거나 부여하는 것을 배우는 것)
  • 주요 연구원 : Pieter Abbeel (OpenAI), David Silver, Nando de Freitas, Raia Hadsell, Marc Bellemare (Google DeepMind), Carl Rasmussen (Cambridge), Rich Sutton (Alberta), John Shawe-Taylor (UCL) 등
  • 회사 : Google DeepMind, Prowler.io, Osaro, MicroPSI, Maluuba / Microsoft, NVIDIA, Mobileye, OpenAI.

2. 생성 모델

분류 또는 회귀 작업에 사용되는 차별적 모델과 달리, 생성 적 모델은 훈련 예에 대한 확률 분포를 학습합니다. 이 고차원 분포로부터 샘플링함으로써, 생성 모델은 훈련 데이터와 유사한 새로운 예를 출력합니다. 예를 들어, 실제 얼굴 이미지에 대해 훈련 된 생성 모델은 비슷한 얼굴의 새로운 합성 이미지를 출력 할 수 있습니다. 이러한 모델의 작동 방식에 대한 자세한 내용은 Ian Goodfellow의 멋진 NIPS 2016 튜토리얼 작성을 참조하십시오. 그가 도입 한 아키텍처 인 GAN (Generative Adversarial Network)은 감독되지 않은 학습을위한 경로를 제공하기 때문에 연구 분야에서 특히 뜨겁습니다. GAN에는 두 가지 신경망이 있습니다. 입력으로 랜덤 노이즈를 가져 와서 컨텐츠 합성 (예 : 이미지)을 담당하는 제너레이터와 실제 이미지의 모양을 배우고 이미지 생성 여부를 식별하는 판별 기 발전기에 의해 실제 또는 가짜입니다. 적대적 훈련은 판별자가 생성 된 이미지를 실제 이미지와 더 이상 구별 할 수 없도록 생성자가 노이즈로부터 이미지를 작성하는 방법을 반복적으로 학습해야하는 게임이라고 생각할 수 있습니다. 이 프레임 워크는 많은 데이터 양식 및 작업으로 확장되고 있습니다.

  • 애플리케이션 : 시계열의 가능한 미래를 시뮬레이션합니다 (예 : 강화 학습의 작업 계획). 이미지의 초 해상도; 2D 이미지로부터 3D 구조를 복구하는 단계; 작은 레이블이있는 데이터 세트에서 일반화; 하나의 입력이 여러 개의 올바른 출력을 생성 할 수있는 작업 (예 : 비디오에서 다음 프레임 예측, 대화 형 인터페이스 (예 : 봇)에서 자연어 생성, 암호화, 모든 레이블을 사용할 수없는 경우 반 감독 학습, 예술적 스타일 전송, 음악 및 음악 합성) 음성; 이미지 페인팅.
  • 회사 : Twitter Cortex, Adobe, Apple, Prisma, Jukedeck *, Creative.ai, Gluru *, Mapillary *, Unbabel.
  • 주요 연구원 : Ian Goodfellow (OpenAI), Yann LeCun 및 Soumith Chintala (Facebook AI Research), Shakir Mohamed 및 Aäron van den Oord (Google DeepMind), Alyosha Efros (Berkeley) 및 기타 다수.

3. 메모리가있는 네트워크

AI 시스템이 다양한 실제 환경에서 일반화되는 것처럼 지속적으로 새로운 작업을 배우고 미래에 모든 작업을 수행하는 방법을 기억할 수 있어야합니다. 그러나 전통적인 신경망은 일반적으로 잊지 않고 이러한 순차적 작업 학습을 할 수 없습니다. 이 단점은 치명적인 잊혀짐이라고합니다. 네트워크가 이후에 태스크 B를 해결하도록 훈련 될 때 태스크 A에 대해 해결해야하는 네트워크의 가중치가 변경되기 때문에 발생합니다.

그러나 신경망에 다양한 정도의 메모리를 부여 할 수있는 몇 가지 강력한 아키텍처가 있습니다. 여기에는 시계열을 처리하고 예측할 수있는 장기 단기 메모리 네트워크 (반복 신경망 변형), 복잡한 데이터 구조를 배우고 탐색하기 위해 신경망과 메모리 시스템을 결합한 DeepMind의 차별화 된 신경 컴퓨터, 이전에 본 작업에 얼마나 중요한지에 따라 특정 가중치에 대한 학습 속도를 늦추는 탄력적 가중치 통합 알고리즘 및 새로운 작업에 대해 이전에 학습 한 네트워크에서 유용한 기능을 추출하기 위해 작업 별 모델 간의 측면 연결을 학습하는 진보적 신경망.

  • 애플리케이션 : 새로운 환경으로 일반화 할 수있는 학습 에이전트; 로봇 팔 제어 작업; 자율 주행 차; 시계열 예측 (예 : 금융 시장, 비디오, IoT); 자연어 이해 및 다음 단어 예측.
  • 회사 : Google DeepMind, NNaisense (?), SwiftKey / Microsoft Research, Facebook AI Research.
  • 주요 연구원 : Alex Graves, Raia Hadsell, Koray Kavukcuoglu (Google DeepMind), Jürgen Schmidhuber (IDSIA), Geoffrey Hinton (Google Brain / Toronto), James Weston, Sumit Chopra, Antoine Bordes (FAIR).

4. 적은 데이터에서 배우고 더 작은 모델 만들기

딥 러닝 모델은 최신 성능에 도달하기 위해 엄청난 양의 교육 데이터가 필요하다는 점에서 주목할 만합니다. 예를 들어, 팀이 이미지 인식 모델에 이의를 제기하는 ImageNet 대규모 시각적 인식 챌린지에는 1000 개의 개체 범주로 직접 레이블이 지정된 120 만 개의 교육 이미지가 포함되어 있습니다. 대규모 학습 데이터가 없으면 딥 러닝 모델은 최적의 설정에 수렴하지 않으며 음성 인식 또는 기계 번역과 같은 복잡한 작업에서는 잘 수행되지 않습니다. 이 데이터 요구 사항은 단일 신경망을 사용하여 엔드 투 엔드 문제를 해결하는 경우에만 증가합니다. 즉, 음성의 음성 녹음을 음성으로 입력하고 음성의 텍스트 녹음을 출력합니다. 이는 각각 중간 표현을 제공하는 여러 네트워크를 사용하는 것과 대조적입니다 (예 : 원어 음성 오디오 입력 → 음소 → 단어 → 텍스트 스크립트 출력 또는 스티어링 명령에 직접 매핑 된 카메라의 원 픽셀). AI 시스템이 교육 데이터가 특히 까다 롭고, 비용이 많이 들고, 민감하거나, 조달하는 데 시간이 많이 걸리는 작업을 해결하려면 적은 예 (예 : 1 회 또는 제로 샷 학습)에서 최적의 솔루션을 학습 할 수있는 모델을 개발하는 것이 중요합니다. 소규모 데이터 세트에 대한 교육을 수행 할 때는 과적 합, 이상 값 처리 어려움, 교육과 테스트 간의 데이터 분포 차이 등의 문제가 있습니다. 대안적인 접근법은 이전 학습에서 수집 된 기계 학습 모델을 전이 학습이라고 통칭하는 프로세스를 사용하여 지식을 전달함으로써 새로운 작업에 대한 학습을 ​​향상시키는 것입니다.

관련 문제는 비슷한 수 또는 훨씬 적은 매개 변수를 사용하여 최신 성능을 갖춘 소규모 딥 러닝 아키텍처를 구축하는 것입니다. 서버간에 데이터 통신이 필요하고 클라우드에서 엣지 장치로 새 모델을 내보내는 데 필요한 대역폭이 적고 메모리가 제한된 하드웨어에 배포 할 가능성이 향상되므로 분산 교육이 더욱 효율적으로 이루어집니다.

  • 애플리케이션 : 원래 큰 레이블이있는 교육 데이터에 대해 훈련 된 딥 네트워크의 성능을 모방하는 방법을 학습함으로써 얕은 네트워크를 훈련합니다. 매개 변수는 적지 만 딥 모델과 동등한 성능을 가진 아키텍처 (예 : SqueezeNet); 기계 번역.
  • 회사 : Geometric Intelligence / Uber, DeepScale.ai, Microsoft Research, Curious AI Company, Google, Bloomsbury AI.
  • 주요 연구원 : Zoubin Ghahramani (캠브리지), Yoshua Bengio (몬트리올), Josh Tenenbaum (MIT), Brendan Lake (NYU), Oriol Vinyals (Google DeepMind), Sebastian Riedel (UCL).

5. 훈련 및 추론을위한 하드웨어

AI의 발전을위한 주요 촉매제는 대규모 신경망 모델 훈련을위한 GPU (Graphics Processing Unit)의 용도 변경입니다. 순차적으로 계산하는 중앙 처리 장치 (CPU)와 달리 GPU는 여러 작업을 동시에 처리 할 수있는 대규모 병렬 아키텍처를 제공합니다. 신경망이 엄청나게 많은 양 (대개 고차원 데이터)을 처리해야하므로 GPU 교육은 CPU보다 훨씬 빠릅니다. 그렇기 때문에 2012 년 AlexNet이 발표 된 이후 GPU가 GPU에 구현 된 최초의 신경망 인 이래로 GPU가 쇄도의 삽이되었습니다. 엔비디아는 인텔, 퀄컴, AMD, 더 최근에는 구글을 앞두고 2017 년에도 계속 요금을 청구하고 있습니다.

그러나 GPU는 교육이나 추론을 위해 특별히 제작되지 않았습니다. 비디오 게임용 그래픽을 렌더링하기 위해 만들어졌습니다. GPU는 항상 필요한 것은 아니며 높은 계산 정밀도를 가지며 메모리 대역폭 및 데이터 처리량 문제를 겪습니다. 이로 인해 Google과 같은 대기업 내에서 새로운 차원의 스타트 업과 프로젝트를위한 경기장이 열렸으며, 특히 고차원 기계 학습 응용 프로그램을위한 실리콘을 설계하고 생산했습니다. 새로운 칩 설계에 의해 개선 된 개선은 더 큰 메모리 대역폭, 벡터 (GPU) 또는 스칼라 (CPU) 대신 그래프에서의 계산, 더 높은 계산 밀도, 효율 및 와트 당 성능을 포함합니다. AI 시스템이보다 빠르고 효율적인 모델 교육 → 더 나은 사용자 경험 → 사용자와 더 많은 제품을 사용하고 → 더 큰 데이터 세트를 생성하고 → 최적화를 통해 모델 성능을 향상시킵니다. 따라서 계산 및 에너지 효율이 높은 AI 모델을 더 빨리 훈련하고 배포 할 수있는 사람들은 큰 이점을 누릴 수 있습니다.

  • 응용 : 모델에 대한 빠른 훈련 (특히 그래프); 예측시 에너지 및 데이터 효율성; 엣지에서 AI 시스템 실행 (IoT 장치); 항상 듣는 IoT 장치; 서비스로서의 클라우드 인프라; 자율 주행 차량, 드론 및 로봇 공학.
  • 회사 : Graphcore, Cerebras, Isocline Engineering, Google (TPU), NVIDIA (DGX-1), Nervana Systems (Intel), Movidius (Intel), Scortex
  • 주요 연구원 :?

6. 시뮬레이션 환경

앞에서 설명한 것처럼 AI 시스템에 대한 교육 데이터를 생성하는 것은 종종 어려운 일입니다. 또한 AI는 현실 세계에서 우리에게 유용하려면 많은 상황을 일반화해야합니다. 따라서 실제 세계의 물리와 행동을 시뮬레이션하는 디지털 환경을 개발하면 AI의 일반 지능을 측정하고 훈련시키는 테스트 베드가 제공됩니다. 이러한 환경은 원시 픽셀을 AI에 제공 한 다음 설정 또는 학습 한 목표를 해결하기 위해 조치를 취합니다. 이러한 시뮬레이션 환경에서의 교육은 AI 시스템 학습 방법, 개선 방법을 이해하는 데 도움이 될뿐만 아니라 실제 응용 프로그램으로 전송할 수있는 모델도 제공합니다.

  • 응용 : 운전 학습; 조작; 산업 디자인; 게임 개발; 똑똑한 도시.
  • 회사 : 불가능, Unity 3D, Microsoft (Minecraft), Google DeepMind / Blizzard, OpenAI, Comma.ai, Unreal Engine, Amazon Lumberyard
  • 연구원 : Andrea Vedaldi (옥스포드)

기술 세계, 연구소 및 민간 / 공공 회사 시장의 AI 뉴스 및 분석을 다루는 뉴스 레터에 가입하십시오.

다음 런던에 들러 3 월 3 일 AI 회의를 통해 이러한 주제에 대해 들어보십시오! 이 기사를 읽은 증거에 대해 Alexandre Flamant에게 감사드립니다.

당신의 생각을 듣고 싶습니다 *. 아래에 댓글을 달거나 트위터에서 핑 (@nathanbenaich)하십시오.