아이폰 AR 셀카 혁명

그게 당신의 얼굴 전체에 ARKit입니까?

9 월 12 일, Apple은 완전히 새로운 우주선 캠퍼스 부지에있는 완전히 새로운 Steve Jobs Theatre에서 이벤트를 개최하여 완전히 새로운 iPhone을 공개합니다. 블룸버그의 마크 거먼 (Mark Gurman)은 무엇을 기대해야하는지 (그리고 가장 최근에 나온 것 같다) 자세하게 설명하는 많은 기사를 썼다.

  • 강화 된 프로세서가 장착 된 두 개의 새로운 iPhone은 대부분 현재 iPhone 7 및 iPhone 7 Plus와 동일하게 보입니다. 7s 및 7s Plus 또는 8 및 8 Plus라고도합니다. 누가 알아.
  • 터치 ID를 대체하기 위해 얼굴 잠금을 해제 할 수있는 최신 최첨단 iPhone, 최신 OLED 화면, 홈 버튼 없음 및 새로운 전면 센서로 새롭게 디자인되었습니다. 프리미엄, 에디션, 프로, X 등이라고 할 수 있습니다.

iOS 11의 거대한 업데이트 (iPad의 경우는 많지 않지만 iPhone의 경우는 적음)에 대해 많이 언급되었지만 실제로 사용자의 신원을 확인하고 당신의 얼굴을 가진 전화.

나는 이것이 새로운 아이폰의 주력 기능이 될 것이라고 생각하며, 애플이 증강 현실의 미래에 큰 영향을 미칠 미래의 얼굴 스캐닝 센서로 경쟁자들을 뛰어 넘을 수있게 할 것입니다.

얼굴 잠금 해제 기술, Apple 스타일

기본적으로 휴대 전화는 전면 카메라를 사용하여 얼굴의 2D 사진을 찍고 소프트웨어를 사용하여 사용자가 자신의 것으로 간주했던 이전에 찍은 사진과 수학적으로 비교합니다. . 안드로이드 페이스 잠금 해제는 출시 된 이후로 느리고 안전하지 않았으며, 삼성의 주력 S8 폰조차도 사진을 들고 잠금 해제에 빠질 수 있으므로 분명히 좋은 기술은 아닙니다.

그리고 실제 사진 대신 얼굴 사진으로 패배 할 수 있다면 Apple이 새로운 최고급 iPhone에 얼굴 잠금 해제 기능을 포함시킬 방법은 절대 없습니다.

지난 몇 달 동안이 기술에 대해 많은 이야기가 있었지만 일반적으로 iPhone의 다른 소문에 관한 새로운 기능에 대한 더 큰 기사에 묻혀 있습니다.

7 월에 작성된 블룸버그 기사에서 :

Apple은 제품에 익숙한 사람들에 따라 사용자가 얼굴을 스캔하여 로그인, 결제 인증 및 보안 앱을 실행할 수있는 향상된 보안 시스템을 테스트하고 있습니다. 이것은 새로운 3D 센서로 구동되며 사람들은 아직 개발중인 기술에 대해서는 언급하지 않기를 요구했습니다. 이 회사는 또한 시스템을 보강하기 위해 시력 검사를 테스트하고 있다고 사람들 중 하나는 말했다.

눈 움직임을 추적 할 수있는 새로운 3D 깊이 센서.

속도는 어떻습니까?

센서의 속도와 정확도는 기능의 초점입니다. 수백 밀리 초 안에 사용자의 얼굴을 스캔하고 아이폰의 잠금을 해제 할 수 있다고이 사람은 말했다. 장치가 얼굴 가까이에 있지 않고 테이블 위에 평평하게 놓여 있어도 작동하도록 설계되었습니다.

어마 어마하게 빠른. Touch ID보다 빠르거나 빠릅니다. 다시 한 번 더 느리다면 애플은 그것을 밝게 비추 지 않을 것이다.

그리고 8 월의이 새로운 센서에 대한 WSJ 기사에서 :

일반적으로 "구조화 된 빛"이라고하는 깊이 감지 기술은 사람의 얼굴이나 다른 대상에 수천 개의 작은 적외선 점을 분사합니다.
이 도트 영역의 왜곡을 읽음으로써 카메라는 매우 정확한 깊이 정보를 수집합니다. 휴대 전화의 카메라는 적외선을 볼 수 있지만 사람은 볼 수 없기 때문에 그러한 시스템은 휴대 전화가 완전히 어두운 곳에서 잠금 해제되도록 허용 할 수 있습니다.

저조도에서 작동하거나 사용자의 얼굴을 스캔하여 매우 정확한 3D 깊이 맵을 생성하는 적외선 도트.

위의 시선 추적에 대해 자세히 알아 보겠습니다. 애플이 정말로 큰 일을하고 있다는 것을 나타내는 것이 있습니까? 애플은 올해 초 SensoMotoric Instruments를 인수했다.이 회사는 20 년 넘게 심각한 시선 추적 기술을 개발해 온 회사이다.

SensoMotoric Instruments는 1991 년에 설립되어 가상 및 증강 현실, 차량 시스템, 임상 연구,인지 훈련, 언어학, 신경 과학, 물리 훈련 및 생체 역학 및 여러 분야를위한 다양한 안구 추적 하드웨어 및 소프트웨어를 개발했습니다. 심리학.

시선 추적 기술에 대한 자세한 내용 :

예를 들어, 회사의 안구 추적 안경은 실시간 및 실제 상황에서 최대 120Hz의 샘플링 속도로 사람의 자연스러운 시선 동작을 기록 할 수 있습니다. SensoMotoric은 또한 Oculus Rift와 같은 가상 현실 헤드셋을위한 시선 추적 기술을 개발하여 착용자의 시선을 분석하고 VR의 일반적인 부작용 인 멀미를 줄이는 데 도움을줍니다. 이 솔루션을 통해 사람의 시선으로 메뉴를 제어하거나 시선으로 게임을 조준 할 수 있습니다.

사용자가 시각적 목표물을 보는 것만으로 소프트웨어 인터페이스를 제어 할 수있는 세부 수준에서 실시간 120Hz 눈 움직임 추적.

하지만 기다려! 올 여름 WWDC에서 Apple은 개발자에게 고급 얼굴 인식 기능을 제공하는 여러 가지 API를 발표했습니다.

Vision Framework를 사용하면 얼굴 사각형 및 얼굴 랜드 마크 (얼굴 윤곽선, 중앙선, 눈, 눈썹, 코, 입술, 동공 위치)를 감지 할 수 있습니다

이 발표 된 API 외에도 새로운 iPhone이 사용자가보고 있는지 알고 알림 음을 억제한다는 사실도 밝혀졌습니다.

이 모든 깔끔한 정보를 통합하면 고급형 iPhone의 새로운 얼굴 인식 기능을 갖춘 기술이 등장합니다.

  • 적외선을 사용하여 사용자의 얼굴과 주변의 세부적인 3D 스캔을 생성하는 전용 센서
  • 보다 충실한 사진을 찍고 더 높은 프레임 속도로 비디오를 녹화하는 개선 된 전면 카메라 (또는 카메라)
  • 매우 낮은 조명에서도 Touch ID보다 빠르고 안전한 잠금 해제 및 지불 승인
  • 눈 움직임을 추적 및 해독하고,주의,주의 등을 결정할 수있는 고급 새로운 이미지 처리 기능

이것들은 휴대 전화를 잠금 해제 할 수있는 새로운 방법의 재료 일뿐만 아니라, 아무도 만들지 않는 진정한 미래 기술의 기초 요소입니다.

잠금 해제를 넘어서는 길

사용자는 얼굴만으로 iPhone을 잠금 해제 할 수 있습니다. 얼굴을 승인으로 사용하여 구매할 수 있습니다.

이 두 가지 기능이 새로운 최고급 iPhone이 새로운 카메라와 센서로 할 수있는 것 중 가장 흥미로운 측면이라고 생각합니다.

지난 2 년 동안 소비자 기술 세계는 사진 위에 물체와 효과를 겹쳐 놓거나 펀 하우스 거울처럼 직접 왜곡시키는 셀카 렌즈에 열광했습니다. Snapchat은 초기에이 분야의 선구자였으며 2015 년 9 월 Looksery 인수로 셀카 렌즈 기술 스택을 강화하여 1 억 5 천만 달러를 기록했습니다.

의심스러운 이벤트 전환에서 Snapchat에서 Lens를 시작한 것처럼 오늘 아침 Selfie 애니메이션 앱 Looksery가 App Store에서 사라졌습니다. Meme의 아티스트 Ronen V는 Lenses가 Looksery의 기술과 동일하게 보인다고 알려줍니다. 문의 한 후 Snapchat은 실제로 Looksery를 인수했으며 Looksery 팀이 Snapchat에 합류했음을 확인했습니다.

몇 달 후, MSQRD (가장 무도회)라는 셀카 필터 앱이 벨로루시에있는 소규모 팀에서 나와서 간단히 앱 스토어를 인수했습니다. 매우 단순한 디자인이지만 필터와 효과는 당시 Snapchat 기능의 충실도와 풍부함을 훨씬 뛰어 넘었습니다. 페이스 북이 출시한지 불과 몇 달 만에 인수되기 전에는 미국 및 기타 국가의 십대 전화에 앱이 산불처럼 퍼져서 입소문을 통해 2,500 만 건 이상의 다운로드를 달성했습니다.

그렇다면이 모든 것이 새로운 iPhone과 어떤 관련이 있습니까?

첫째, 셀카 렌즈의 모든 혁신은 순전히 처리되고 변경 될 수있는 얼굴의 2D 사진을 3D 메쉬로 변환하기 위해 점점 더 고급 이미지 처리 기술을 사용하는 소프트웨어를 기반으로합니다. iPhone의 전면 카메라의 해상도는 후면 카메라보다 높지 않으므로 1080P로 녹화 할 수는 있지만 실제로는 후면과 비교하지 않고 높은 프레임 속도, 고해상도 샘플링을 위해 만들어지지 않았습니다. 4K로 녹화하고 ARKit에 전원을 공급할 수있는 카메라.

새로운 최고급 iPhone이 나오면 전면 및 후면 카메라 모두 60FPS에서 4K 해상도 비디오 녹화를 지원할 것이라는 소문이 있습니다. 이는 오늘날의 FaceTime HD 카메라를 능가하여 절반의 해상도와 프레임 속도의 절반을 기록합니다. . 9to5Mac이 말한 내용은 다음과 같습니다.

특히 후면 카메라에서 60FPS 로의 점프는 여러 전선에서 의미가 있습니다. 우선, 애플은 거의 매번 하드웨어를 반복 할 때마다 iPhone 카메라를 개선하고 60FPS를 지원하는 것이 다음 단계입니다. iPhone 8은 Apple의 ARKit 프레임 워크의 일부로 다양한 증강 현실 기능을 제공 할 것으로 예상되며 60 FPS 지원을 통해 추적 기능 향상과 같은 AR 개선이 가능합니다.

애플이 휴대폰 전면에 3D 깊이 센서를 포함하지 않더라도 전면 카메라 해상도 및 프레임 속도에 대한 이러한 소문의 개선은 셀카 렌즈의 충실도 및 사실감에 막대한 영향을 미칩니다. 처리 할 데이터가 많을수록 = 메시를 개발하기위한 향상된 얼굴 및 가장자리 감지 = 처리 및 추적이 향상됩니다.

그러나! 이 새로운 고해상도 카메라는 놀라운 적외선 얼굴 스캐닝 센서 바로 옆에 위치하기 때문에 개발자는 누군가의 얼굴이 어디에 있는지 알아 내기 위해 수많은 이미지 데이터를 살펴볼 필요가 없습니다. 3D에서 나오는 데이터 만 사용하면됩니다. 센서는 누군가의 가장 세밀한 얼굴 디테일이 3D 공간에 어디에 있는지 확실하게 알 수 있으며, 오늘날 증강 현실로 가능한 것들을 날려 버릴 것입니다.

내 머릿속에서 바로 여기에 새로운 최고급 iPhone으로 가능할뿐만 아니라 잠재적으로 간단한 미친 것들이 있습니다.

  • 앱을 사용하는 동안 사용자가 어디를보고 있는지 알 수 있습니다. 인터페이스의 측면을 시선으로 완전히 안내 할 수 있습니다.
  • 사용자 얼굴의 놀라운 생체 인식 및 건강 정보. 2013 년에 과학자들은 비디오를 분석하여 사람의 맥박을 결정할 수있었습니다. 분명히 애플은이 문제에 대한 모든 가능성을 조사했다.
  • 모션 캡처를 통해 현재 달성 된 영화의 CGI 효과와 더 충실한 충실도와 그래픽 디테일로 완전히 몰입되는 셀카 AR 효과. 시차가없는 고해상도 셀카 렌즈는 오늘날 가능한 것보다 훨씬 뛰어납니다.
  • 현재 사용중인 소프트웨어를 바꾸는 얼굴 움직임 및 감정 인식. 슬퍼 보인다면 앱에서 인식하고 기능을 변경하거나 조정할 수 있습니다. 방금 친구에게 보낸 GIF가 실제로 웃거나 웃게 만들 었는지 알 수 있다고 상상해보십시오 .iPhone은 자신이 경험 한 반응을 정확히 알 수 있기 때문입니다.
  • 실제로 배너를 보았는지 여부를 앱과 광고주가 알 수있는 모바일 광고의 혁명. 이 데이터는 현재 받고있는 통계 광고주보다 더 가치가 있지만, 악의적 인 결과를 초래할 수 있습니다.

이 두 가지를 염두에 두었지만 새로운 기술이 적용되고 개발자가 액세스 할 수 있도록 Apple에서 제공 한 API가 제공되므로 셀 수없는 매혹적인 경험 (이전에 구축 할 수 없었던)이 곧 도착할 것입니다. Apple은 일부 타사 개발자와 협력하여 다가오는 Apple 이벤트에 대한 킬러 데모를 구축하여 세상에 가능한 것을 맛볼 수도 있습니다.

새로운 iPhone은 9 월 12 일에 공개 될 예정이므로 미래를보기 위해 오래 기다릴 필요가 없습니다.