냉전에서 딥 러닝까지 기계 번역의 역사

Unsplash에 Ant Rozetsky의 사진

Facebook보다 두 배나 자주 Google Translate를 열면 가격표를 즉시 번역하는 것이 더 이상 사이버 펑크가 아닙니다. 그것이 우리가 현실이라고 부르는 것입니다. 이것이 기계 번역 알고리즘을 구축하기위한 100 년 간의 싸움의 결과이며 그 기간의 절반 동안 눈에 띄는 성공이 없었다는 것을 상상하기는 어렵습니다.

이 기사에서 논의 할 정확한 개발은 검색 엔진에서 음성 제어 전자 레인지에 이르는 모든 최신 언어 처리 시스템의 기초를 설정합니다. 오늘 온라인 번역의 진화와 구조에 대해 이야기하고 있습니다.

P.P. Troyanskii의 번역기 (설명으로 만든 그림. 불행히도 사진이 남아 있지 않습니다.)

처음에

이 이야기는 1933 년에 시작됩니다. 소비에트 과학자 Peter Troyanskii는“한 언어에서 다른 언어로 번역 할 때 단어를 선택하고 인쇄하는 기계”를 소련 과학 아카데미에 발표했습니다. 발명은 매우 간단했습니다. 4 가지 언어로 된 카드, 타자기와 구식 필름 카메라가있었습니다.

조작자는 텍스트에서 첫 단어를 가져 와서 해당 카드를 찾은 다음 사진을 가져 와서 타자기에 형태 적 특성 (명사, 복수, 생식)을 입력했습니다. 타자기 키는 기능 중 하나를 인코딩했습니다. 테이프와 카메라의 필름을 동시에 사용하여 단어와 형태로 프레임 세트를 만들었습니다.

이 모든 것에도 불구하고, 소련에서 종종 발생했듯이, 본 발명은 "무용지물"로 간주되었다. Troyanskii는 20 년 동안 발명을 마친 후 Stenocardia로 사망했습니다. 1956 년 두 명의 소련 과학자가 자신의 특허를 발견 할 때까지 세계 어느 누구도 기계에 대해 알지 못했습니다.

냉전의 시작이었다. 1954 년 1 월 7 일 뉴욕에있는 IBM 본사에서 Georgetown–IBM 실험이 시작되었습니다. IBM 701 컴퓨터는 역사상 처음으로 60 개의 러시아어 문장을 영어로 자동 번역했습니다.

“소비에트의 언어를 이해하지 못한 소녀는 IBM 카드에 러시아 메시지를 쏟아 부었다. IBM의 보도 자료에 따르면“뇌”는 초당 2.5 줄의 빠른 속도로 자동 프린터에서 영어 번역본을 off 다.
IBM 701

그러나 승리의 헤드 라인에는 약간의 세부 묘사가 숨겨져 있습니다. 번역 된 예제를 신중하게 선택하고 모호성을 배제하도록 테스트 한 사람은 아무도 없습니다. 일상적인 사용을 위해, 그 시스템은 포켓 외국어 숙어집보다 낫지 않았습니다. 그럼에도 불구하고 캐나다, 독일, 프랑스, ​​특히 일본과 같은 이러한 종류의 무기 경쟁은 기계 번역 경쟁에 참여했습니다.

기계 번역 경쟁

기계 번역을 개선하려는 헛된 노력은 40 년 동안 지속되었습니다. 1966 년 미국 ALPAC위원회는 유명한 보고서에서 기계 번역을 비싸고 부정확하며 유망하지 않은 기계 번역이라고 불렀습니다. 그들은 사전 개발에 집중할 것을 권고했으며, 이로 인해 미국 연구자들은 거의 10 년 동안 경쟁에서 제외되었다.

그럼에도 불구하고 현대 자연 언어 처리의 기초는 과학자들과 그들의 시도, 연구 및 개발에 의해서만 만들어졌습니다. 서로를 감시하는 많은 국가 덕분에 오늘날의 모든 검색 엔진, 스팸 필터 및 개인 비서가 등장했습니다.

규칙 기반 기계 번역 (RBMT)

규칙 기반 기계 번역을 둘러싼 첫 번째 아이디어는 70 년대에 나타났습니다. 과학자들은 통역가들의 작업에 대해 조사하면서 엄청난 부진한 컴퓨터로 하여금 그러한 행동을 반복하도록 강요했습니다. 이 시스템은 다음으로 구성되었습니다.

  • 이중 언어 사전 (RU-> EN)
  • 각 언어에 대한 언어 규칙 세트 (예 : -heit, -keit, -ung과 같은 특정 접미사로 끝나는 명사는 여성입니다)

그게 다야 필요한 경우, 시스템에는 이름 목록, 철자 교정기 및 음 역자와 같은 해킹이 추가 될 수 있습니다.

PROMPT 및 Systran은 RBMT 시스템의 가장 유명한 예입니다. 이 황금 시대의 부드러운 숨결을 느끼기 위해 Aliexpress를 살펴보십시오.

그러나 심지어 뉘앙스와 아종도있었습니다.

직접 기계 번역

이것은 가장 간단한 유형의 기계 번역입니다. 그것은 텍스트를 단어로 나누고, 번역하고, 형태를 약간 수정하고, 구문을 조화 시켜서 모든 것을 옳고 적게 소리 내도록합니다. 해가지면 훈련 된 언어 학자들이 각 단어에 대한 규칙을 씁니다.

출력은 어떤 종류의 번역을 반환합니다. 보통은 매우 엉터리입니다. 언어 학자들은 시간을 낭비하지 않은 것 같습니다.

현대 시스템은이 접근법을 전혀 사용하지 않으며, 현대 언어 학자들은 감사합니다.

전송 기반 기계 번역

직접 번역과는 달리, 우리는 학교에서 가르 칠 때 문장의 문법 구조를 결정하여 먼저 준비합니다. 그런 다음 우리는 단어가 아닌 전체 구성을 조작합니다. 이것은 번역에서 단어 순서를 상당히 적절하게 변환하는 데 도움이됩니다. 이론에 의하면.

실제로, 그것은 여전히 ​​완전한 번역과 언어학자를 초래했습니다. 한편으로, 그것은 일반적인 문법 규칙을 단순화했습니다. 그러나 다른 한편으로는 단일 단어에 비해 단어 구성 수가 증가했기 때문에 더욱 복잡해졌습니다.

다국어 기계 번역

이 방법에서 소스 텍스트는 중간 표현으로 변환되고 모든 세계 언어 (인터 링구아)에 대해 통일됩니다. Descartes가 꿈꾸던 것과 같은 언어입니다. 메타 규칙은 보편적 인 규칙을 따르고 번역을 간단한 "뒤로"작업으로 변환합니다. 다음으로, interlingua는 어떤 대상 언어로 변환 할 것이고, 여기에 특이점이있었습니다!

전환으로 인해 Interlingua는 종종 전송 기반 시스템과 혼동됩니다. 차이점은 언어 쌍이 아니라 모든 단일 언어와 언어에 고유 한 언어 규칙입니다. 즉, 우리는 인테르 링구아 시스템에 제 3 언어를 추가하고이 세 언어를 모두 번역 할 수 있습니다. 전송 기반 시스템에서는이 작업을 수행 할 수 없습니다.

완벽 해 보이지만 실제로는 그렇지 않습니다. 그러한 보편적 인 인테르 링구아를 만드는 것은 굉장히 어려웠습니다. 많은 과학자들이 평생 동안 연구했습니다. 그들은 성공하지 못했지만, 덕분에 형태, 구문 및 의미 론적 표현 수준이 생겼습니다. 그러나 유일한 의미 텍스트 이론은 많은 비용이 듭니다!

중급 언어에 대한 아이디어가 돌아옵니다. 잠시만 기다려 봅시다.

보시다시피, 모든 RBMT는 멍청하고 끔찍하기 때문에 날씨 보고서 번역 등과 같은 특정 경우를 제외하고는 거의 사용되지 않는 이유입니다. RBMT의 장점 중 형태 학적 정확성 (단어를 혼동하지 않음), 결과의 재현성 (모든 번역가가 동일한 결과를 얻음) 및 주제 영역에 맞게 조정하는 기능 (경제학자 또는 용어를 가르치기위한 능력) 프로그래머 전용).

누구나 이상적인 RBMT를 만들었고 언어학자가 모든 철자 규칙으로 그것을 향상 시켰음에도 불구하고 영어의 불규칙 동사, 독일어로 분리 가능한 접두사, 러시아어로 접미사, 사람들이 방금 처한 상황 등 항상 예외가 있습니다. 다르게 말하십시오. 모든 뉘앙스를 고려하려고하면 수백만 시간이 낭비 될 것입니다.

동성애를 잊지 마십시오. 동일한 단어가 다른 상황에서 다른 의미를 가질 수 있으며, 이는 다양한 번역으로 이어집니다. 여기서 얼마나 많은 의미를 포착 할 수 있습니까? 망원경으로 언덕에서 한 남자를 보았습니까?

언어 학자들은 언어 학자들이 사랑하는 고정 된 규칙 세트를 기반으로 개발되지 않았다. 그들은 지난 300 년 동안 침략의 역사에 훨씬 더 많은 영향을 받았습니다. 기계에 어떻게 설명 할 수 있습니까?

40 년의 냉전은 별개의 해결책을 찾는 데 도움이되지 않았습니다. RBMT가 죽었습니다.

예제 기반 기계 번역 (EBMT)

일본은 특히 기계 번역을 위해 싸웠습니다. 냉전은 없었지만 그 이유는 다음과 같습니다.이 나라에는 영어를 아는 사람들이 거의 없습니다. 다가오는 세계화 당에서 상당히 문제가 될 것이라고 약속했다. 그래서 일본인은 기계 번역의 효과적인 방법을 찾도록 동기를 부여 받았습니다.

규칙 기반 영어-일본어 번역은 매우 복잡합니다. 언어 구조는 완전히 다르며 거의 모든 단어를 재정렬하고 새로운 단어를 추가해야합니다. 1984 년 교토 대학의 나가토 마코토는 반복 번역 대신 기성 문구를 사용한다는 아이디어를 제시했다.

"나는 영화관에 간다"라는 간단한 문장을 번역해야한다고 상상해 보자. 그리고 우리가 이미 다른 문장을 번역했다고 가정 해 봅시다. "나는 극장에 간다"- 시네마”를 봅니다.

우리가 필요로하는 것은 두 문장의 차이점을 알아 내고, 빠진 단어를 번역 한 다음 망치지 않는 것입니다. 예제가 많을수록 번역이 향상됩니다.

나는 똑같은 방식으로 낯선 언어로 문구를 작성합니다!

EBMT는 전 세계의 과학자들에게 하루의 빛을 보여주었습니다. 기존 번역으로 기계에 공급할 수 있으며 규칙과 예외를 만드는 데 몇 년을 소비하지 않아도됩니다. 아직 혁명은 아니지만 분명히 혁명의 첫 걸음입니다. 통계 번역의 혁신적인 발명은 단 5 년 만에 일어날 것입니다.

통계 기계 번역 (SMT)

1990 년 초, IBM Research Center에서 규칙과 언어학에 대해 전혀 알지 못하는 기계 번역 시스템이 처음으로 소개되었습니다. 두 가지 언어로 유사한 텍스트를 분석하고 패턴을 이해하려고했습니다.

아이디어는 단순하면서도 아름다웠다. 두 언어로 된 동일한 문장이 단어로 나뉘어 나중에 일치했습니다. 이 작업은 예를 들어 "Das Haus"라는 단어가 "house"대 "building"대 "construction"으로 몇 번이나 번역되었는지 등을 계산하기 위해 약 5 억 번 반복되었습니다.

대부분의 경우, 소스 단어가 "집"으로 번역 된 경우 기계가이를 사용했습니다. 우리는 어떤 규칙도 설정하지 않았으며 사전을 사용하지 않았습니다. 모든 결론은 기계에 의해 이루어졌으며 통계와 "사람들이 그렇게 번역하면 그렇게 될 것입니다."라는 논리에 따라 이루어졌습니다.

이 방법은 이전의 모든 방법보다 훨씬 효율적이고 정확했습니다. 언어학 자도 필요하지 않았습니다. 더 많은 텍스트를 사용할수록 번역이 향상됩니다.

내부에서 Google의 통계 번역. 확률뿐만 아니라 역 통계도 계산합니다.

기계가“Das Haus”라는 단어와“building”이라는 단어를 어떻게 연관시킬 것인가? 그리고 이것이 올바른 번역인지 어떻게 알 수 있을까요?

대답은 우리가 알지 못할 것이라는 것이 었습니다. 처음에 기계는“Das Haus”라는 단어가 번역 된 문장의 단어와 똑같이 상관되어 있다고 가정했습니다. 다음으로“Das Haus”가 다른 문장에 나타날 때“house”와의 상관 관계 수가 증가 할 것입니다. 이것이 대학 수준의 기계 학습을위한 일반적인 작업 인 "단어 정렬 알고리즘"입니다.

기계는 각 단어에 대한 관련 통계를 수집하기 위해 두 언어로 수백만 및 수백만 개의 문장이 필요했습니다. 우리는 어떻게 얻었습니까? 우리는 유럽 의회와 유엔 안전 보장 이사회 회의 초록을 채택하기로 결정했습니다. 모든 회의는 모든 회원국의 언어로 제공되었으며 현재 UN Corpora와 Europarl Corpora에서 다운로드 할 수 있습니다.

단어 기반 SMT

처음에는 첫 번째 통계 변환 시스템이 문장을 단어로 나누는 방식으로 작동했습니다. 이러한 접근 방식은 간단하고 논리적이기 때문입니다. IBM의 첫 번째 통계 변환 모델을 모델 1이라고했습니다. 아주 우아 하죠? 그들이 두 번째 것을 무엇이라고 생각합니까?

모델 1 :“단어”

모델 1은 고전적인 접근 방식을 사용하여 단어로 나누고 통계를 계산했습니다. 단어 순서는 고려되지 않았습니다. 유일한 트릭은 한 단어를 여러 단어로 번역하는 것입니다. 예를 들어 "Der Staubsauger"는 "Vacuum Cleaner"로 바뀔 수 있지만 그 반대의 경우도 아닙니다.

다음은 파이썬에서 간단한 구현입니다 : shawa / IBM-Model-1.

모델 2 : 문장에서 단어 순서 고려

언어 1의 단어 순서에 대한 지식이 부족한 것이 모델 1에서 문제가되었으며 경우에 따라 매우 중요합니다.

모델 2는 그것을 처리했다 : 그것은 단어가 출력 문장에서 취하는 일반적인 장소를 기억하고 중간 단계에서보다 자연스러운 소리를 위해 단어를 섞었다. 상황이 나아졌지 만 여전히 엉터리였습니다.

모델 3 : 추가 생식

독일어로 된 기사 나 영어로 부정 할 때“do”를 사용하는 것과 같이 새로운 단어가 번역에 자주 등장했습니다. "Ich는 Persimonen을 좋아할 것입니다"→ "Persimmons를 원하지 않습니다."이를 처리하기 위해 두 가지 단계가 모델 3에 추가되었습니다.

  • 기계가 새로운 단어의 필요성을 고려하는 경우 NULL 토큰 삽입
  • 각 토큰 단어 정렬에 적합한 문법 입자 또는 단어 선택

모델 4 : 단어 정렬

모델 2는 단어 정렬을 고려했지만 재정렬에 대해서는 아무것도 몰랐습니다. 예를 들어, 형용사는 종종 명사로 장소를 바꾸고 순서가 아무리 잘 기억 되더라도 결과가 나아지지는 않습니다. 따라서 모델 4는 소위 "상대적 순서"를 고려했습니다.이 모델은 두 단어가 항상 위치를 바꾼 경우 알게 된 모델입니다.

모델 5 : 버그 수정

여기에 새로운 것은 없습니다. 모델 5는 학습을위한 몇 가지 매개 변수를 더 얻었으며 충돌하는 단어 위치 문제를 해결했습니다.

그들의 혁명적 성격에도 불구하고, 단어 기반 시스템은 여전히 ​​사례, 성별 및 동성애를 다루지 못했습니다. 기계에 따르면 모든 단일 단어는 하나의 진정한 방식으로 번역되었습니다. 이러한 시스템은 고급 구문 기반 방법으로 대체되었으므로 더 이상 사용되지 않습니다.

구문 기반 SMT

이 방법은 통계, 재정렬 및 ​​어휘 핵과 같은 모든 단어 기반 번역 원칙을 기반으로합니다. 학습을 위해 텍스트를 단어뿐만 아니라 문구로 나눕니다. 이들은 정확하게 n-gram이었고, 연속 된 n 단어의 연속적인 시퀀스였습니다.

따라서 기계는 단어의 꾸준한 조합을 번역하는 법을 배웠고 정확도가 눈에 띄게 향상되었습니다.

비결은 문구가 항상 간단한 구문 구성이 아니었기 때문에 언어학 및 문장 구조를 알고있는 사람이 방해하는 경우 번역 품질이 크게 떨어졌습니다. 컴퓨터 언어학의 선구자 인 프레 더릭 제 린크 (Frederick Jelinek)는 한 번 농담했습니다.“언어학자를 해고 할 때마다 음성 인식기의 성능이 향상됩니다.”

정확성을 향상시키는 것 외에도 구문 기반 번역은 학습을위한 이중 언어 텍스트를 선택할 때 더 많은 옵션을 제공했습니다. 단어 기반 번역의 경우, 문학적 또는 무료 번역을 제외한 소스의 정확한 일치가 중요했습니다. 문구 기반 번역은 그들로부터 배우는 데 아무런 문제가 없었습니다. 번역을 개선하기 위해 연구원들은 뉴스 웹 사이트를 다른 언어로 파싱하기 시작했습니다.

2006 년부터 모든 사람들이이 접근법을 사용하기 시작했습니다. Google Translate, Yandex, Bing 및 기타 유명 온라인 번역가는 2016 년까지 구문 기반으로 작동했습니다. Google에서 문장을 완벽하게 번역했거나 완전히 말도 안되는 순간을 기억할 수 있습니까? 말도 안되는 문구 기반 기능에서 비롯되었습니다.

오래된 규칙 기반의 좋은 접근 방식은 일관되게 예측 가능하지만 끔찍한 결과를 제공했습니다. 통계적 방법은 놀랍고 수수께끼였습니다. Google 번역은 망설임없이 '삼백'을 '300'으로 바꿉니다. 이를 통계적 이상이라고합니다.

구문 기반 번역이 인기를 얻었으므로 "통계 기계 번역"을들을 때 실제로 의미하는 것입니다. 2016 년까지 모든 연구는 최첨단의 문구 기반 번역을 칭찬했습니다. 당시 Google은 이미 기계 번역의 전체 이미지를 바꿀 준비를하고 있다는 사실을 아무도 생각하지 못했습니다.

구문 기반 SMT

이 방법도 간단히 언급해야합니다. 신경망이 출현하기 몇 년 전에 구문 기반 번역은 "미래 또는 번역"으로 간주되었지만 그 아이디어는 시작되지 않았습니다.

구문 기반 번역의 지지자들은이를 규칙 기반 방법과 병합 할 수 있다고 믿었습니다. 문장의 주제, 술어 및 기타 부분을 결정한 다음 문장 트리를 작성하려면 문장의 정확한 구문 분석을 수행해야합니다. 이를 사용하여 기계는 언어 사이에서 구문 단위를 변환하는 것을 배우고 나머지는 단어 또는 문구로 번역합니다. 그것은 단어 정렬 문제를 한 번에 해결했을 것입니다.

야마다와 기사 [2001]와이 훌륭한 슬라이드 쇼에서 발췌 한 예.

문제는 구문 분석이 오래 전에 해결되었다는 사실에도 불구하고 (많은 언어에 대한 기성품 라이브러리가 있기 때문에) 구문 분석이 훌륭하게 작동한다는 것입니다. 주제와 술어를 구문 분석하는 것보다 약간 더 복잡한 작업에 구문 트리를 사용하려고했습니다. 그리고 매번 다른 방법을 포기하고 사용했습니다.

당신이 그것을 한 번 이상 사용하면 의견에 알려주세요.

신경 기계 번역 (NMT)

기계 번역에 신경망을 사용하는 것에 관한 꽤 재미있는 논문이 2014 년에 출판되었습니다. 인터넷은 구글을 ​​제외하고는 전혀 눈치 채지 못했습니다. 삽을 꺼내 발굴하기 시작했습니다. 2 년 후, 2016 년 11 월 Google은 게임 변경 발표를 발표했습니다.

아이디어는 사진 사이에서 스타일을 전송하는 데 가깝습니다. 유명한 예술가의 스타일로 사진을 향상시킨 프리즈 마와 같은 앱을 기억하십니까? 마법이 없었다. 신경망은 작가의 그림을 인식하도록 배웠다. 다음으로 네트워크 결정이 포함 된 마지막 계층이 제거되었습니다. 결과적으로 양식화 된 그림은 네트워크가 얻은 중간 이미지 일뿐입니다. 그것이 네트워크의 환상이며, 우리는 그것을 아름다운 것으로 간주합니다.

스타일을 사진으로 전송할 수 있다면 다른 언어를 소스 텍스트에 적용하려고하면 어떻게됩니까? 텍스트는 정확한 "아티스트 스타일"이되며 이미지의 본질 (즉, 텍스트의 본질)을 유지하면서 전송하려고 시도합니다.

평균 크기, 날카로운 코, 짧은 꼬리, 항상 짖는 개를 묘사하려고한다고 상상해보십시오. 내가이 개들의 특징들을 주었고, 묘사가 정확하다면, 당신은 그것을 본 적이 없어도 그것을 그릴 수 있습니다.

이제 소스 텍스트가 특정 기능 세트라고 가정하십시오. 기본적으로 그것은 그것을 인코딩하고 다른 신경망이 텍스트를 다른 언어로 다시 해독하도록합니다. 디코더는 해당 언어 만 알고 있습니다. 기능의 출처에 대해서는 알지 못하지만 예를 들어 스페인어로 표현할 수 있습니다. 유추를 계속하면 크레용, 수채화 또는 손가락으로 개를 그리는 방법은 중요하지 않습니다. 당신은 당신이 할 수있는대로 페인트.

다시 한 번 — 한 신경망은 문장을 특정 기능 세트로만 인코딩 할 수 있고 다른 신경망은 텍스트로만 디코딩 할 수 있습니다. 둘 다 서로에 대해 전혀 모릅니다. 그리고 그들 각자는 자신의 언어 만 알고 있습니다. 무언가를 기억하십니까? 인테르 링구아가 돌아 왔습니다. 타다.

문제는 이러한 기능을 어떻게 찾습니까? 개에 대해 이야기 할 때 분명하지만 텍스트를 처리하는 방법은 무엇입니까? 30 년 전 과학자들은 이미 범용 언어 코드를 만들려고했지만 완전히 실패했습니다.

그럼에도 불구하고 지금 우리는 딥 러닝을하고 있습니다. 그리고 그것은 필수적인 작업입니다! 딥 러닝과 클래식 신경망의 주요 차이점은 특성에 대한 아이디어없이 특정 기능을 검색 할 수있는 능력에 있습니다. 신경망이 충분히 크고 수만 개의 비디오 카드가 있다면 텍스트에서도 이러한 기능을 찾을 수 있습니다.

이론적으로 신경망에서 얻은 기능을 언어 학자에게 전달하여 용감한 새로운 지평을 열 수 있습니다.

문제는 인코딩 및 디코딩에 어떤 유형의 신경망을 사용해야합니까? CNN (Convolutional Neural Networks)은 독립적 인 픽셀 블록으로 작동하므로 그림에 완벽하게 맞습니다.

그러나 본문에는 독립적 인 블록이 없습니다. 모든 단어는 주변 환경에 따라 다릅니다. 문자, 연설 및 음악은 항상 일관성이 있습니다. 따라서 재귀 신경 네트워크 (RNN)는 이전 결과 (우리의 경우 이전 단어)를 기억하기 때문에이를 처리하는 최선의 선택이 될 것입니다.

이제 RNN은 Siri의 음성 인식 (이전 순서에 따라 다음 순서에 따라 소리 순서를 분석), 키보드 팁 (이전을 암기하고 다음을 추측), 음악 생성 및 챗봇 등 모든 곳에서 사용됩니다.

저 같은 괴상한 사람들에게 : 실제로 신경 번역가의 구조는 매우 다양합니다. 정규 RNN은 처음에 사용 된 다음 양방향으로 업그레이드되었습니다. 여기서 번역자는 소스 단어 앞의 단어뿐만 아니라 다음 단어도 고려했습니다. 훨씬 더 효과적이었습니다. 그런 다음 번역 컨텍스트의 장기 저장을 위해 LSTM 단위의 하드 코어 멀티 레이어 RNN이 이어졌습니다.

2 년 동안 신경망은 지난 20 년간의 번역에서 나타난 모든 것을 능가했습니다. 신경 번역에는 50 % 적은 단어 순서 실수, 17 % 적은 어휘 실수 및 19 % 적은 문법 실수가 포함됩니다. 신경 네트워크는 심지어 다른 언어로 성별과 사례를 조화시키는 법을 배웠습니다. 그리고 아무도 그들에게 그렇게 가르치지 않았습니다.

직접 번역이 사용되지 않은 분야에서 가장 눈에 띄게 개선되었습니다. 통계 기계 번역 방법은 항상 영어를 핵심 소스로 사용했습니다. 따라서 러시아어에서 독일어로 번역하면 기계는 먼저 텍스트를 영어로 번역 한 다음 영어에서 독일어로 번역하여 이중 손실을 초래합니다.

신경 번역은 필요하지 않습니다. 디코더 만 있으면 작동 할 수 있습니다. сommon 사전이없는 언어 간 직접 번역이 가능해졌습니다.

Google 번역 (2016 년 이후)

2016 년 Google은 9 개 언어에 대한 신경 번역을 시작했습니다. 그들은 GNMT (Google Neural Machine Translation)라는 시스템을 개발했습니다. RNN의 8 개의 인코더 및 8 개의 디코더 계층과 디코더 네트워크의주의 연결로 구성됩니다.

그들은 문장뿐만 아니라 단어도 나누었습니다. 그것이 그들이 NMT의 주요 이슈 중 하나 인 드문 단어를 다루는 방법이었습니다. 단어가 어휘에없는 경우 NMT는 무력합니다. “Vas3k”라고합시다. 아무도 신경망을 가르쳐서 내 별명을 번역하는 것을 의심합니다. 이 경우 GMNT는 단어를 단어 조각으로 나누고 번역을 복구하려고합니다. 똑똑한.

힌트 : 브라우저에서 웹 사이트 번역에 사용되는 Google Translate는 여전히 구 구문 기반 알고리즘을 사용합니다. 어쨌든 Google은 업그레이드하지 않았으며 온라인 버전과 비교하여 차이점이 현저합니다.

Google은 온라인 버전에서 크라우드 소싱 메커니즘을 사용합니다. 사람들은 자신이 가장 올바른 것으로 생각하는 버전을 선택할 수 있으며, 많은 사용자가 좋아할 경우 Google은 항상이 문구를 그런 식으로 번역하여 특수 배지로 표시합니다. 이것은 "영화관에 가자"또는 "기다리고 있습니다"와 같은 짧은 일상적인 문구에 환상적인 효과를 발휘합니다. Google은 영어를 회화보다 잘 알고 있습니다. (

Microsoft의 Bing은 Google Translate와 똑같이 작동합니다. 그러나 Yandex는 다릅니다.

Yandex Translate (2017 년 이후)

Yandex는 2017 년에 신경 번역 시스템을 출시했습니다. 선언 된대로 주요 기능은 하이브리드 성입니다. Yandex는 신경 및 통계적 접근 방식을 결합하여 문장을 번역 한 다음 선호하는 CatBoost 알고리즘으로 가장 적합한 것을 선택합니다.

문제는 문맥을 사용하여 올바른 단어를 선택하기 때문에 짧은 문구를 번역 할 때 신경 번역이 종종 실패한다는 것입니다. 훈련 데이터에서 단어가 매우 적은 횟수로 나타나는 것이 어려울 것입니다. 이러한 경우 간단한 통계 변환으로 올바른 단어를 빠르고 간단하게 찾습니다.

Yandex는 세부 정보를 공유하지 않습니다. 마케팅 보도 자료로 우리를 막아줍니다. 괜찮아.

Google은 단어와 짧은 문구의 번역에 SMT를 사용하는 것 같습니다. 그들은 어떤 기사에서도 언급하지는 않지만 짧은 표현과 긴 표현의 번역의 차이점을 보면 상당히 눈에.니다. 또한 SMT는 단어 통계를 표시하는 데 사용됩니다.

결론과 미래

사람들은 여전히‘바벨 피쉬’라는 아이디어, 즉석 음성 번역에 대해 여전히 흥분합니다. 구글은 픽셀 버드 (Pixel Buds)를 통해 조치를 취했지만 실제로 우리가 꿈꾸는 것은 아닙니다. 즉석 음성 번역은 일반적인 번역과 다릅니다. 번역을 시작할시기와 닥치고 듣는시기를 알아야합니다. 아직이 문제를 해결하기위한 적절한 접근법을 보지 못했습니다. Skype가 아니라면…

빈 공간이 하나 더 있습니다. 모든 학습은 병렬 텍스트 블록 세트로 제한됩니다. 가장 깊은 신경망은 여전히 ​​병렬 텍스트로 학습합니다. 신경망에 소스를 제공하지 않으면 가르 칠 수 없습니다. 대신 사람들은 책이나 기사를 모국어로 번역하지 않더라도 사전을 보완 할 수 있습니다.

사람들이 할 수 있다면, 신경망도 이론적으로 할 수 있습니다. 경험을 얻기 위해 한 언어를 알고있는 네트워크에 다른 언어로 텍스트를 읽도록 시도하는 프로토 타입 하나만 발견했습니다. 직접 시도했지만 바보입니다. 알았어.

이 이야기는 원래 러시아어로 작성된 다음 Vasily Zubarev가 Vas3k.com에서 영어로 번역했습니다. 그는 내 펜 친구이며 그의 블로그가 널리 퍼질 것이라고 확신합니다.

유용한 링크

  • Philipp Koehn : 통계 기계 번역. 내가 찾은 가장 완벽한 방법 모음.
  • Moses — 자체 통계 번역 작성을위한 인기 라이브러리
  • OpenNMT — 하나 이상의 라이브러리이지만 신경 번역가를위한 것
  • RNN 및 LSTM을 설명하는 내가 좋아하는 블로거 중 하나의 기사
  • 비디오“언어 번역기 만드는 법”, 재미있는 사람, 깔끔한 설명. 아직 충분하지 않습니다.
  • 더 많은 예제를 원하고 코드를 사용하려는 사람들을 위해 자신의 신경 번역기 생성에 관한 TensorFlow의 텍스트 가이드.

Vas3k.com의 기타 기사

마지막 한가지…

이 기사가 마음에 드 셨다면 아래의 을 클릭하여 다른 사람들과 공유하여 즐길 수도 있습니다.