Bert알고리즘이란 ?

세계적인 IT공룡기업 구글이 검색 알고리즘을 계속해서 개선하고 있다는 사실은 알고 계시죠?

검색이란 행동을 연상해 보시면 잘 아시겠지만 우리가 궁금해하는 다양한 지식과 컨텐츠를 정확히 한번에 표시해 준다면 모두가 너무 행복하고 기쁜 일이겠지요?

내가 원하는 정보를 키워드를 연결하면서 찾고 또 찾아도 원하는 정보가 나오지 않거나

관련 광고만 표시되어 짜증이 나는 경우도 많습니다.

레포트를 작성하기위해 정말 원하는 정보를 찾기위해 열심히 검색은 하지만 생각만큼 내 의도에 맞는 컨텐츠까지 도달하기 위해서는 생각보다 많은 시간이 필요할 수도 있구요.

또한 20년전 제가 대학 졸업 후에는 인터넷 검색사라는 자격증이 있을 정도로 검색자체에도 노하우나 능력차가 발생하는 경우가 많습니다. 물론 현재도 예외일 수는 없구요.

대한민국에서는 아직도 네이버에서 검색을 하는 경우가 많고 구글 영향력이 (검색부분) 일본이나 타 국가에 비해 적은 것이 사실입니다만 유튜브등 구글 플랫폼이 우리 생할 깊숙히 침투하면서 앞으로 네이버와 같은 국내 포털 사이트에 비해 더욱더 성장할 가능성이 있다고 생각합니다. 그 이유로 검색에 대한 그 결과물에 대한 정확도가 지속적으로 개선되고 있다는 점입니다. 대표적으로 구글이 가지고 있는 방대한 Big Data와 AI알고리즘의 융합을 통해 구글 검색엔진은 2019년에 비해 2020년 10%이상 즉 두자리 숫자에 해당되는 성능향상이 이루어졌다고 합니다.

BERT 알고리즘이란?

BERT- Bidirectional Encoder Representations from Transformers 변동(변수)로부터의 양방향 인코더 표현이라고 해야 하나요? 영어가 약해서..암튼 쉽게 이야기해서 구글이 새롭게 AI를 이용해 추가한 검색 로직 개념으로 인터넷세계에서 다양한 언어 데이터를 AI를 이용 자연어처리능력을 극대화한다는 개념입니다. 물론 AI는 빅데이터의 양과 질에 큰 영향을 받으므로 BERT를 이용한 자연어 처리 기술 발달로 2019년에 비해 약 10%정도 검색결과에 대한 정확성이 올라 갔다고 합니다.

자연어 처리란 쉽게 이야기해서 언어를 구성하는 단위 즉 단어와 단어, 단어가 연결된 문장과 문장 그리고 문장과 문장이 연결되어 이루는 문맥의 의미에 대해 정확히 알아내려는 과정입니다.

지금까지는 하나의 자연어처리 모델을 통해서 분석을 했다면 BERT에 의해 인터넷 빅데이터를 빠르게 처리하여 획득된 자연어 처리 데이터 베이스를 통해 유저가 원하는 정보를 정확히 빠르게 출력시켜준다는 점에서 큰 의의가 있는 것입니다.

이로 인해 우리가 받는 수혜에는 무엇이 있고 검색광고 집행시에는 무엇을 고려해야 하는지 한번 정리해보았습니다.

1.유저가 만족할 만한 검색결과에 대한 정확도 향상

2.텍스트영역뿐만 아니라 음성인식분야에 있어서도 정확성 향상

검색에 대한 정확성이 향상되어 정보의 Input/Output에 있어서 기존 키보드와 마우스를 넘어 구글 어시스턴트와 같은 음성인식 분야에 대한 급속한 발전과 서포트가 가능. 이와함께 이미 발표한 내용입니다만 구글은 팟캐스트와 같은 음성화일의 컨텐츠를 텍스트로 변화해 검색시에 해당 컨텐츠가 보일 수 있도록 하고 있습니다.

3.키워드와 키워드 조합의 검색에서 자연스런 문장 검색으로 검색트렌드 변동

4.YouTube등과 같은 영상 컨텐츠의 캡션(자막)정보와도 연관이 깊어져 구글의 다양한 플랫폼 컨텐츠에 대한 검색알고리즘 최적화가 가능