금융 언어 이해를 위해 개발된 ALBERT 톺아보기

Abstract

최근 자연어처리 분야는 사전학습한 언어모델들(PLMs) (e.g. BERT, XLNet, ALBERT, ELECTRA)을 활용한 미세조정 등을 하는 것이

일반적이게 됐습니다. 최근 가장 인기있는 라이브러리 중 하나인 🤗 Transformers를 통해 자신의 목적에 맞게

초보자부터 전문적인 딥러닝 연구자까지 누구나 쉽게 블록 형태로 transformer 아키텍처를 불러와 사용할 수 있게 되었습니다.

이번 발표가 자신의 데이터를 가지고 최신 SOTA PLM을 활용해 NLP 및 Text Mining을 해보기를 원하는 분들에게 도움이 될 수 있기를 바랍니다.

그리고 금융 분야에 대한 Domain Adaptation 관련된 약간의 내용을 담았습니다.

Expected audience

- 은행이 공개했다는 KB-ALBERT가 뭔지 궁금하신 분들

- 최신 SOTA 기술 등을 손쉽게 사용해보고 싶으신 분들

- 자신이 가진 텍스트로 분석해보고 싶으신 분들

Outline

1. 금융 도메인에 특화된 언어모델, KB-ALBERT 소개

2. 🤗 Transformers 소개

3. Fine-tuning ALBERT with Transformers

Sponsors