Create README.md

README.md

@@ -0,0 +1,370 @@
+---
+language: ko
+license: apache-2.0
+tags:
+  - korean
+---
+
+# KcBERT: Korean comments BERT
+
+** Updates on 2021.04.07 **
+
+- KcELECTRA가 릴리즈 되었습니다!🤗
+- KcELECTRA는 보다 더 많은 데이터셋, 그리고 더 큰 General vocab을 통해 KcBERT 대비 **모든 태스크에서 더 높은 성능**을 보입니다.
+- 아래 깃헙 링크에서 직접 사용해보세요!
+- https://github.com/Beomi/KcELECTRA
+
+** Updates on 2021.03.14 **
+
+- KcBERT Paper 인용 표기를 추가하였습니다.(bibtex)
+- KcBERT-finetune Performance score를 본문에 추가하였습니다.
+
+** Updates on 2020.12.04 **
+
+Huggingface Transformers가 v4.0.0으로 업데이트됨에 따라 Tutorial의 코드가 일부 변경되었습니다.
+
+업데이트된 KcBERT-Large NSMC Finetuning Colab: <a href="https://colab.research.google.com/drive/1dFC0FL-521m7CL_PSd8RLKq67jgTJVhL?usp=sharing">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a>
+
+** Updates on 2020.09.11 **
+
+KcBERT를 Google Colab에서 TPU를 통해 학습할 수 있는 튜토리얼을 제공합니다! 아래 버튼을 눌러보세요.
+
+Colab에서 TPU로 KcBERT Pretrain 해보기: <a href="https://colab.research.google.com/drive/1lYBYtaXqt9S733OXdXvrvC09ysKFN30W">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a>
+
+텍스트 분량만 전체 12G 텍스트 중 일부(144MB)로 줄여 학습을 진행합니다. 
+
+한국어 데이터셋/코퍼스를 좀더 쉽게 사용할 수 있는 [Korpora](https://github.com/ko-nlp/Korpora) 패키지를 사용합니다.
+
+** Updates on 2020.09.08 **
+
+Github Release를 통해 학습 데이터를 업로드하였습니다.
+
+다만 한 파일당 2GB 이내의 제약으로 인해 분할압축되어있습니다.
+
+아래 링크를 통해 받아주세요. (가입 없이 받을 수 있어요. 분할압축)
+
+만약 한 파일로 받고싶으시거나/Kaggle에서 데이터를 살펴보고 싶으시다면 아래의 캐글 데이터셋을 이용해주세요.
+
+- Github릴리즈: https://github.com/Beomi/KcBERT/releases/tag/TrainData_v1
+
+** Updates on 2020.08.22 **
+
+Pretrain Dataset 공개
+
+- 캐글: https://www.kaggle.com/junbumlee/kcbert-pretraining-corpus-korean-news-comments (한 파일로 받을 수 있어요. 단일파일)
+
+Kaggle에 학습을 위해 정제한(아래 `clean`처리를 거친) Dataset을 공개하였습니다!
+
+직접 다운받으셔서 다양한 Task에 학습을 진행해보세요 :) 
+
+---
+
+공개된 한국어 BERT는 대부분 한국어 위키, 뉴스 기사, 책 등 잘 정제된 데이터를 기반으로 학습한 모델입니다. 한편, 실제로 NSMC와 같은 댓글형 데이터셋은 정제되지 않았고 구어체 특징에 신조어가 많으며, 오탈자 등 공식적인 글쓰기에서 나타나지 않는 표현들이 빈번하게 등장합니다.
+
+KcBERT는 위와 같은 특성의 데이터셋에 적용하기 위해, 네이버 뉴스에서 댓글과 대댓글을 수집해, 토크나이저와 BERT모델을 처음부터 학습한 Pretrained BERT 모델입니다.
+
+KcBERT는 Huggingface의 Transformers 라이브러리를 통해 간편히 불러와 사용할 수 있습니다. (별도의 파일 다운로드가 필요하지 않습니다.)
+
+## KcBERT Performance
+
+- Finetune 코드는 https://github.com/Beomi/KcBERT-finetune 에서 찾아보실 수 있습니다.
+
+|                       | Size<br/>(용량)  | **NSMC**<br/>(acc) | **Naver NER**<br/>(F1) | **PAWS**<br/>(acc) | **KorNLI**<br/>(acc) | **KorSTS**<br/>(spearman) | **Question Pair**<br/>(acc) | **KorQuaD (Dev)**<br/>(EM/F1) |
+| :-------------------- | :---: | :----------------: | :--------------------: | :----------------: | :------------------: | :-----------------------: | :-------------------------: | :---------------------------: |
+| KcBERT-Base                | 417M  |       89.62        |         84.34          |       66.95        |        74.85         |           75.57           |            93.93            |         60.25 / 84.39         |
+| KcBERT-Large                | 1.2G  |       **90.68**        |         85.53          |       70.15        |        76.99         |           77.49           |            94.06            |         62.16 / 86.64          |
+| KoBERT                | 351M  |       89.63        |         86.11          |       80.65        |        79.00         |           79.64           |            93.93            |         52.81 / 80.27         |
+| XLM-Roberta-Base      | 1.03G |       89.49        |         86.26          |       82.95        |        79.92         |           79.09           |            93.53            |         64.70 / 88.94         |
+| HanBERT               | 614M  |       90.16        |       **87.31**        |       82.40        |      **80.89**       |           83.33           |            94.19            |         78.74 / 92.02         |
+| KoELECTRA-Base    | 423M  |     **90.21**      |         86.87          |       81.90        |        80.85         |           83.21           |            94.20            |         61.10 / 89.59         |
+| KoELECTRA-Base-v2 | 423M  |       89.70        |         87.02          |     **83.90**      |        80.61         |         **84.30**         |          **94.72**          |       **84.34 / 92.58**       |
+| DistilKoBERT           | 108M |       88.41        |         84.13          |       62.55        |        70.55         |           73.21           |            92.48            |         54.12 / 77.80         |
+
+
+\*HanBERT의 Size는 Bert Model과 Tokenizer DB를 합친 것입니다.
+
+\***config의 세팅을 그대로 하여 돌린 결과이며, hyperparameter tuning을 추가적으로 할 시 더 좋은 성능이 나올 수 있습니다.**
+
+## How to use
+
+### Requirements
+
+- `pytorch <= 1.8.0`
+- `transformers ~= 3.0.1`
+  - `transformers ~= 4.0.0` 도 호환됩니다.
+- `emoji ~= 0.6.0`
+- `soynlp ~= 0.0.493`
+
+```python
+from transformers import AutoTokenizer, AutoModelWithLMHead
+
+# Base Model (108M)
+
+tokenizer = AutoTokenizer.from_pretrained("beomi/kcbert-base")
+
+model = AutoModelWithLMHead.from_pretrained("beomi/kcbert-base")
+
+# Large Model (334M)
+
+tokenizer = AutoTokenizer.from_pretrained("beomi/kcbert-large")
+
+model = AutoModelWithLMHead.from_pretrained("beomi/kcbert-large")
+```
+
+### Pretrain & Finetune Colab 링크 모음 
+
+#### Pretrain Data
+
+- [데이터셋 다운로드(Kaggle, 단일파일, 로그인 필요)](https://www.kaggle.com/junbumlee/kcbert-pretraining-corpus-korean-news-comments)
+- [데이터셋 다운로드(Github, 압축 여러파일, 로그인 불필요)](https://github.com/Beomi/KcBERT/releases/tag/TrainData_v1)
+
+#### Pretrain Code
+
+Colab에서 TPU로 KcBERT Pretrain 해보기: <a href="https://colab.research.google.com/drive/1lYBYtaXqt9S733OXdXvrvC09ysKFN30W">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a>
+
+#### Finetune Samples
+
+**KcBERT-Base** NSMC Finetuning with PyTorch-Lightning (Colab) <a href="https://colab.research.google.com/drive/1fn4sVJ82BrrInjq6y5655CYPP-1UKCLb?usp=sharing">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a>
+
+**KcBERT-Large** NSMC Finetuning with PyTorch-Lightning (Colab) <a href="https://colab.research.google.com/drive/1dFC0FL-521m7CL_PSd8RLKq67jgTJVhL?usp=sharing">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a>
+
+> 위 두 코드는 Pretrain 모델(base, large)와 batch size만 다를 뿐, 나머지 코드는 완전히 동일합니다.
+
+## Train Data & Preprocessing
+
+### Raw Data
+
+학습 데이터는 2019.01.01 ~ 2020.06.15 사이에 작성된 **댓글 많은 뉴스** 기사들의 **댓글과 대댓글**을 모두 수집한 데이터입니다.
+
+데이터 사이즈는 텍스트만 추출시 **약 15.4GB이며, 1억1천만개 이상의 문장**으로 이뤄져 있습니다.
+
+### Preprocessing
+
+PLM 학습을 위해서 전처리를 진행한 과정은 다음과 같습니다.
+
+1. 한글 및 영어, 특수문자, 그리고 이모지(🥳)까지!
+
+   정규표현식을 통해 한글, 영어, 특수문자를 포함해 Emoji까지 학습 대상에 포함했습니다.
+
+   한편, 한글 범위를 `ㄱ-ㅎ가-힣` 으로 지정해 `ㄱ-힣` 내의 한자를 제외했습니다. 
+
+2. 댓글 내 중복 문자열 축약
+
+   `ㅋㅋㅋㅋㅋ`와 같이 중복된 글자를 `ㅋㅋ`와 같은 것으로 합쳤습니다.
+
+3. Cased Model
+
+   KcBERT는 영문에 대해서는 대소문자를 유지하는 Cased model입니다.
+
+4. 글자 단위 10글자 이하 제거
+
+   10글자 미만의 텍스트는 단일 단어로 이뤄진 경우가 많아 해당 부분을 제외했습니다.
+
+5. 중복 제거
+
+   중복적으로 쓰인 댓글을 제거하기 위해 중복 댓글을 하나로 합쳤습니다.
+
+이를 통해 만든 최종 학습 데이터는 **12.5GB, 8.9천만개 문장**입니다.
+
+아래 명령어로 pip로 설치한 뒤, 아래 clean함수로 클리닝을 하면 Downstream task에서 보다 성능이 좋아집니다. (`[UNK]` 감소)
+
+```bash
+pip install soynlp emoji
+```
+
+아래 `clean` 함수를 Text data에 사용해주세요.
+
+```python
+import re
+import emoji
+from soynlp.normalizer import repeat_normalize
+
+emojis = list({y for x in emoji.UNICODE_EMOJI.values() for y in x.keys()})
+emojis = ''.join(emojis)
+pattern = re.compile(f'[^ .,?!/@$%~％·∼()\x00-\x7Fㄱ-ㅣ가-힣{emojis}]+')
+url_pattern = re.compile(
+    r'https?:\/\/(www\.)?[-a-zA-Z0-9@:%._\+~#=]{1,256}\.[a-zA-Z0-9()]{1,6}\b([-a-zA-Z0-9()@:%_\+.~#?&//=]*)')
+
+def clean(x):
+    x = pattern.sub(' ', x)
+    x = url_pattern.sub('', x)
+    x = x.strip()
+    x = repeat_normalize(x, num_repeats=2)
+    return x
+```
+
+### Cleaned Data (Released on Kaggle)
+
+원본 데이터를 위 `clean`함수로 정제한 12GB분량의 txt 파일을 아래 Kaggle Dataset에서 다운받으실 수 있습니다 :)
+
+https://www.kaggle.com/junbumlee/kcbert-pretraining-corpus-korean-news-comments
+
+
+## Tokenizer Train
+
+Tokenizer는 Huggingface의 [Tokenizers](https://github.com/huggingface/tokenizers) 라이브러리를 통해 학습을 진행했습니다.
+
+그 중 `BertWordPieceTokenizer` 를 이용해 학습을 진행했고, Vocab Size는 `30000`으로 진행했습니다.
+
+Tokenizer를 학습하는 것에는 `1/10`로 샘플링한 데이터로 학습을 진행했고, 보다 골고루 샘플링하기 위해 일자별로 stratify를 지정한 뒤 햑습을 진행했습니다.
+
+## BERT Model Pretrain
+
+- KcBERT Base config
+
+```json
+{
+    "max_position_embeddings": 300,
+    "hidden_dropout_prob": 0.1,
+    "hidden_act": "gelu",
+    "initializer_range": 0.02,
+    "num_hidden_layers": 12,
+    "type_vocab_size": 2,
+    "vocab_size": 30000,
+    "hidden_size": 768,
+    "attention_probs_dropout_prob": 0.1,
+    "directionality": "bidi",
+    "num_attention_heads": 12,
+    "intermediate_size": 3072,
+    "architectures": [
+        "BertForMaskedLM"
+    ],
+    "model_type": "bert"
+}
+```
+
+- KcBERT Large config
+
+```json
+{
+    "type_vocab_size": 2,
+    "initializer_range": 0.02,
+    "max_position_embeddings": 300,
+    "vocab_size": 30000,
+    "hidden_size": 1024,
+    "hidden_dropout_prob": 0.1,
+    "model_type": "bert",
+    "directionality": "bidi",
+    "pad_token_id": 0,
+    "layer_norm_eps": 1e-12,
+    "hidden_act": "gelu",
+    "num_hidden_layers": 24,
+    "num_attention_heads": 16,
+    "attention_probs_dropout_prob": 0.1,
+    "intermediate_size": 4096,
+    "architectures": [
+        "BertForMaskedLM"
+    ]
+}
+```
+
+BERT Model Config는 Base, Large 기본 세팅값을 그대로 사용했습니다. (MLM 15% 등)
+
+TPU `v3-8` 을 이용해 각각 3일, N일(Large는 학습 진행 중)을 진행했고, 현재 Huggingface에 공개된 모델은 1m(100만) step을 학습한 ckpt가 업로드 되어있습니다.
+
+모델 학습 Loss는 Step에 따라 초기 200k에 가장 빠르게 Loss가 줄어들다 400k이후로는 조금씩 감소하는 것을 볼 수 있습니다.
+
+- Base Model Loss
+
+![KcBERT-Base Pretraining Loss](https://raw.githubusercontent.com/Beomi/KcBERT/master/img/image-20200719183852243.38b124.png)
+
+- Large Model Loss
+
+![KcBERT-Large Pretraining Loss](https://raw.githubusercontent.com/Beomi/KcBERT/master/img/image-20200806160746694.d56fa1.png)
+
+학습은 GCP의 TPU v3-8을 이용해 학습을 진행했고, 학습 시간은 Base Model 기준 2.5일정도 진행했습니다. Large Model은 약 5일정도 진행한 뒤 가장 낮은 loss를 가진 체크포인트로 정했습니다.
+
+## Example
+
+### HuggingFace MASK LM
+
+[HuggingFace kcbert-base 모델](https://huggingface.co/beomi/kcbert-base?text=오늘은+날씨가+[MASK]) 에서 아래와 같이 테스트 해 볼 수 있습니다.
+
+![오늘은 날씨가 "좋네요", KcBERT-Base](https://raw.githubusercontent.com/Beomi/KcBERT/master/img/image-20200719205919389.5670d6.png)
+
+물론 [kcbert-large 모델](https://huggingface.co/beomi/kcbert-large?text=오늘은+날씨가+[MASK]) 에서도 테스트 할 수 있습니다.
+
+![image-20200806160624340](https://raw.githubusercontent.com/Beomi/KcBERT/master/img/image-20200806160624340.58f9be.png)
+
+
+
+### NSMC Binary Classification
+
+[네이버 영화평 코퍼스](https://github.com/e9t/nsmc) 데이터셋을 대상으로 Fine Tuning을 진행해 성능을 간단히 테스트해보았습니다.
+
+Base Model을 Fine Tune하는 코드는 <a href="https://colab.research.google.com/drive/1fn4sVJ82BrrInjq6y5655CYPP-1UKCLb?usp=sharing">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a> 에서 직접 실행해보실 수 있습니다.
+
+Large Model을 Fine Tune하는 코드는 <a href="https://colab.research.google.com/drive/1dFC0FL-521m7CL_PSd8RLKq67jgTJVhL?usp=sharing">
+  <img src="https://colab.research.google.com/assets/colab-badge.svg" alt="Open In Colab"/>
+</a> 에서 직접 실행해볼 수 있습니다.
+
+- GPU는 P100 x1대 기준 1epoch에 2-3시간, TPU는 1epoch에 1시간 내로 소요됩니다.
+- GPU RTX Titan x4대 기준 30분/epoch 소요됩니다.
+- 예시 코드는 [pytorch-lightning](https://github.com/PyTorchLightning/pytorch-lightning)으로 개발했습니다.
+
+#### 실험결과
+
+- KcBERT-Base Model 실험결과: Val acc `.8905`
+
+  ![KcBERT Base finetune on NSMC](https://raw.githubusercontent.com/Beomi/KcBERT/master/img/image-20200719201102895.ddbdfc.png)
+
+- KcBERT-Large Model 실험 결과: Val acc `.9089`
+
+  ![image-20200806190242834](https://raw.githubusercontent.com/Beomi/KcBERT/master/img/image-20200806190242834.56d6ee.png)
+
+> 더 다양한 Downstream Task에 대해 테스트를 진행하고 공개할 예정입니다.
+
+## 인용표기/Citation
+
+KcBERT를 인용하실 때는 아래 양식을 통해 인용해주세요.
+
+```
+@inproceedings{lee2020kcbert,
+  title={KcBERT: Korean Comments BERT},
+  author={Lee, Junbum},
+  booktitle={Proceedings of the 32nd Annual Conference on Human and Cognitive Language Technology},
+  pages={437--440},
+  year={2020}
+}
+```
+
+- 논문집 다운로드 링크: http://hclt.kr/dwn/?v=bG5iOmNvbmZlcmVuY2U7aWR4OjMy (*혹은 http://hclt.kr/symp/?lnb=conference )
+
+## Acknowledgement
+
+KcBERT Model을 학습하는 GCP/TPU 환경은 [TFRC](https://www.tensorflow.org/tfrc?hl=ko) 프로그램의 지원을 받았습니다.
+
+모델 학습 과정에서 많은 조언을 주신 [Monologg](https://github.com/monologg/) 님 감사합니다 :)
+
+## Reference
+
+### Github Repos
+
+- [BERT by Google](https://github.com/google-research/bert)
+- [KoBERT by SKT](https://github.com/SKTBrain/KoBERT)
+- [KoELECTRA by Monologg](https://github.com/monologg/KoELECTRA/)
+
+- [Transformers by Huggingface](https://github.com/huggingface/transformers)
+- [Tokenizers by Hugginface](https://github.com/huggingface/tokenizers)
+
+### Papers
+
+- [BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding](https://arxiv.org/abs/1810.04805)
+
+### Blogs
+
+- [Monologg님의 KoELECTRA 학습기](https://monologg.kr/categories/NLP/ELECTRA/)
+- [Colab에서 TPU로 BERT 처음부터 학습시키기 - Tensorflow/Google ver.](https://beomi.github.io/2020/02/26/Train-BERT-from-scratch-on-colab-TPU-Tensorflow-ver/)
+