<jupyter_start><jupyter_text>Our method vs SEFR<jupyter_code>!wget https://github.com/PyThaiNLP/wisesight-sentiment/raw/master/word-tokenization/wisesight-1000-samples-tokenised.label
engine=['deepcut','ws1000']
sefr_cut.load_model(engine='deepcut')
def cutcut(text):
    cut_list = []
    sefr_cut.load_model(engine='deepcut')
    cut_list.append(['|'.join(sefr_cut.tokenize(text)[0]),'deepcut'])
    sefr_cut.load_model(engine='ws1000')
    cut_list.append(['|'.join(sefr_cut.tokenize(text)[0]),'sefr-ws1000'])
    
    oskut.load_model(engine='ws')
    cut_list.append(['|'.join(oskut.OSKut(text)),'mde-ws'])
    oskut.load_model(engine='ws-augment-60p')
    cut_list.append(['|'.join(oskut.OSKut(text)),'mde-ws-augment-60p'])
    
    return cut_list
with open('wisesight-1000-samples-tokenised.label','r',encoding='utf-8-sig') as f:
    file = f.readlines()
np.random.seed(42)
random_list = np.random.randint(len(file), size=50)
cut_list = []
for item in random_list:
    cut_return = cutcut(file[item].replace('|',''))
    cut_list.append(cut_return)
for idx,item in enumerate(random_list):
    print(f'mode: Answer\ntext:{file[item]}')
    [print(f'mode:{i[1]}\ntext:{i[0]}') for i in cut_list[idx]]
    print('#################################################')<jupyter_output>mode: Answer
text:กิน|หม้อ|เอ็มเค|ติด|จมูก|สัด

mode:deepcut
text:กิน|หม้อ|เอ็มเคติด|จมูก|สัด

mode:sefr-ws1000
text:กิน|หม้อ|เอ็มเคติด|จมูก|สัด

mode:mde-ws
text:กิน|หม้อ|เอ็มเคติด|จมูกสัด

mode:mde-ws-augment-60p
text:กิน|หม้อ|เอ็มเค|ติด|จมูก|สัด

#################################################
mode: Answer
text:ไม่|ต้อง|กินนนนน|.

mode:deepcut
text:ไม่|ต้อง|กิน|นนนน.

mode:sefr-ws1000
text:ไม่|ต้อง|กินนนนน.

mode:mde-ws
text:ไม่|ต้อง|กินนนน|น|.

mode:mde-ws-augment-60p
text:ไม่|ต้อง|กินนน|น|น|.|

#################################################
mode: Answer
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:deepcut
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:sefr-ws1000
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:mde-ws
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า

mode:mde-ws-augment-60p
text:แล้ว|มัน|จะ|รั่ว|ซึม|ไหม|ครับ|ป๋า|

#################################################
mode: Answer
text:เสี่ย|เจริญ| |เป็น|เจ้าของ| |แม่โขง| |แสงโสม| |เหล้า|ขาว| |เบียร์ช้าง| |จบ

mode:deepcut
text:เ[...]
StarcoderdataJupyterStructuredCleanDedup