Updated code to train and evaluate a Tokenizer model. Fixes #599
Updated code to train and evaluate a Tokenizer model. Fixes #599

cogroo/cogroo4,cogroo/cogroo4,Fichberg/cogroo4,Fichberg/cogroo4,Fichberg/cogroo4,cogroo/cogroo4,Fichberg/cogroo4,cogroo/cogroo4,Fichberg/cogroo4,cogroo/cogroo4