Tokenizer provides TokenSpan
Tokenizer provides TokenSpan

Originally checked in by DEVSENSE\Jakub on 2014-10-07 17:33:09.357 as Changeset 5574

git-tfs-id: [https://devsense.visualstudio.com/DefaultCollection]$/Phalanger/Main;C7261

kendallb/Phalanger,diddledan/Phalanger,kendallb/Phalanger,DEVSENSE/Phalanger,kendallb/Phalanger,kendallb/Phalanger,DEVSENSE/Phalanger,diddledan/Phalanger,kendallb/Phalanger,kendallb/Phalanger,DEVSENSE/Phalanger,DEVSENSE/Phalanger,diddledan/Phalanger,DEVSENSE/Phalanger,diddledan/Phalanger,diddledan/Phalanger,DEVSENSE/Phalanger