tinysmenter Tokenizer japonês muito compacto
Baixe Agora

tinysmenter Classificação e resumo

tinysmenter Tag

japonês Biblioteca Python. Pitão Tokenizer

tinysmenter Descrição

O TinySmenter é um porto de Python de TinySagnerer (que é um tokenizer japonês extremamente compacto (23kb) originalmente escrito em Javascript pelo Sr. Taku Kudo. Ele funciona no Python 2.5 ou acima.Installateee Install File.UsageExample código para uso direto:> Importar TinySmenter> Segmenter = TinySmenter.TinyEsmenter ()> Imprimir '|' .Join (segmenter.Tokenize (U " | | | | | " TinySmenter na interface do Python ". Compatível com o tokenizeri da NLTK, embora o arquivo de distribuição abaixo não dependa diretamente do NLTK. Se você quiser usá-lo como um tokenizer no NLTK, você tem que modificar as primeiras linhas do código abaixo (para que você não possa Use a versão do repositório PYPI por enquanto, se você deseja fazer isso. Receba as fontes.): Importar NLTKIMPORT REFROM NLTK.Tokenize.api Import * Classe TinySmenter (Tokenizeri): Homepage do produto

tinysmenter Software Relacionado