String :: tokenizer. string :: tokenizer é um tokenizer simples de string.
Baixe Agora

String :: tokenizer. Classificação e resumo

String :: tokenizer. Tag

Módulo Perl. corda Extensão perl. Tokenizer tokenizer de string

String :: tokenizer. Descrição

String :: Tokenizer é um tokenizer de string simples. String :: Tokenizer é um simples string tokenizer.synopsis Use string :: tokenizer; # Criar o tokenizer e tokenize Entrada Meu $ tokenizer = string :: tokenizer-> novo ("((5 + 5) * 10)", '+ * ()'); # Criar tokenizer Meu $ tokenizer = string :: tokenizer-> novo (); # ... então tokenize a string $ tokenizer-> tokenize ("((5 + 5) - 10)", '()'); # imprimirá '(, (, 5, +, 5,), -, 10,)' imprimir junção "," => $ tokenizer-> gettokens (); # Criar tokenizer que retém espaço em branco Minha $ ST = String :: tokenizer-> Novo ('Este é um teste com espaço em branco (signifigante)', ', ()', string :: tokenizer-> retenção_whitespace); # Isso vai imprimir: # 'isso' ',' ',' 'é' '', '', 'A' ',' ',' test '', '' ',' '' ('' (',' '' ' ) '', ',' espaço em branco 'imprimir "'". (Participe "'', '" => $ tokenizer-> gettokens ()). "'"; # Obtenha um iterador de token Meu $ i = $ tokenizer-> iterador (); Enquanto ($ i-> hasnExtToken ()) {MEU $ NEXT = $ i-> NEXTOKING (); # Espeça à frente no próximo token Meus $ look_ahead = $ i-> lookaheadtaken (); # ... # pule os próximos 2 tokens $ i-> skiptakens (2); # ... então backtrack 1 token meu $ anterior = $ i-> previsto (); # ... # Obtenha o atual token minha corrente $ = $ i-> CurrentToken (); # ...} Um tokenizer simples de string que leva uma string e divide-o no espaço em branco. Ele também exige opcionalmente uma cadeia de caracteres para usar como delimitadores e os retorna com o conjunto de token também. Isso permite dividir a string de muitas maneiras diferentes.Este é um tokenizer muito básico, então as necessidades mais complexas devem ser endereçadas com um tokenizer escrito personalizado ou pós-processamento da saída gerada por este módulo. Basicamente, isso não preencherá as necessidades de todos, mas abrange uma lacuna entre a simples divisão / /, $ string e as outras opções que envolvem módulos muito maiores e complexos.Also Observe que este não é um analisador lexical. Muitas pessoas confundem a toquenização com análise lexical. Um tokenizer Mearly divide sua entrada em pedaços específicos, um analisador lexical classifica esses pedaços. Às vezes, essas duas etapas são combinadas, mas não aqui. Requirements: · Requisitos de Perl: · Perl.

String :: tokenizer. Software Relacionado