Dúvida sobre wordlist (rapidez)

Nobres, bom dia !

Olha a seguinte situação: tenho uma wordlist genérica com quase 2gb e gerei outra diversa, uma mistura de algumas outras pequenas que eu tinha, que ficou em 36mb. Acontece que o JtR roda muito mais rápido a wordlist de 2gb do que a wordlist que eu criei, que não tem 10% do tamanho.

Já tentei trocar as hashes atacadas, utilizei de diversos tipos mas aparentemente o problema está na minha wordlist. Alguém tem ideia do motivo ou do que posso fazer diferente ?

Valeu !

Olá,
Sem os arquivos é difícil dizer o motivo.
Verifique o tipo de ambos os arquivos pelo $exiftool para verificar se o Mimetype de ambos são do tipo plaintext.

$exiftool wordlist | grep 'MIME'

MIME Type : text/plain
MIME Encoding : us-ascii
Newlines : Unix LF

Opa, valeu..

Então, o arquivo baixado de 2gb que é rápido:

File Type TXT
File Type Extension txt
MIME Type text/plain
MIME Encoding us-ascii
Newlines Unix LF

O arquivo que eu criei, com 36mb:

File Type TXT
File Type Extension txt
MIME Type text/plain
MIME Encoding utf-8
Byte Order Mark Yes
Newlines Unix LF

Olá,

Em tese não é pra provocar grande diferenças o mime encoding ASCII x UTF-8.
O UTF-8 usa o mesmo encode que o ASCII para os primeiros 128 caracteres. Poderia provocar uma lentidão mínima, mas nada tão significativo em uma comparação de linhas em massa.

Agora o que pode dar problema e estar ocasionando essa lentidão é o BOM (Byte Order Mark).
Se o BOM estiver instruindo para UNICODE ser codificado em 32 bytes por exemplo, ja era.

Já tive problemas com o Byte Order Mark, quando me passavam arquivos criados no Windows.
Ele fica no começo do arquivo, remova esse caractere do arquivo.

Toda wordlist que crio, sempre utilizo encoding ASCII, e claro, sem o BOM.

Então, isso que me chamou atenção, porque até então já tive arquivos diferentes e não sofria com essa lentidão.. de toda forma, vou alterar a formatação aqui e ver se ajuda.

Valeu !!!!

Removi o BOM, mas nenhuma mudança... vou continuar testando por aqui, sejam mudanças, seja minha paciência em deixar rodar assim mesmo e esperar kkkkkkkkk

MIME Type : text/plain
MIME Encoding : utf-8
Byte Order Mark : No
Newlines : Unix LF