Torne seu Mac viva-voz: parte 1

(27 de novembro de 2018)

Reconhecimento de voz + com Talon .

Olha, mãe, sem mãos!

ATUALIZAÇÃO 14/01/21

Olá! Se você está visitando esta página pela primeira vez, meu conselho é pular para minha postagem de atualização do Talon 2021. Esta postagem provavelmente é uma perda de tempo.

(

Torne seu * computador * viva-voz

(é mais fácil do que nunca!)

medium.com

)

O que é o Talon?

Talon é um software livre, em desenvolvimento ativo , que tem o objetivo de tornar as operações do seu computador sem as mãos.

Isso está sendo feito com o uso do Talon de três entradas diferentes:

  1. Reconhecimento de voz
  2. Substituição do mouse de rastreamento de olho / cabeça
  3. Reconhecimento de ruído

Para dar uma ideia do que o Talon pode fazer, vou brevemente descreva cada entrada.

  1. O reconhecimento de voz permite que você digite em tudo em seu ambiente de área de trabalho.
  2. A substituição do mouse permite que você controle um mouse com rastreamento ocular para um cursor grande saltos e rastreamento de cabeça para pequenas correções de cursor. Outra configuração da entrada de substituição do mouse é o zoom do mouse, que depende apenas do rastreamento ocular.
  3. O reconhecimento de ruído permite que você clique e arraste com estalos e assobios.

Todas essas entradas usam “arquivos de código Python” ou scripts escritos na linguagem de programação Python para funcionar. Por design, esses scripts são facilmente modificáveis ​​pelo usuário ou pela comunidade de usuários do Talon . Os scripts relacionados ao Talon são armazenados na pasta do usuário dentro do aplicativo Talon . Dependendo de quais scripts estão na pasta do usuário e como / se eles foram modificados, o Talon pode ter recursos diferentes ou totalmente novos.

Muitos scripts são compartilhados pelo comunidade e estão disponíveis na plataforma Github (consulte o repositório de código talon\_community ). O Talon no meu Mac é um amálgama de scripts compartilhados com pequenas modificações ( minha coleção de scripts ). Mostrarei como fazer essas pequenas modificações em uma postagem posterior desta série.

Então, de volta a cada uma das três entradas.

1. Reconhecimento de fala

Antes de falar sobre o método de reconhecimento de fala do Talon – deixe-me começar com o panorama geral do reconhecimento de fala.

Existem duas políticas principais de ditado usado por motores de reconhecimento de voz:

  • política de entrada de dados primeiro
  • política de comando primeiro

A política com a qual a maioria das pessoas está familiarizada é a primeira política de entrada de dados. Nesta política, uma frase falada será inserida, a menos que uma palavra ou frase especial (uma palavra-gatilho) seja usada para executar um comando. Esta é a política usada por Dragon NaturallySpeaking .

A desvantagem é que o mecanismo de fala deve diferenciar entre o que deve ser texto e o que deve ser um comando. Dragon depende do contexto para fazer essa distinção, que não é confiável.

A falta de confiabilidade leva muitas pessoas a criar palavras inventadas para nomes de comandos, para evitar qualquer mal-entendido do mecanismo de fala.

O mecanismo de fala do Talon assumiu uma política de ditado de primeiro comando dos scripts do usuário que foram compartilhados até agora . Uma política de primeiro comando faz com que as frases faladas sejam interpretadas como comandos, se forem reconhecidas. Isso lhe dá a liberdade de usar palavras ou frases descritivas para nomear comandos.

No Talon , é possível aumentar a política de comando primeiro com a política de entrada de dados primeiro, para alavancar os pontos fortes de ambas as abordagens. Isso é feito de duas maneiras:

Primeiro, usando uma palavra-gatilho. Palavras-gatilho permitem que você dite facilmente uma linha de texto em Talon.

Como exemplo, digamos: “frase esta é a primeira postagem que escrevi em ponto médio. ” Sentença aqui é a palavra-gatilho que coloca a primeira palavra em maiúscula. (Existem outras palavras de gatilho possíveis)

O resultado seria:

Esta é a primeira postagem que escrevi no meio.

A desvantagem do método das palavras-gatilho é que é difícil ditar mais do que uma frase sem usar outra palavra-gatilho. O que me leva à segunda maneira de aumentar o comando primeiro com a entrada de dados primeiro:

Segundo, com compatibilidade do Talon Dragon , ele pode usar Dragon como um modo separado. Isso significa que você pode alternar do “modo Talon” para o “modo Dragão” (com essas frases), se quiser escrever um artigo, por exemplo, ou ditar mais sem usar outra palavra de gatilho.Usarei o “modo Talon” para fazer coisas com muitos comandos, como navegar na Internet, ou para trabalhar em um aplicativo que não seja um processador de texto, como o Photoshop.

Talon pode reconhecer voz sem o Dragon , mas se você tiver o Dragon instalado e executando, ele usará automaticamente o reconhecimento de voz mais preciso do Dragon .

algumas más notícias que preciso compartilhar : Dragon Professional Individual para Mac Vendas descontinuadas

Mas a boa notícia é que Dragon Professional Individual para Mac ainda pode ser comprado de fornecedores na Amazon e Ebay , enquanto durar o estoque. Também existem fornecedores menores com estoques de Dragon como a Nuance Software Store .

Na minha opinião, a única funcionalidade realmente ausente no Talon sozinho são os recursos de edição de documentos do tipo Dragon: menus de correção para nomes próprios, comandos para inserir antes / depois de voz- palavras especificadas, comandos para capitalizar palavras especificadas pela voz. No entanto, esses recursos podem ser integrados ao Talon com o código certo.

E mesmo sem o código certo, você pode usar o Talon opcional sistema de substituição do mouse para fazer os mesmos comandos . No entanto, vai demorar um pouco mais sem comandos.

2. Substituição do mouse

Se você deseja usar o viva-voz, é fundamental ser capaz de controlar o mouse de maneira confortável e fácil. Fazer isso reduz drasticamente o número de comandos que você precisa usar.

Existem muitos sistemas diferentes de substituição de mouse disponíveis atualmente. Descrevi cada um dos sistemas com os quais estou familiarizado abaixo:

  • Dragons MouseGrid: é difícil de descrever – você pode vê-lo em ação no vídeo abaixo :
Grade do mouse

O MouseGrid tem o problema de sendo particularmente lento.

  • Mouse de rastreamento da cabeça: uma câmera é usada para rastrear o movimento da cabeça de uma pessoa – que corresponde ao movimento do mouse.

Em minha experiência, os ratos de rastreamento de cabeça são precisos, mas desconfortáveis ​​de usar por longos períodos de tempo. Eles exigem que você mova sua cabeça em direções não naturais.

Para clicar, os mouses de rastreamento de cabeça dependem do tempo de permanência ou do uso de interruptores, como pedais ou teclas de atalho do teclado. Para o tempo de permanência, você deve manter a cabeça em uma posição não natural por um período de tempo antes de os cliques do mouse. Para mim, usar interruptores não é tão fácil de usar quanto o tempo de permanência.

  • Mouse de rastreamento ocular: uma câmera é usada para rastrear o movimento dos olhos – que corresponde ao movimento do mouse.

Embora eu não tenha usado apenas mouses de rastreamento ocular. Pelo que ouvi, os mouses de rastreamento ocular são bastante instáveis ​​e não podem ser usados ​​com a precisão comparável a um mouse de computador padrão.

Talon não depende de qualquer um dos métodos anteriores completamente . Talon usa uma fusão de sensores de rastreamento de olhos e cabeça para controlar o mouse. Este é o melhor método que usei para controlar um mouse.

O básico A ideia é usar o rastreamento ocular para fazer grandes saltos com o cursor e, em seguida, usar o rastreamento da cabeça para movimentos corretivos menores do cursor. Talon usa um Tobii 4C , tanto para rastreamento de olhos como de cabeça para fazer isso.

Plug-and-play Tobii 4C

Com o Talon , o Tobii 4C se torna um dispositivo plug-and-play para Mac. Se você visitar o site do Tobii , verá que ele foi projetado para PC. No entanto, quando o dispositivo é usado em um Mac com Talon , não há outros drivers ou qualquer outra coisa necessária para começar a usar este mouse exclusivo.

Usando o mouse de fusão de sensores do Talon (pico de reconhecimento de ruído)

Para pessoas sem controle de cabeça, o Talon também tem outra opção de mouse pronto para usar: o zoom do mouse. O zoom do mouse não requer rastreamento da cabeça. Você terá uma ideia melhor assistindo a este vídeo:

Zoom do mouse (reconhecimento de ruído)

3. Reconhecimento de ruído

Talon tem um sistema de reconhecimento de ruído que reconhecerá os ruídos de estalo para clicar e sibilar para clicar e arrastar ou selecionar texto.

Clique e arraste com o Talon

Embora não faça parte do reconhecimento de ruído, você também pode use os comandos clique ou arraste para fazer a mesma coisa no Talon .

Personalização & Preços

Especificação de personalização

Talon atualmente é compatível com Mac 10.11 El Capitan (mais antigo), 10.12 Sierra, 10.13 High Sierra e 10.14 Mojave (mais recente). Existem planos para expandir o Talon para Linux e Windows no futuro.

Antes de sair e encontrar uma cópia do Dragon v6.0, eu gostaria de provavelmente experimente primeiro o motor embutido do Talon . Veja se você gosta – se não funcionar bem o suficiente, então pense em comprar o Dragão.

O Tobii 4C é uma alternativa de mouse bastante barata em comparação com algumas outras opções, como rastreadores de cabeça baseados em hardware que podem custar mais de US $ 400.

Se você gosta de mim e acha o projeto Talon gratuito atraente, verifique o segundo capítulo desta série onde irei passar por:

  1. Instalando Talon;
  2. Encontrar um microfone (a menos que você já tenha um); e
  3. tutoriais básicos com Talon

(

Torne seu Mac viva-voz: Parte 2

Instalando o Talon. Primeiros passos.

medium.com

)