Rendi il tuo Mac a mani libere: parte 1

(27 novembre 2018)

Riconoscimento vocale + con Talon .

Guarda mamma, niente mani!

AGGIORNAMENTO 14/1/21

Ciao! Se visiti questa pagina per la prima volta, il mio consiglio è di saltare al mio post di aggiornamento Talon 2021. Questo post è probabilmente una perdita di tempo.

(

Rendi il tuo * Computer * a mani libere

(è più facile che mai!)

medium.com

)

Cosè Talon?

Talon è un software gratuito, in fase di sviluppo attivo , che ha lobiettivo di rendere le operazioni del tuo computer libere.

Questo viene attualmente fatto con luso di Talon di tre diversi input:

  1. Riconoscimento vocale
  2. Sostituzione mouse per tracciamento occhi / testa
  3. Riconoscimento rumore

Per dare unidea di cosa può fare Talon, descriverò brevemente descrivere ogni input.

  1. Il riconoscimento vocale ti consente di digitare qualsiasi cosa nel tuo ambiente desktop.
  2. La sostituzione del mouse ti consente di controllare un mouse con rilevamento dellocchio per il cursore di grandi dimensioni salti e tracciamento della testa per piccole correzioni del cursore. Unaltra configurazione dellinput di sostituzione del mouse è lo zoom del mouse che si basa solo sulleye tracking.
  3. Il riconoscimento del rumore ti consente di fare clic e trascinare con rumori di scoppio e sibilo.

Tutti questi input utilizzano “file di codice Python” o script scritti nel linguaggio di programmazione Python per funzionare. In base alla progettazione, questi script sono facilmente modificabili dallutente o dalla comunità di utenti di Talon . Gli script relativi a Talon sono archiviati nella cartella dellutente allinterno dellapplicazione Talon . A seconda di quali script si trovano nella cartella dellutente e di come / se sono stati modificati, Talon può assumere funzionalità diverse o del tutto nuove.

Molti script sono condivisi dal community e sono disponibili sulla piattaforma Github (vedere il repository di codice talon\_community ). Talon sul mio Mac è un amalgama di script condivisi con lievi modifiche ( la mia raccolta di script ). Ti mostrerò come apportare queste piccole modifiche in un post successivo di questa serie.

Quindi torniamo a ciascuno dei tre input.

1. Riconoscimento vocale

Prima di parlare del metodo di riconoscimento vocale Talon , vorrei iniziare con il quadro generale del riconoscimento vocale.

Esistono due principali criteri di dettatura utilizzato dai motori di riconoscimento vocale:

  • primo criterio di immissione dati
  • comando primo criterio

Il criterio con cui la maggior parte delle persone ha familiarità è la prima politica di immissione dei dati. In questo criterio, verrà inserita una frase pronunciata, a meno che non venga utilizzata una parola o una frase speciale (una parola trigger) per eseguire un comando. Questa è la politica utilizzata da Dragon NaturallySpeaking .

Lo svantaggio è che il motore vocale deve distinguere tra ciò che deve essere testo e ciò che deve essere un comando. Dragon fa affidamento sul contesto per fare questa distinzione, che è inaffidabile.

Linaffidabilità porta molte persone a creare parole inventate per i nomi dei comandi, per evitare qualsiasi malinteso del motore vocale.

Il motore di riconoscimento vocale di Talon ha adottato una politica di dettatura del comando dagli script utente che sono stati condivisi finora . Un criterio di comando prima fa in modo che le frasi pronunciate siano interpretate come comandi se vengono riconosciute. Questo ti dà la libertà di usare parole o frasi descrittive per denominare i comandi.

In Talon è possibile aumentare la policy command first con la policy first-entry data, per sfruttare i punti di forza di entrambi gli approcci. Ciò è possibile in due modi:

Primo, utilizzando una parola chiave. Le parole trigger ti consentono di dettare facilmente una riga di testo in Talon.

Ad esempio, diciamo: “frase questo è il primo post che ho scritto su un punto medio. ” La frase qui è la parola chiave che mette in maiuscolo la prima parola. (Ci sono altre possibili parole trigger)

Loutput sarebbe quindi:

Questo è il primo post che abbia mai scritto su un supporto.

Lo svantaggio del metodo della parola chiave è che è difficile eseguire una dettatura che sia più lunga di una frase senza utilizzare unaltra parola chiave. Il che mi porta al secondo modo per aumentare il comando prima con limmissione dei dati:

Secondo, con la compatibilità di Talon Dragon , può usare Dragon come modalità separata. Ciò significa che puoi passare dalla “modalità Talon” alla “modalità Drago” (con quelle frasi), se vuoi scrivere un articolo, ad esempio, o eseguire dettature più lunghe senza usare unaltra parola chiave.Userò la “modalità Talon” per eseguire operazioni pesanti come la navigazione in Internet o per lavorare in unapplicazione che non è un elaboratore di testi, come Photoshop.

Talon può riconoscere la voce senza Dragon , ma se Dragon è installato ed è in esecuzione, utilizzerà automaticamente il riconoscimento vocale più accurato di Dragon .

Ci sono cattive notizie che devo condividere : Dragon Professional Individual per Mac Vendite interrotte

Ma la buona notizia è che Dragon Professional Individual per Mac è ancora acquistabile dai fornitori su Amazon e Ebay , fino a esaurimento scorte. Esistono anche fornitori più piccoli con stock di Dragon come Nuance Software Store .

Secondo me, lunica funzionalità veramente mancante in Talon da sola sono le capacità di modifica dei documenti simili a quelle di Dragon: menu di correzione per i nomi propri, comandi per inserire la voce prima / dopo parole specificate, comandi per scrivere in maiuscolo le parole specificate dalla voce. Tuttavia, queste funzionalità potrebbero essere integrate in Talon con il codice giusto.

E anche senza il codice giusto, puoi utilizzare Talon sistema di sostituzione del mouse opzionale per eseguire gli stessi comandi . Tuttavia, ci vorrà un po più di tempo senza comandi.

2. Sostituzione del mouse

Se vuoi usare le mani libere, è fondamentale poter controllare il mouse comodamente e facilmente. In questo modo si riduce drasticamente il numero di comandi da utilizzare.

Ci sono molti diversi sistemi di sostituzione del mouse attualmente disponibili. Di seguito ho descritto ciascuno dei sistemi che conosco:

  • Dragons MouseGrid: è difficile da descrivere, puoi vederlo in azione nel video qui sotto :
Mouse Grid

MouseGrid ha il problema di essendo particolarmente lento.

  • Mouse con rilevamento della testa: una telecamera viene utilizzata per monitorare il movimento della testa di una persona, che corrisponde al movimento del mouse.

Nella mia esperienza, i mouse con rilevamento della testa sono precisi ma scomodi da usare per lunghi periodi di tempo. Richiedono che muovi la testa in direzioni innaturali.

Per fare clic, i mouse con rilevamento della testa si basano sul tempo di sosta o sullutilizzo di interruttori, come pedali o tasti di scelta rapida della tastiera. Per il tempo di permanenza, devi tenere la testa in una posizione innaturale per un periodo di tempo prima che il mouse faccia clic. Per me, lutilizzo degli interruttori non è così facile come il tempo di sosta.

  • Mouse con tracciamento oculare: viene utilizzata una fotocamera per tracciare il movimento degli occhi, che corrisponde al movimento del mouse.

Anche se non ho usato esclusivamente mouse per il monitoraggio degli occhi. Da quello che ho sentito, i mouse che tracciano gli occhi sono piuttosto nervosi e non possono essere utilizzati con la precisione paragonabile a un mouse per computer standard.

Talon non si basa su uno dei metodi precedenti completamente . Talon utilizza una fusione di sensori per tracciamento oculare e tracciamento della testa per controllare il mouse. Questo è senza dubbio il metodo migliore che ho usato per controllare un mouse.

La base lidea è che si utilizzi leye-tracking per fare grandi salti con il cursore e quindi si usi lhead tracking per piccoli movimenti correttivi del cursore. Talon utilizza un Tobii 4C , sia per il tracciamento degli occhi che per il tracciamento della testa per farlo.

Plug-and-play Tobii 4C

Con Talon , Tobii 4C diventa un dispositivo plug-and-play per Mac. Se visiti il ​​sito web Tobii vedrai che è progettato per PC. Tuttavia, quando il dispositivo viene utilizzato su un Mac con Talon non sono necessari altri driver o altro per iniziare a utilizzare questo mouse unico.

Utilizzo del mouse sensor fusion di Talon (picco di riconoscimento del rumore)

Per le persone senza controllo della testa, Talon ha unaltra opzione di mouse pronta per luso: il mouse zoom. Il mouse zoom non richiede affatto il rilevamento della testa. Ti farai unidea migliore guardando questo video:

Mouse con zoom (picco di riconoscimento del rumore)

3. Riconoscimento del rumore

Talon ha un sistema di riconoscimento del rumore che riconoscerà i rumori dello scoppio per fare clic e del sibilo per fare clic e trascinare o selezionare il testo.

Fai clic e trascina con Talon

Anche se non fa parte del riconoscimento del rumore, potresti anche usa i comandi clicca o trascina per fare la stessa cosa in Talon .

Personalizzazione & Prezzo

Specifica di personalizzazione

Talon attualmente è compatibile con Mac 10.11 El Capitan (il più vecchio), 10.12 Sierra, 10.13 High Sierra e 10.14 Mojave (il più recente). È in programma di espandere Talon a Linux e Windows in futuro.

Prima di uscire e trovare una copia di Dragon v6.0, lo farei probabilmente prova prima il motore integrato di Talon . Vedi se ti piace: se non funziona abbastanza bene, pensa di acquistare Dragon.

Tobii 4C è unalternativa al mouse abbastanza economica rispetto ad altre opzioni come gli head tracker basati su hardware che possono funzionare per $ 400+.

Se sei come me e trovi convincente il progetto gratuito Talon , dai unocchiata al seconda puntata di questa serie in cui esaminerò:

  1. Installazione di Talon;
  2. Trovare un microfono (a meno che non ne abbiate già uno); e
  3. Tutorial di base con Talon

(

Rendi il tuo Mac a mani libere: parte 2

Installazione di Talon. Guida introduttiva.

medium.com

)