Gjør Mac-en din håndfri: Part 1

(27. nov. 2018)

Stemmegjenkjenning + med Talon .

Se Ma, ingen hender!

OPPDATERING 1/14/21

Hei! Hvis du besøker denne siden for første gang, vil mitt råd være å hoppe til Talon-oppdateringsinnlegget mitt i 2021. Dette innlegget er sannsynligvis bortkastet tid.

(

Gjør din * datamaskin * håndfri

(det er enklere enn noensinne!)

medium.com

)

Hva er Talon?

Talon er en gratis programvare, under aktiv utvikling , som har som mål å gjøre datamaskinens operasjoner håndfri.

Dette gjøres for øyeblikket med Talons bruk av tre forskjellige innganger:

  1. Talegjenkjenning
  2. Øy / hode sporing av museskift
  3. Støygjenkjenning

For å gi en ide om hva Talon kan gjøre, vil jeg kort beskriv hver inngang.

  1. Talegjenkjenning lar deg skrive over alt i skrivebordsmiljøet ditt.
  2. Muserstatningen lar deg kontrollere en mus med øyesporing for stor markør hopp og hodesporing for små markørkorreksjoner. En annen konfigurasjon av inngangen til museskift er zoommusen som bare er avhengig av øyesporing.
  3. Støygjenkjenning lar deg klikke og dra med spratt og hveselyder.

Alle disse inngangene bruker “Python-kodefiler” eller skript skrevet i Python-programmeringsspråket for å fungere. Disse designene kan enkelt modifiseres av brukeren eller fellesskapet til Talon brukere. Talon-relaterte skript lagres i brukermappen i Talon applikasjonen. Avhengig av hvilke skript som er i brukermappen og hvordan / hvis de er endret, kan Talon ta på seg forskjellige eller helt nye funksjoner.

Mange skript deles av fellesskap og blir gjort tilgjengelig på Github-plattformen (se talon\_community kodelageret). Talon på Mac-en min er en sammenslåing av delte skript med små modifikasjoner ( min skriptsamling ). Jeg viser deg hvordan du lager disse små modifikasjonene i et senere innlegg i denne serien.

Så tilbake til hver av de tre inngangene.

1. Talegjenkjenning

Før jeg snakker om Talons metode for talegjenkjenning – la meg starte med det store bildet av talegjenkjenning.

Det er to store dikteringspolitikker brukt av talegjenkjenningsmotorer:

  • datainnføring første policy
  • command first policy

Politikken de fleste er kjent med er den første policyen for dataregistrering. I denne policyen vil en talt frase bli skrevet inn, med mindre et spesielt ord eller en frase (et trigger-ord) brukes til å utføre en kommando. Dette er policyen som brukes av Dragon NaturallySpeaking .

Ulempen er at talemotoren må skille mellom det som er ment å være tekst og det som er ment å være en kommando. Dragon er avhengig av kontekst for å gjøre dette skillet, som er upålitelig.

Upåliteligheten fører til at mange mennesker lager sminkeord for kommandonavn, for å forhindre misforståelser i talemotoren.

Talons talemotor har tatt på seg en kommando for første dikteringspolitikk fra brukerskriptene som er delt så langt . En kommandopolitikk gjør det slik at talte setninger tolkes som kommandoer hvis de blir gjenkjent. Dette gir deg friheten til å bruke beskrivende ord eller uttrykk for å navngi kommandoer.

I Talon er det mulig å øke kommandoprinsippolitikken med datainntastingspolicyen, for å utnytte styrkene til begge tilnærminger. Dette gjøres på to måter:

Først ved å bruke et trigger-ord. Trigger-ord lar deg enkelt diktere en tekstlinje i Talon.

Som et eksempel, la oss si: “setning dette er det første innlegget jeg noen gang skrev på middels prikk. ” Setning her er utløserordet som bruker det første ordet. (Det er andre mulige utløserord)

Resultatet vil da være:

Dette er det første innlegget jeg noen gang skrev på medium.

Ulempen med trigger-word-metoden er at det er vanskelig å gjøre en diktat som er lengre enn en setning uten å bruke et annet trigger-ord. Noe som fører meg til den andre måten å øke kommandoen først med datainnføring først:

For det andre, med Talons Dragon kompatibilitet, kan den bruke Dragon som en egen modus. Dette betyr at du kan bytte fra “Talon-modus” til “Dragon-modus” (med disse setningene), hvis du vil skrive et papir, som et eksempel, eller gjøre noe lenger diktering uten å bruke et annet utløsningsord.Jeg vil bruke «Talon-modus» til å gjøre kommandotunge ting som å surfe på nettet, eller å jobbe i et program som ikke er en tekstbehandler, som Photoshop.

Talon kan gjenkjenne tale uten Dragon , men hvis du har Dragon installert og kjører, vil den automatisk bruke Dragon mer nøyaktig talegjenkjenning.

Det er noen dårlige nyheter jeg trenger å dele : Dragon Professional Individual for Mac Salg avviklet

Men den gode nyheten er at Dragon Professional Individual for Mac fortsatt kan kjøpes fra leverandører på Amazon og Ebay , så lenge rekvisita varer. Det er også mindre leverandører med aksjer av Dragon som Nuance Software Store .

Etter min mening er den eneste funksjonaliteten som virkelig mangler i Talon alene Dragon-lignende dokumentredigeringsfunksjoner: korreksjonsmenyer for substantiv, kommandoer for å sette inn før / etter tale- spesifiserte ord, kommandoer for bruk av store bokstaver. Imidlertid kan disse mulighetene bygges inn i Talon med riktig kode.

Og selv uten riktig kode, kan du bruke Talons valgfritt museskiftesystem for å gjøre de samme kommandoene . Det vil imidlertid ta litt lengre tid uten kommandoer.

2. Utskifting av mus

Hvis du vil gå håndfri, er det viktig å kunne kontrollere musen komfortabelt og enkelt. Å gjøre dette reduserer antall kommandoer du trenger å bruke drastisk.

Det er mange forskjellige erstatningssystemer for øyeblikket tilgjengelige. Jeg har beskrevet hvert av systemene jeg er kjent med nedenfor:

  • Dragons MouseGrid: det er vanskelig å beskrive – du kan se det i aksjon i videoen nedenfor :
Musenett

MouseGrid har problemet med å være spesielt treg.

  • Hodesporingsmus: et kamera brukes til å spore bevegelsen til en persons hode – noe som tilsvarer en musebevegelse.

Etter min erfaring er hodesporingsmus nøyaktige, men ubehagelige å bruke i lengre perioder. De krever at du beveger hodet i unaturlige retninger.

Når du klikker, stoler hodesporingsmus på enten oppholdstid eller bruk av brytere, som fotpedaler eller hurtigtaster. For oppholdstid må du holde hodet i en unaturlig posisjon i en periode før musen klikker. For meg er bruk av brytere ikke like lett å bruke som oppholdstid.

  • Øyesporingsmus: et kamera brukes til å spore øyebevegelser – som tilsvarer musebevegelser.

Selv om jeg ikke bare har brukt øyesporende mus. Etter det jeg har hørt, er øysporende mus ganske nervøse og kan ikke brukes med den presisjonen som kan sammenlignes med en vanlig datamus.

Talon stoler ikke på noen av de tidligere metodene helt . Talon bruker en eye-tracking og head-tracking sensorfusjon for å kontrollere musen. Dette er uten tvil den beste metoden jeg har brukt for å kontrollere en mus.

Det grunnleggende ideen er at du bruker øyesporing for å gjøre store hopp med markøren, og deretter bruke hodesporing for mindre korrigerende bevegelser av markøren. Talon bruker en Tobii 4C , for både eye-tracking og head-tracking for å gjøre dette.

Plug-and-play Tobii 4C

Med Talon blir Tobii 4C en plug-and-play-enhet for Mac. Hvis du besøker nettstedet Tobii ser du at det er designet for PC. Når enheten brukes på en Mac med Talon , er det imidlertid ingen andre drivere eller noe annet som trengs for å begynne å bruke denne unike musen.

Bruk av Talons sensor-fusjonsmus (støygjenkjenning sneak peak)

For personer uten hodekontroll har Talon også et annet brukervennlig musemulighetsalternativ: zoommusen. Zoommusen krever ikke hodesporing i det hele tatt. Du får en bedre ide fra å se denne videoen:

Zoom mus (støygjenkjenning sneak peak)

3. Støygjenkjenning

Talon har et støygjenkjenningssystem som vil gjenkjenne lyden av å poppe for å klikke og hvise for å klikke og dra eller velge tekst.

Klikk og dra med Talon

Selv om du ikke er en del av støygjenkjenning, kan du også bruk kommandoer, klikk eller dra for å gjøre det samme i Talon .

Tilpasning & Priser

Tilpasningsspesifikasjon

Talon er for øyeblikket kompatibel med Mac 10.11 El Capitan (eldst), 10.12 Sierra, 10.13 High Sierra og 10.14 Mojave (nyeste). Det er planer om å utvide Talon til Linux og Windows i fremtiden.

Før jeg går ut og finner en kopi av Dragon v6.0, vil jeg prøv sannsynligvis først Talons innebygde motor. Se om du liker det – hvis det ikke fungerer bra nok, så tenk å kjøpe Dragon.

Tobii 4C er et ganske billig musealternativ i forhold til noen andre alternativer, som maskinvarebaserte head trackers som kan løpe for $ 400+.

Hvis du er som meg og finner det gratis Talon prosjektet overbevisende, sjekk ut andre delen av denne serien der jeg skal gå over:

  1. Installere Talon ;
  2. Finne en mikrofon (med mindre du allerede har en); og
  3. Grunnleggende opplæringsprogrammer med Talon

(

Gjør din Mac håndfri: Del 2

Installere Talon. Komme i gang.

medium.com

)