Gör din Mac handsfree: Part 1

(27 nov 2018)

Röstigenkänning + med Talon .

Se Ma, inga händer!

UPPDATERING 14/1/21

Hej! Om du besöker den här sidan för första gången skulle mitt råd vara att hoppa till mitt uppdateringsinlägg för Talon 2021. Det här inlägget är troligtvis slöseri med din tid.

(

Gör din * dator * handsfree

(det är lättare än någonsin!)

medium.com

)

Vad är Talon?

Talon är en fri programvara, under aktiv utveckling , som har som mål att göra din dators verksamhet handsfree.

Detta görs för närvarande med Talons användning av tre olika ingångar:

  1. Taligenkänning
  2. Ögon- / huvudspårning av musbyte
  3. Bullerigenkänning

För att ge en uppfattning om vad Talon kan göra ska jag kort beskriv varje ingång.

  1. Taligenkänning låter dig skriva över allt i din skrivbordsmiljö.
  2. Med musersättningen kan du styra en mus med ögonspårning för stor markör. hopp och head-tracking för små markörkorrigeringar. En annan konfiguration av musersättningsingången är zoommusen som bara är beroende av ögonspårning.
  3. Bullerigenkänning låter dig klicka och dra med poppande och väsande ljud.

Alla dessa ingångar använder ”Python-kodfiler” eller skript skrivna i Python-programmeringsspråket för att fungera. Enligt design är dessa skript lätt att ändra av användaren eller gruppen av Talon användare. Talon-relaterade skript lagras i användarmappen i programmet Talon . Beroende på vilka skript som finns i användarmappen och hur / om de har ändrats kan Talon ta olika eller helt nya funktioner.

Många skript delas av community och görs tillgängliga på Github-plattformen (se talon\_community kodförvaret). Talon på min Mac är en sammanslagning av delade skript med små förändringar ( min skriptsamling ). Jag visar dig hur du gör dessa små modifieringar i ett senare inlägg i denna serie.

Så tillbaka till var och en av de tre ingångarna.

1. Taligenkänning

Innan jag pratar om Talons metod för taligenkänning – låt mig börja med den stora bilden av taligenkänning.

Det finns två viktiga dikteringspolicyer används av taligenkänningsmotorer:

  • datainmatning första policy
  • kommando första policy

Den policy som de flesta känner till är datainmatningens första policy. I denna policy kommer en talad fras att skrivas in, såvida inte ett specialord eller en fras (ett trigger-ord) används för att utföra ett kommando. Detta är den policy som används av Dragon NaturallySpeaking .

Nackdelen är att talmotorn måste skilja mellan vad som är tänkt att vara text och vad som är tänkt att vara ett kommando. Dragon förlitar sig på sammanhang för att göra denna åtskillnad, vilket är opålitligt.

Otillförlitligheten leder till att många människor skapar sminkade ord för kommandonamn för att förhindra missförstånd i talmotorer. / p>

Talons talmotor har tagit på sig ett kommando för första dikteringspolicy från användarskript som har delats hittills . En kommandoprincip gör det så att talade fraser tolkas som kommandon om de känns igen. Detta ger dig friheten att använda beskrivande ord eller fraser för att namnge kommandon.

I Talon är det möjligt att utöka kommandot första policy med datainmatning första policy, att utnyttja styrkan i båda tillvägagångssätten. Detta görs på två sätt:

Först med hjälp av ett trigger-ord. Med utlösningsord kan du enkelt diktera en textrad i Talon.

Som ett exempel, låt oss säga: ”mening detta är det första inlägget jag någonsin skrev på mellanstora punkter. ” Mening här är utlösarordet som kapitaliserar det första ordet. (Det finns andra möjliga utlösande ord)

Resultatet skulle då vara:

Detta är det första inlägget jag någonsin skrev på medium.

Nackdelen med trigger-word-metoden är att det är svårt att göra en diktat som är längre än en mening utan att använda ett annat trigger-ord. Vilket leder mig till det andra sättet att förstärka kommandot först med datainmatning först:

För det andra, med Talons Dragon kompatibilitet, kan det använda Dragon som ett separat läge. Detta innebär att du kan växla från ”Talon-läge” till ”Dragon-läge” (med dessa fraser), om du vill skriva ett papper, som ett exempel, eller göra längre diktering utan att använda ett annat utlösningsord.Jag kommer att använda “Talon-läge” för att göra kommandotunga saker som att surfa på internet, eller för att arbeta i en applikation som inte är en ordbehandlare, som Photoshop.

Talon kan känna igen tal utan Dragon , men om du har Dragon installerat och kör det använder den automatiskt Dragons mer exakt taligenkänning.

Det finns några dåliga nyheter jag behöver dela : Dragon Professional Individual för Mac Försäljningen avbruten

Men den goda nyheten är att Dragon Professional Individual för Mac fortfarande kan köpas från leverantörer på Amazon och Ebay , så länge lagret räcker. Det finns också mindre leverantörer med lager av Dragon som Nuance Software Store .

Enligt min mening saknas den enda funktionaliteten som verkligen saknas i Talon enbart Dragon-liknande dokumentredigeringsfunktioner: korrigeringsmenyer för egennamn, kommandon för att infoga före / efter röst- angivna ord, kommandon för att aktivera röstspecificerade ord. Dessa funktioner kan dock byggas in i Talon med rätt kod.

Och även utan rätt kod kan du använda Talons valfritt musersättningssystem för att göra samma kommandon . Det tar dock lite längre tid utan kommandon.

2. Musbyte

Om du vill gå handsfree är det nyckeln att kunna kontrollera musen bekvämt och enkelt. Genom att göra detta minskar du antalet kommandon drastiskt.

Det finns för närvarande många olika system för musersättning. Jag har beskrivit vart och ett av de system jag känner till nedan:

  • Dragons MouseGrid: det är svårt att beskriva – du kan se det i handling i videon nedan :
Musgaller

MouseGrid har problemet med är särskilt långsam.

  • Head-tracking mus: en kamera används för att spåra en persons huvudrörelse – vilket motsvarar en musrörelse.

Enligt min erfarenhet är head-tracking-möss exakta men obekväma att använda under längre perioder. De kräver att du flyttar huvudet i onaturliga riktningar.

För att klicka, förlitar sig huvudspårande möss på antingen uppehållstid eller med hjälp av omkopplare, som fotpedaler eller snabbtangenter. För uppehållstid måste du hålla huvudet i en onaturlig position under en tid innan musen klickar. För mig är det inte lika lätt att använda omkopplare som uppehållstid.

  • Ögospårningsmus: en kamera används för att spåra ögonrörelser – vilket motsvarar en musrörelse.

Även om jag inte enbart har använt ögonspårande möss. Enligt vad jag har hört är ögonspårande möss ganska nervösa och kan inte användas med den precision som kan jämföras med en vanlig datormus.

Talon litar inte på någon av de tidigare metoderna helt . Talon använder en ögonspårning och head-tracking sensorfusion för att kontrollera musen. Det här är den bästa metoden jag har använt för att kontrollera en mus.

Grundläggande tanken är att du använder ögonspårning för att göra stora hopp med markören och sedan använder huvudspårning för mindre korrigerande rörelser av markören. Talon använder en Tobii 4C , för både ögonspårning och head-tracking för att göra detta.

Plug-and-play Tobii 4C

Med Talon blir Tobii 4C en plug-and-play-enhet för Mac. Om du besöker webbplatsen Tobii ser du att den är utformad för PC. När enheten används på en Mac med Talon finns det dock inga andra drivrutiner eller något annat som behövs för att börja använda den här unika musen.

Med Talons sensor-fusionsmus (brusigenkänning sneak peak)

För personer utan huvudkontroll har Talon också ett annat färdigt att använda musalternativ: zoommusen. Zoommusen kräver inte huvudspårning alls. Du får en bättre uppfattning om du tittar på den här videon:

Zoommus (brusigenkänning sneak peak)

3. Bullerigenkänning

Talon har ett brusigenkänningssystem som känner igen ljudet av att poppa för att klicka och väsande för att klicka och dra eller välja text.

Klicka och dra med Talon

Även om du inte är en del av brusigenkänning kan du också använd kommandon klicka eller dra för att göra samma sak i Talon .

Anpassning & Prissättning

Anpassningsspecifikation

Talon är för närvarande kompatibel med Mac 10.11 El Capitan (äldsta), 10.12 Sierra, 10.13 High Sierra och 10.14 Mojave (nyaste). Det finns planer på att utöka Talon till Linux och Windows i framtiden.

Innan jag går ut och hittar en kopia av Dragon v6.0 skulle jag prova förmodligen Talons inbyggda motor först. Se om du gillar det – om det inte fungerar tillräckligt bra, tänk då på att köpa Dragon.

Tobii 4C är ett ganska billigt mousing-alternativ jämfört med några andra alternativ som hårdvarubaserade headspårare som kan kosta $ 400+.

Om du är som jag och hittar det kostnadsfria Talon -projektet övertygande, kolla in andra delen av denna serie där jag ska gå igenom:

  1. Installera Talon ;
  2. Hitta en mikrofon (om du inte redan har en); och
  3. Grundläggande handledning med Talon

(

Gör din Mac handsfree: Del 2

Installera Talon. Komma igång.

medium.com

)