Maak je Mac handsfree: deel 1

(27 november 2018)

Spraakherkenning + met Talon .

Kijk ma, geen handen!

UPDATE 14-01-21

Hallo! Als je deze pagina voor de eerste keer bezoekt, zou mijn advies zijn om naar mijn 2021 Talon-updatepost te gaan. Dit bericht is waarschijnlijk een verspilling van je tijd.

(

Maak je * Computer * handsfree

(het is gemakkelijker dan ooit!)

medium.com

)

Wat is Talon?

Talon is gratis software, in actieve ontwikkeling , dat als doel heeft om de werking van uw computer handsfree te maken.

Dit wordt momenteel gedaan met het gebruik van Talon van drie verschillende invoerbronnen:

  1. Spraakherkenning
  2. Vervanging van muis voor het volgen van ogen / hoofd
  3. Ruisherkenning

Om een ​​idee te geven van wat Talon kan doen, zal ik beschrijf elke invoer.

  1. Met spraakherkenning kun je overal in je desktopomgeving typen.
  2. Met de muisvervanging kun je een muis besturen met eye-tracking voor grote cursor sprongen en head-tracking voor kleine cursorcorrecties. Een andere configuratie van de muisvervangende invoer is de zoommuis die alleen afhankelijk is van eye-tracking.
  3. Met ruisherkenning kunt u klikken en slepen met ploffende en sissende geluiden.

Al deze invoer werkt met “Python-codebestanden” of scripts die zijn geschreven in de programmeertaal Python. Door hun ontwerp zijn deze scripts gemakkelijk aan te passen door de gebruiker of de gemeenschap van Talon gebruikers. Talon-gerelateerde scripts worden opgeslagen in de gebruikersmap in de Talon -toepassing. Afhankelijk van welke scripts er in de gebruikersmap staan ​​en hoe / of ze zijn gewijzigd, kan Talon verschillende of geheel nieuwe mogelijkheden aannemen.

Veel scripts worden gedeeld door de community en worden beschikbaar gemaakt op het Github-platform (zie de coderepository talon\_community ). De Talon op mijn Mac is een amalgaam van gedeelde scripts met kleine aanpassingen ( mijn verzameling scripts ). Ik zal je laten zien hoe je deze kleine aanpassingen kunt maken in een latere post van deze serie.

Dus terug naar elk van de drie inputs.

1. Spraakherkenning

Voordat ik het heb over de Talons methode van spraakherkenning – laat ik beginnen met het grote plaatje van spraakherkenning.

Er zijn twee belangrijke dicteerregels gebruikt door spraakherkenningsengines:

  • data-entry first policy
  • command first policy

Het beleid waar de meeste mensen bekend mee zijn, is het data-entry first-beleid. In dit beleid wordt een gesproken zin ingevoerd, tenzij een speciaal woord of een speciale zin (een triggerwoord) wordt gebruikt om een ​​commando uit te voeren. Dit is het beleid dat wordt gebruikt door Dragon NaturallySpeaking .

Het nadeel is dat de spraak-engine onderscheid moet maken tussen wat bedoeld is als tekst en wat als commando bedoeld is. Dragon vertrouwt op context om dit onderscheid te maken, wat onbetrouwbaar is.

De onbetrouwbaarheid leidt ertoe dat veel mensen zelf verzonnen woorden voor commandonamen maken om misverstanden in de spraak-engine te voorkomen.

Talons spraak-engine heeft een commando-eerste dicteerbeleid overgenomen van de gebruikersscripts die tot nu toe . Een commando eerst-beleid zorgt ervoor dat gesproken woordgroepen worden geïnterpreteerd als commandos als ze worden herkend. Dit geeft je de vrijheid om beschrijvende woorden of zinsdelen te gebruiken om commandos een naam te geven.

In Talon is het mogelijk om het command first-beleid uit te breiden met het data-entry first-beleid, om gebruik te maken van de sterke punten van beide benaderingen. Dit wordt op twee manieren gedaan:

Ten eerste door een triggerwoord te gebruiken. Trigger-woorden stellen je in staat om gemakkelijk een regel tekst te dicteren in Talon.

Laten we als voorbeeld zeggen: “zin dit is de eerste post die ik ooit op medium punt heb geschreven. ” De zin hier is het triggerwoord dat het eerste woord met een hoofdletter begint. (Er zijn andere mogelijke triggerwoorden)

De output zou dan zijn:

Dit is de eerste post die ik ooit op medium schreef.

Het nadeel van de trigger-word-methode is dat het moeilijk is om een ​​dictaat uit te voeren dat langer is dan een zin zonder een ander trigger-woord te gebruiken. Dat brengt me bij de tweede manier om het commando eerst uit te breiden met eerst gegevensinvoer:

Ten tweede, met Talons Dragon compatibiliteit, kan het Dragon als een aparte modus. Dit betekent dat u kunt overschakelen van “Talon-modus” naar “Dragon-modus” (met die zinnen), als u bijvoorbeeld een paper wilt schrijven, of langer kunt dicteren zonder een ander triggerwoord te gebruiken.Ik zal de “Klauwmodus” gebruiken om opdrachten te maken die veel opdrachten geven, zoals surfen op internet, of om te werken in een toepassing die geen tekstverwerker is, zoals Photoshop.

Klauw kan spraak herkennen zonder Dragon , maar als u Dragon hebt geïnstalleerd en uitgevoerd, wordt automatisch de nauwkeurigere spraakherkenning van Dragon gebruikt.

Er is slecht nieuws dat ik moet delen : Dragon Professional Individual voor Mac verkoop stopgezet

Maar het goede nieuws is dat Dragon Professional Individual voor Mac nog steeds te koop is bij leveranciers op Amazon en Ebay , zolang de voorraad strekt. Er zijn ook kleinere leveranciers met Dragon voorraden, zoals de Nuance Software Store .

Naar mijn mening is de enige functionaliteit die echt ontbreekt in Talon alleen Dragon-achtige documentbewerkingsmogelijkheden: correctiemenus voor eigennamen, opdrachten voor het invoegen voor / na stem- gespecificeerde woorden, commandos voor het hoofdlettergebruik van spraakspecifieke woorden. Deze mogelijkheden kunnen echter met de juiste code in Talon worden ingebouwd.

En zelfs zonder de juiste code kunt u Talons optioneel muisvervangingssysteem om dezelfde opdrachten uit te voeren. Het duurt echter iets langer zonder commandos.

2. Muis vervangen

Als u handsfree wilt gaan, is het belangrijk dat u de muis comfortabel en gemakkelijk kunt bedienen. Hierdoor wordt het aantal commandos dat u moet gebruiken drastisch verminderd.

Er zijn momenteel veel verschillende muisvervangingssystemen beschikbaar. Ik heb hieronder elk van de systemen beschreven die ik ken:

  • Dragons MouseGrid: het is moeilijk te beschrijven – je kunt het in actie zien in de onderstaande video :
Mouse Grid

MouseGrid heeft het probleem van is bijzonder traag.

  • Hoofd-tracking muis: een camera wordt gebruikt om de beweging van iemands hoofd te volgen – wat overeenkomt met een muisbeweging.

Mijn ervaring is dat muizen die het hoofd volgen nauwkeurig zijn, maar ongemakkelijk om gedurende langere tijd te gebruiken. Ze vereisen dat u uw hoofd in onnatuurlijke richtingen beweegt.

Voor klikken vertrouwen muizen die het hoofd volgen op de verblijftijd of op het gebruik van schakelaars, zoals voetpedalen of sneltoetsen op het toetsenbord. Voor dwell-time moet je je hoofd een tijdje in een onnatuurlijke positie houden voordat de muis klikt. Voor mij zijn schakelaars niet zo eenvoudig te gebruiken als dwell-tijd.

  • Eye-tracking-muis: een camera wordt gebruikt om oogbewegingen te volgen – wat overeenkomt met een muisbeweging.

Hoewel ik niet alleen eye-tracking-muizen heb gebruikt. Van wat ik heb gehoord, zijn eye-tracking-muizen tamelijk zenuwachtig en kunnen ze niet worden gebruikt met de precisie die vergelijkbaar is met een standaard computermuis.

Talon vertrouwt niet op een van de voorgaande methoden volledig . Talon gebruikt een eye-tracking en head-tracking sensorfusie om de muis te besturen. Dit is zonder meer de beste methode die ik heb gebruikt om een ​​muis te besturen.

De basis idee is dat je eye-tracking gebruikt om grote sprongen te maken met de cursor en vervolgens head-tracking gebruikt voor kleinere corrigerende bewegingen van de cursor. Talon gebruikt hiervoor een Tobii 4C , voor zowel eye-tracking als head-tracking.

Plug-and-play Tobii 4C

Met Talon wordt de Tobii 4C een plug-and-play-apparaat voor Mac. Als u de Tobii -website bezoekt, ziet u dat deze is ontworpen voor pc. Als het apparaat echter wordt gebruikt op een Mac met Talon , zijn er geen andere stuurprogrammas of iets anders nodig om deze unieke muis te gebruiken.

Met behulp van Talons sensorfusiemuis (geluidherkenning sneak peak)

Voor mensen zonder hoofdcontrole heeft Talon ook nog een kant-en-klare muisoptie: de zoommuis. De zoommuis heeft helemaal geen head-tracking nodig. U krijgt een beter idee door deze video te bekijken:

Zoommuis (geluidherkenning sneak peak)

3. Ruisherkenning

Talon heeft een ruisherkenningssysteem dat de geluiden herkent van knallen bij klikken en gesis bij klikken en slepen of het selecteren van tekst.

Klikken en slepen met Talon

Hoewel het geen deel uitmaakt van ruisherkenning, kunt u ook gebruik commandos klik of sleep om hetzelfde te doen in Talon .

Aanpassing & Prijsstelling

Aanpassingsspecificatie

Talon is momenteel compatibel met Mac 10.11 El Capitan (oudste), 10.12 Sierra, 10.13 High Sierra en 10.14 Mojave (nieuwste). Er zijn plannen om Talon in de toekomst uit te breiden naar Linux en Windows.

Voordat ik erop uit ga en een kopie van Dragon v6.0 zou vinden, zou ik probeer waarschijnlijk eerst de ingebouwde engine van Talon . Kijk of het je bevalt – als het niet goed genoeg werkt, overweeg dan om Dragon te kopen.

De Tobii 4C is een redelijk goedkoop muisalternatief in vergelijking met sommige andere opties, zoals hardware-gebaseerde head-trackers die voor $ 400 + kunnen draaien.

Als je net als ik bent en het gratis Talon -project aantrekkelijk vindt, bekijk dan de tweede deel van deze serie waar ik het zal hebben:

  1. Talon;
  2. Installeren van een microfoon (tenzij je er al een hebt); en
  3. Basishandleidingen met Talon

(

Maak je Mac handsfree: deel 2

Talon installeren. Aan de slag.

medium.com

)