Tee Macista handsfree: Osa 1

(27. marraskuuta 2018)

Puheentunnistus + Talon -palvelun kanssa.

Katso Ma, ei käsiä!

PÄIVITÄ 14.1.2011

Hei! Jos vierailet tällä sivulla ensimmäistä kertaa, neuvoni olisi siirtyä minun vuoden 2021 Talon-päivitysviestini. Tämä viesti on todennäköisesti ajanhukkaa.

(

Tee * tietokoneestasi * Handsfree

(se on helpompaa kuin koskaan!)

medium.com

)

Mikä on Talon?

Talon on ilmainen ohjelmisto, jota kehitetään parhaillaan , jonka tavoitteena on tehdä tietokoneesi toiminnasta handsfree-tila.

Tämä tehdään tällä hetkellä käyttämällä Talon ia kolmella eri tulolla:

  1. Puheentunnistus
  2. Silmien / pään seurantahiiren korvaaminen
  3. Meluntunnistus

Annan käsityksen siitä, mitä Talon voi tehdä, aion lyhyesti kuvaile jokaista syötettä.

  1. Puheentunnistuksen avulla voit kirjoittaa kaikkeen työpöytäympäristöön.
  2. Hiiren korvaamisen avulla voit hallita hiirtä silmäseurannalla suurelle kohdistimelle hyppyjä ja pään seurantaa pienille kohdistimen korjauksille. Toinen hiiren korvaavan syötteen kokoonpano on zoomaushiiri, joka perustuu vain silmien seurantaan.
  3. Kohinan tunnistuksen avulla voit napsauttaa ja vetää ponnahtavien ja sihisevien äänien kanssa.

Kaikki nämä syötteet käyttävät ”Python-kooditiedostoja” tai Python-ohjelmointikielellä kirjoitettuja komentosarjoja toimiakseen. Suunnittelun mukaan näitä skriptejä voi helposti muokata käyttäjä tai Talon -käyttäjien yhteisö. Taloniin liittyvät komentosarjat tallennetaan Talon -sovelluksen käyttäjäkansioon. Sen mukaan mitä komentosarjoja on käyttäjäkansiossa ja miten / jos niitä on muokattu, Talon voi ottaa käyttöön erilaisia ​​tai kokonaan uusia ominaisuuksia.

Monet komentosarjat ovat yhteisö ja ne ovat saatavilla Github-alustalla (katso talon\_community -koodivarasto). Talon Macissa on yhdistelmä jaettuja komentosarjoja, joissa on pieniä muutoksia ( minun komentosarjakokoelmani ). Esitän sinulle, miten nämä pienet muutokset tehdään tämän sarjan myöhemmässä viestissä.

Joten palataan jokaiseen kolmesta syötteestä.

1. Puheentunnistus

Ennen kuin puhun Talonin puheentunnistusmenetelmästä – aloitan puheentunnistuksen kokonaiskuvasta.

Sanelukäytäntöjä on kaksi puheentunnistuskoneiden käyttämät:

  • tietojen syöttö ensimmäinen käytäntö
  • komento ensimmäinen käytäntö

Useimpien ihmisten tuntema käytäntö on tietojen syöttämisen ensimmäinen käytäntö. Tähän käytäntöön syötetään lausuttu lause, ellei komennon suorittamiseen käytetä erityistä sanaa tai ilmausta (laukaisusana). Tätä käytäntöä käyttää Dragon NaturallySpeaking .

Haittana on, että puhekoneen on erotettava toisistaan, mikä on tarkoitus olla teksti ja mikä on tarkoitus olla komento. Lohikäärme luottaa asiayhteyteen tehdäkseen tämän epäluotettavan erottelun.

Luotettavuus saa monet ihmiset luomaan komennonimille sovitettuja sanoja puhekoneiden väärinkäsitysten estämiseksi.

Talonin puhekone on ottanut käyttöön komentojen ensimmäisen sanelun käytännön toistaiseksi jaetuista käyttäjäskripteistä toistaiseksi . Komento ensin -käytännön avulla puhutut lauseet tulkitaan komennoiksi, jos ne tunnistetaan. Tämä antaa sinulle vapauden käyttää kuvaavia sanoja tai lauseita komentojen nimeämiseen.

Talon -ohjelmassa on mahdollista lisätä komento ensin -käytäntöä tietojen syöttö ensin -käytännöllä, jotta voidaan hyödyntää molempien lähestymistapojen vahvuudet. Tämä tehdään kahdella tavalla:

Ensinnäkin käyttämällä laukaisusanaa. Trigger-sanojen avulla voit helposti sanella tekstirivin Talon.

Sanotaan esimerkiksi: ”lause on tämä ensimmäinen viesti, jonka olen koskaan kirjoittanut keskipisteeseen. ” Lause on tässä laukaiseva sana, joka lisää ensimmäisen sanan isoksi. (On olemassa muita mahdollisia laukaisusanoja)

Tulos olisi tällöin:

Tämä on ensimmäinen viesti, jonka kirjoitin koskaan mediaan.

Käynnistyssana-menetelmän haittapuoli on, että on vaikea tehdä lauseen pitempi sanelu käyttämättä toista laukaisusanaa. Tämä johtaa minut toiseen tapaan lisätä komentoa ensin ensin tietojen syöttämisellä:

Toiseksi, Talonin Dragon -yhteensopivuuden kanssa se voi käyttää Lohikäärme erillisenä tilana. Tämä tarkoittaa, että voit siirtyä ”Talon-tilasta” ”Dragon-tilaan” (näiden lauseiden kanssa), jos haluat kirjoittaa paperin esimerkkinä tai tehdä enää sanelun käyttämättä toista laukaisusanaa.Käytän ”Talon-tilaa” tekemään komentoja vaativia asioita, kuten Internet-selailua, tai työskentelemään sovelluksessa, joka ei ole tekstinkäsittelyohjelma, kuten Photoshop.

Talon tunnistaa puheen ilman Dragon ia, mutta jos sinulla on Dragon asennettu ja suoritettu, se käyttää automaattisesti Dragonin tarkempaa puheen tunnistusta.

On joitain huonoja uutisia, jotka minun on jaettava : Dragon Professional Individual for Mac Myynti lopetettu

Mutta hyvä uutinen on, että Dragon Professional Individual for Mac on edelleen ostettavissa myyjiltä Amazon ja Ebay , kun tarvikkeita riittää. On myös pienempiä toimittajia, joilla on Dragon -varastoja, kuten Nuance Software Store .

Mielestäni ainoa toiminnallisuus, joka todella puuttuu pelkästään Talon ista, on lohikäärmeen kaltaiset asiakirjojen muokkausominaisuudet: oikolukujen korjausvalikot, komennot ennen / jälkeen ääni- määritetyt sanat, komennot äänikohtaisten sanojen isojen kirjainten käyttämiseksi. Nämä ominaisuudet voidaan kuitenkin rakentaa Talon iin oikealla koodilla.

Ja jopa ilman oikeaa koodia, voit käyttää Talonin valinnainen hiiren korvausjärjestelmä tekemään samat komennot . Se vie kuitenkin hieman kauemmin ilman komentoja.

2. Hiiren vaihto

Jos haluat mennä handsfree-tilaan, on tärkeää hallita hiirtä mukavasti ja helposti. Tämän tekeminen vähentää käyttämiesi komentojen määrää huomattavasti.

Tällä hetkellä käytettävissä on paljon erilaisia ​​hiiren korvausjärjestelmiä. Olen kuvannut kutakin tuttua järjestelmää alla:

  • Dragons MouseGrid: sitä on vaikea kuvata – näet sen toiminnassa alla olevasta videosta :
Hiiriruudukko

MouseGridillä on ongelma erityisen hidas.

  • Päänseurantahiiri: kameraa käytetään seuraamaan henkilön pään liikettä – mikä vastaa hiiren liikettä.

Kokemukseni mukaan päänseurantahiiret ovat tarkkoja, mutta epämiellyttäviä käyttää pitkiä aikoja. Ne edellyttävät, että liikutat päätäsi luonnottomiin suuntiin.

Napsauttamista varten päänseurantahiiret luottavat joko viipymäaikaan tai kytkimien, kuten jalkapolkimien tai näppäimistön pikanäppäinten, käyttämiseen. Viipymisaikaa varten sinun on pidettävä päätäsi luonnottomassa asennossa jonkin aikaa, ennen kuin hiiri napsahtaa. Minulle kytkinten käyttäminen ei ole yhtä helppoa kuin viipymäaika.

  • Silmänseurantahiiri: kameraa käytetään silmien liikkumisen seuraamiseen – mikä vastaa hiiren liikettä.

Vaikka en ole käyttänyt pelkästään silmäseurantahiiriä. Silmäseurantahiiret ovat kuulemieni mukaan melko hermostuneita, eikä niitä voida käyttää tarkkuudella, joka on verrattavissa tavalliseen tietokonehiireen. mikä tahansa edellisistä menetelmistä kokonaan . Talon käyttää silmänseuranta- ja päänseuranta anturisulake hallita hiirtä. Tämä on paras tapa käyttää hiirtä hallintaan.

Perus idea on, että käytät silmänseurantaa suurten hyppyjen suorittamiseen kohdistimen kanssa ja sitten pään seurantaa pienempiin kohdistimen korjaaviin liikkeisiin. Talon käyttää Tobii 4C silmäseurantaan ja päänseurantaan.

Plug and Play Tobii 4C

Kun Talon on käytössä, Tobii 4C : stä tulee plug and play -laite Macille. Jos vierailet Tobii -sivustolla, näet, että se on suunniteltu tietokoneelle. Kuitenkin, kun laitetta käytetään Macissa, jossa on Talon , ei ole muita ajureita tai mitään muuta tämän ainutlaatuisen hiiren käytön aloittamiseen.

Talonin sensori-fuusiohiiren (kohinan tunnistuksen hiipimishuippu) käyttäminen

Ihmisille, joilla ei ole pääohjausta, Talon illa on myös toinen käyttövalmis hiirivaihtoehto: zoomaushiiri. Zoomihiiri ei vaadi lainkaan pään seurantaa. Saat paremman kuvan katsomalla tätä videota:

Zoomaa hiiri (kohinan tunnistuksen virhehuippu)

3. Kohinan tunnistus

Talon illa on melun tunnistusjärjestelmä, joka tunnistaa napsautuksen ja siippaamisen pop-äänet napsauttamalla ja vetämällä tai valitsemalla tekstiä.

Napsauttaminen ja vetäminen Talonin kanssa

Vaikka et kuulu melun tunnistamiseen, voit myös käytä komentoja napsauttamalla tai vetämällä sama asia Talon -ohjelmassa.

Mukauttaminen & Hinnoittelu

Mukautusmäärittely

Talon on tällä hetkellä yhteensopiva Mac 10.11 El Capitan (vanhin), 10.12 Sierra, 10.13 High Sierra ja 10.14 Mojave (uusin) kanssa. Talonia on tarkoitus laajentaa Linuxiin ja Windowsiin tulevaisuudessa.

Ennen kuin menen ulos ja löydän kopion Dragon v6.0: sta, haluaisin kokeile todennäköisesti ensin Talonin sisäänrakennettua moottoria. Katso jos pidät siitä – jos se ei toimi tarpeeksi hyvin, mieti Dragon .

Tobii 4C on melko halpa hiiren vaihtoehto verrattuna joihinkin muihin vaihtoehtoihin, kuten laitteistopohjaisiin pääseurantalaitteisiin, joiden hinta on yli 400 dollaria.

Jos olet kuin minä ja pidät ilmaisesta Talon -projektista pakottavan, tutustu sarjan toinen erä, josta käyn läpi:

  1. Talon;
  2. mikrofonin etsiminen (ellei sinulla vielä ole sitä); ja
  3. Perusoppaat, joissa on Talon

(

Tee Macista handsfree: Osa 2

Talonin asentaminen. Aloittaminen.

medium.com

)