Macをハンズフリーにする:パート1

2018年11月27日)

音声認識+とタロン

まあ、手を使わないでください!

UPDATE 1/14/21

こんにちは!このページに初めてアクセスする場合は、2021年のTalonアップデート投稿にジャンプすることをお勧めします。この投稿はおそらくあなたの時間の無駄です。

あなたの*コンピュータ*をハンズフリーにする

(これまで以上に簡単です!)

medium.com

Talonとは?

Talon は、活発に開発されている無料のソフトウェアです。 、これは、コンピュータの操作をハンズフリーにすることを目的としています。

これは現在、タロンが3つの異なる入力を使用して行われています。

  1. 音声認識
  2. 目/頭を追跡するマウスの交換
  3. ノイズ認識

Talonで何ができるかを説明するために、簡単に説明します。各入力について説明します。

  1. 音声認識を使用すると、デスクトップ環境のすべてを入力できます。
  2. マウスを置き換えると、大きなカーソルのアイトラッキングでマウスを制御できます。小さなカーソル修正のためのジャンプとヘッドトラッキング。マウス置換入力のもう1つの構成は、視線追跡のみに依存するズームマウスです。
  3. ノイズ認識により、ポップノイズやシューというノイズでクリックアンドドラッグできます。

これらの入力はすべて、「Pythonコードファイル」またはPythonプログラミング言語で記述されたスクリプトを使用して機能します。設計上、これらのスクリプトは、ユーザーまたは Talon ユーザーのコミュニティが簡単に変更できます。 Talon関連のスクリプトは、 Talon アプリケーション内のユーザーフォルダに保存されます。ユーザーフォルダにあるスクリプトと、それらがどのように/どのように変更されたかに応じて、 Talon は異なる機能、またはまったく新しい機能を引き受けることができます。

多くのスクリプトはコミュニティであり、Githubプラットフォームで利用できます( talon\_community コードリポジトリを参照してください)。 Macの Talon は、わずかな変更を加えた共有スクリプトのアマルガムです(スクリプトのコレクション)。このシリーズの後半の投稿で、これらの小さな変更を加える方法を説明します。

では、3つの入力のそれぞれに戻ります。

1。音声認識

タロンの音声認識の方法について説明する前に、音声認識の全体像から始めましょう。

2つの主要な口述ポリシーがあります。音声認識エンジンで使用されるもの:

  • データ入力優先ポリシー
  • コマンド優先ポリシー

ほとんどの人が精通しているポリシーはデータ入力の最初のポリシー。このポリシーでは、特別な単語またはフレーズ(トリガーワード)を使用してコマンドを実行しない限り、話し言葉が入力されます。これは、 Dragon NaturallySpeaking で使用されるポリシーです。

欠点は、音声エンジンがテキストを意味するものとコマンドを意味するものを区別する必要があることです。 Dragon は、コンテキストに依存してこの区別を行いますが、これは信頼できません。

信頼性が低いため、多くの人がコマンド名の単語を作成して、音声エンジンの誤解を防ぎます。

Talonの音声エンジンは、共有されているユーザースクリプトからコマンドファーストディクテーションポリシーを採用しましたこれまでのところ。コマンドファーストポリシーでは、話されたフレーズが認識された場合にコマンドとして解釈されるようになっています。これにより、説明的な単語やフレーズを使用してコマンドに名前を付けることができます。

Talon では、コマンドファーストポリシーをデータ入力ファーストポリシーで拡張して活用することができます。両方のアプローチの長所。これは2つの方法で行われます。

まず、トリガーワードを使用します。トリガーワードを使用すると、タロンのテキスト行を簡単に口述できます。

例として、次のように言います。「文これは、私がミディアムドットで書いた最初の投稿です。 」ここでの文は、最初の単語を大文字にするトリガーワードです。 (他にも考えられるトリガーワードがあります)

出力は次のようになります。

これは私がメディアに書いた最初の投稿です。

トリガーワード方式の欠点は、別のトリガーワードを使用せずに文よりも長いディクテーションを行うことが難しいことです。これは、最初にデータ入力を使用してコマンドを拡張する2番目の方法につながります。

次に、 Talonの Dragon 互換性により、を使用できます。 >ドラゴンを別のモードとして。つまり、例として論文を書きたい場合、または別のトリガーワードを使用せずにそれ以上の口述を行う場合は、「タロンモード」から「ドラゴンモード」(これらのフレーズを使用)に切り替えることができます。「タロンモード」を使用して、インターネットブラウジングなどのコマンドを多用する操作を実行したり、フォトショップなどのワードプロセッサではないアプリケーションで作業したりします。

タロン Dragon がなくても音声を認識できますが、 Dragon をインストールして実行している場合は、 Dragonのより正確な音声認識が自動的に使用されます。

共有する必要のあるいくつかの悪いニュースがあります: Dragon Professional Individual forMac 販売終了

しかし、幸いなことに、 Dragon Professional Individual for Mac は、 Amazonのベンダーから引き続き購入できます。 Ebay 、在庫は残ります。 Nuance Software Store のような Dragon の在庫を持つ小規模なベンダーもあります。

私の意見では、 Talon だけで本当に欠けている機能は、ドラゴンのようなドキュメント編集機能だけです。固有名詞の修正メニュー、音声の前後に挿入するためのコマンド-指定された単語、音声で指定された単語を大文字にするためのコマンド。ただし、これらの機能は、適切なコードを使用して Talon に組み込むことができます。

また、適切なコードがなくても、 Talonの オプションの同じコマンドを実行するためのマウス置換システム。ただし、コマンドがないと少し時間がかかります。

2。マウスの交換

ハンズフリーで移動したい場合は、マウスを快適かつ簡単に制御できることが重要です。これを行うと、使用する必要のあるコマンドの数が大幅に削減されます。

現在利用可能なさまざまなマウス交換システムがたくさんあります。私がよく知っている各システムについて、以下で説明しました。

  • Dragons MouseGrid:説明するのは難しいです。以下のビデオで実際の動作を確認できます。 :
マウスグリッド

MouseGridには次の問題があります。特に遅い。

  • 頭を追跡するマウス:カメラを使用して、人の頭の動きを追跡します。これは、マウスの動きに対応します。

私の経験では、ヘッドトラッキングマウスは正確ですが、長期間使用するのは不快です。不自然な方向に頭を動かす必要があります。

クリックする場合、頭を追跡するマウスは、滞留時間、またはフットペダルやキーボードホットキーなどのスイッチの使用に依存します。滞留時間の場合、マウスをクリックする前に、頭を不自然な位置に一定時間保持する必要があります。私にとって、スイッチの使用は滞留時間ほど簡単ではありません。

  • 視線追跡マウス:カメラは目の動きを追跡するために使用されます。これはマウスの動きに対応します。

私は視線追跡マウスだけを使用したことはありませんが。私が聞いたところによると、視線追跡マウスはかなりジッターがあり、標準的なコンピューターマウスに匹敵する精度で使用することはできません。

Talon は依存していません以前の方法のいずれかが完全に Talon は、視線追跡と頭追跡のセンサーフュージョンを使用してマウスを制御します。 これは、私がマウスを制御するために使用した最良の方法です。

基本アイトラッキングを使用してカーソルで大きなジャンプを行い、次にヘッドトラッキングを使用してカーソルの小さな修正動作を行うという考え方です。 Talon Tobii 4C を使用して、視線追跡と頭追跡の両方を行います。

プラグアンドプレイTobii4C

Talon を使用すると、 Tobii 4C はMac用のプラグアンドプレイデバイスになります。 Tobii のWebサイトにアクセスすると、PC用に設計されていることがわかります。ただし、デバイスが Talon を搭載したMacで使用されている場合、このユニークなマウスの使用を開始するために必要な他のドライバやその他のものはありません。

Talonのセンサーフュージョンマウスの使用(ノイズ認識スニークピーク)

ヘッドコントロールのない人のために、 Talon にはもう1つのすぐに使用できるマウスオプション:ズームマウス。ズームマウスは、ヘッドトラッキングをまったく必要としません。このビデオを見ると、より良いアイデアが得られます:

ズームマウス(ノイズ認識スニークピーク)

3。ノイズ認識

Talon には、クリックするとポップ音が聞こえ、クリックアンドドラッグまたはテキストを選択するとシューという音が聞こえるノイズ認識システムがあります。

タロンでクリックアンドドラッグ

ノイズ認識の一部ではありませんが、コマンドをクリックまたはドラッグして、 Talon で同じことを行います。

カスタマイズ&価格

カスタマイズ仕様

Talon は現在、Mac 10.11 El Capitan(最も古い)、10.12 Sierra、10.13 High Sierra、および10.14 Mojave(最新)と互換性があります。 将来的にはTalonをLinuxとWindowsに拡張する計画があります。

外に出て Dragon v6.0のコピーを見つける前に、おそらく最初に Talonの組み込みエンジンを試してみてください。気に入ったかどうかを確認してください。十分に機能しない場合は、 Dragon の購入を検討してください。

Tobii4C は、かなり安価なマウスの代替品です。 400ドル以上で実行できるハードウェアベースのヘッドトラッカーなどの他のオプションと比較してください。

私のように、無料の Talon プロジェクトが魅力的だと感じた場合は、このシリーズの第2回では、次の内容について説明します。

  1. タロンのインストール;
  2. マイクの検索(既に持っている場合を除く)。および
  3. Talon

を使用した基本的なチュートリアル(

Macをハンズフリーにする:パート2

Talonのインストール。はじめに。

medium.com