こんにちは、かものはしです。
Macrodroidのアクションにある「UI画面操作」を説明します。
アプリのボタンをクリックしたいときなど、簡単に設定が出来るので使用用途の幅が広がりますよ。
- UI画面操作のアクション追加と設定方法が分かる。
- アクション追加する上での注意点が分かる。
- オススメなど今すぐ使える場面用途が分かる。
アクション操作であるUI画面操作とは
Macrodroidにある１つの機能で、アクションの「機器の操作や動作」で設定することが出来ます。
Android標準装備のユーザー補助サービスを利用する方法です。
難しいコードを書かなくても、簡単な設定でアプリのボタンを自動でクリックすることが出来ます。
UI画面操作をアクション追加する上で注意すること
注意点①（画面OFFでは使えない）
このアクションは画面OFF（真っ暗の状態）では動作しません。
UI画面操作を追加する際は、必ず画面ONにするアクションを追加しましょう。
画面ONするアクション
- 画面
- 画面のON/OFF
- 画面をONにする
かものはし特定の時間帯などで画面ロック解除をしたいときに便利ですスマホに画面ロックをしている方は多いと思いますが、特定の場所や時間帯など画面ロックを解除したい時があると思います。今回はandroid標準にある[…]
注意点②（画面表示遅延に対処）
スマホの処理能力次第では、画面表示の遅延可能性があります。
そのためUI画面操作の前に待機時間を設定することをおすすめします。
画像認識をすることは出来ない
他のMacrodroidのトリガー・アクション・条件もですが、画像認識を行うことは出来ません。
あくまでもUI画面操作は、指定したXY軸や文字のクリックを行うものです。
UI画面操作で出来ること
クリック
ボタンを押すことです。
長押し
ボタンを長めに押すことです。
コピー
ジェスチャーと組み合わせることで文字をコピーすることが出来ます。
カット（切り取り）
ジェスチャーと組み合わせることで文字の切り取りをすることが出来ます。
貼り付け
ジェスチャーと組み合わせることで文字を貼り付けすることが出来ます。
また予め貼り付けるテキストを保存をすることも出来ます。
選択を解除
ジェスチャー
例えば画面上部のステータスバーを引き出すなど、クリックだけでは出来ない動きのあるアクションを出すことが出来ます。
ジェスチャー描画
複数のスワイプ（タッチスクリーンを指で押した状態のまま、上下左右にスライドさせる動作のこと）を設定することが出来ます。
エンターキーを押す
下記のような、キーボードのボタンを押すことが出来ます。
下記のような、chat gtpの送信ボタンは押せないようです。
UI画面の操作位置の取得方法
「クリック」「長押し」「ジェスチャ」では操作位置の設定が必要です。
「クリック」や「長押し」などでクリック成果を求められる時、特に理由がなければ基本的に「クリック結果を待たない」でも構いません。
現在のフォーカス
テキスト内容
一致するテキストを入力すれば、その文字列に合ったボタンなどを押すことが出来ます。
XY座標
画面の画素数から縦（X値）と横（Y値）を設定します（ジェスチャー描画の時も同じく使用します：右上画像）。
「タッチ位置の座標表示を切り替え」をクリックすると、画面に指をなぞると上記のように赤い線が表示されるので、それを確認しながら行うのが良いです。
数値を入力したらもう一度必ず「タッチ位置の座標表示を切り替え」をクリックしないと、Macrodroidアプリ終了させても表示されてしまいます。
座標表示が出来ない場合、下記に沿って表示させてください。
開発者向けオプションを表示させる方法
- Android設定
- デバイス情報
- ビルド番号（７回押す）
ポインタ位置（X軸,Y軸）を表示させる方法
- Android「設定」
- システム
- 詳細設定（開発者向けオプション）
- ポインタの位置
画面上部にX値とY値が表示されるのを確認してください。
アプリで自動判別
画面をアプリの操作位置を自動で読み取り記憶する方法です。
操作方法
スマホのホーム画面下に説明文が表示されるので、次にクリックしたい画面を表示させておきましょう。
画面上部のステータスバーにある「通知」をクリックすると、クリックした位置の読み取りが開始されます。
画面上の読み取りたいボタンなどをクリックします。
正常に読み取りが終えると、スマホのホーム画面にアプリ名称とXY軸が表示され、「UI画面操作」としてアクションに追加されます。
コンテンツID
ButtonのIDが分かれば入力することで認識が出来るようです。
UI画面操作のオススメの使い方
スマホ本体関係
スマホを定期的な日時に再起動する方法です。
普通はroot化など高度な設定が必要ですが、標準の電源ボタンをUI画面操作することで可能になります。
android標準のSmart Lockと併用することで、スマホロック画面を自動解除することが出来ます。
スマホ画面ロックを自動解除する方法（もちろん安全性は保障済みです）
データ通信関係
格安SIM契約などでスマホにSIMカード２枚入れているなど、デュアルスマホ持ちの方にオススメです。
設定した特定条件に合えば自動でSIM切替を行なうことが出来ます。
楽天リンク関係
車に乗っているときなど楽天リンクで通話したい場合にオススメの方法です。
カーナビに表示されている電話番号発信はもちろんのこと、Google アシスタント呼びかけでの楽天リンクでの電話発信をすることが出来ます。
アプリ起動関係
A8.netを自動ログインする方法で一般的なパスコードや指紋認証は必要としません。
X（旧：Twitter）の英文を自動翻訳する方法（わざわざ翻訳ボタンを押すことは必要ありません）
まとめ
UI画面操作について説明しました。
Macrodroidのアクションから追加することが出来ます。
難しいコードを書く必要はなく、簡単にアプリのクリックなどを行なうことが出来ます。
今まで手動で行っていたことを自動に置き換えてみませんか。
