Macrodroidで画面タッチ操作を自動化する方法

こんにちは、かものはしです。

アクション操作であるUI画面操作とは

Macrodroidにある１つの機能で、アクションの「機器の操作や動作」で設定することが出来ます。

Android標準装備のユーザー補助サービスを利用する方法です。

難しいコードを書かなくても、簡単な設定でアプリのボタンを自動でクリックすることが出来ます。

UI画面操作をアクション追加する上で注意すること

注意点①（画面OFFでは使えない）

このアクションは画面OFF（真っ暗の状態）では動作しません。

UI画面操作を追加する際は、必ず画面ONにするアクションを追加しましょう。

おすすめ

スマホ画面ロックを自動解除する方法（もちろん安全性は保障済みです）

かものはし特定の時間帯などで画面ロック解除をしたいときに便利ですスマホに画面ロックをしている方は多いと思いますが、特定の場所や時間帯など画面ロックを解除したい時があると思います。今回はandroid標準にある[…]

注意点②（画面表示遅延に対処）

スマホの処理能力次第では、画面表示の遅延可能性があります。

そのためUI画面操作の前に待機時間を設定することをおすすめします。

画像認識をすることは出来ない

他のMacrodroidのトリガー・アクション・条件もですが、画像認識を行うことは出来ません。

あくまでもUI画面操作は、指定したXY軸や文字のクリックを行うものです。

UI画面操作で出来ること

クリック

ボタンを押すことです。

長押し

ボタンを長めに押すことです。

コピー

ジェスチャーと組み合わせることで文字をコピーすることが出来ます。

カット（切り取り）

ジェスチャーと組み合わせることで文字の切り取りをすることが出来ます。

貼り付け

ジェスチャーと組み合わせることで文字を貼り付けすることが出来ます。

また予め貼り付けるテキストを保存をすることも出来ます。

選択を解除

ジェスチャー

例えば画面上部のステータスバーを引き出すなど、クリックだけでは出来ない動きのあるアクションを出すことが出来ます。

ジェスチャー描画

複数のスワイプ（タッチスクリーンを指で押した状態のまま、上下左右にスライドさせる動作のこと）を設定することが出来ます。

エンターキーを押す

下記のような、キーボードのボタンを押すことが出来ます。

下記のような、chat gtpの送信ボタンは押せないようです。

UI画面の操作位置の取得方法

「クリック」「長押し」「ジェスチャ」では操作位置の設定が必要です。

「クリック」や「長押し」などでクリック成果を求められる時、特に理由がなければ基本的に「クリック結果を待たない」でも構いません。

現在のフォーカス

テキスト内容

一致するテキストを入力すれば、その文字列に合ったボタンなどを押すことが出来ます。

XY座標

画面の画素数から縦（X値）と横（Y値）を設定します（ジェスチャー描画の時も同じく使用します：右上画像）。

「タッチ位置の座標表示を切り替え」をクリックすると、画面に指をなぞると上記のように赤い線が表示されるので、それを確認しながら行うのが良いです。

数値を入力したらもう一度必ず「タッチ位置の座標表示を切り替え」をクリックしないと、Macrodroidアプリ終了させても表示されてしまいます。

座標表示が出来ない場合、下記に沿って表示させてください。

アプリで自動判別

画面をアプリの操作位置を自動で読み取り記憶する方法です。

操作方法

スマホのホーム画面下に説明文が表示されるので、次にクリックしたい画面を表示させておきましょう。

画面上部のステータスバーにある「通知」をクリックすると、クリックした位置の読み取りが開始されます。

画面上の読み取りたいボタンなどをクリックします。

正常に読み取りが終えると、スマホのホーム画面にアプリ名称とXY軸が表示され、「UI画面操作」としてアクションに追加されます。

コンテンツID

ButtonのIDが分かれば入力することで認識が出来るようです。

UI画面操作のオススメの使い方

スマホ本体関係

スマホを定期的な日時に再起動する方法です。

普通はroot化など高度な設定が必要ですが、標準の電源ボタンをUI画面操作することで可能になります。

関連記事

最新Androidのスマホ再起動を自動設定する方法（root化不要です）

かものはし定期的にスマホを再起動してリフレッシュさせたいけど、毎回行うのは面倒くさい出来れば自動で再起動してくれたら良いなこんな悩みを解決できる記事を用意しました。 スマ[…]

android標準のSmart Lockと併用することで、スマホロック画面を自動解除することが出来ます。

関連記事

スマホ画面ロックを自動解除する方法（もちろん安全性は保障済みです）

かものはし特定の時間帯などで画面ロック解除をしたいときに便利ですスマホに画面ロックをしている方は多いと思いますが、特定の場所や時間帯など画面ロックを解除したい時があると思います。今回はandroid標準にある[…]

データ通信関係

格安SIM契約などでスマホにSIMカード２枚入れているなど、デュアルスマホ持ちの方にオススメです。

設定した特定条件に合えば自動でSIM切替を行なうことが出来ます。

関連記事

デュアルSIMを簡単に自動切替する方法（最新Android16・バージョン別に説明）

こんにちは、かものはしです。かものはしデュアルスマホを持っているけど、simの切替が面倒くさい特定場所や時間帯で自動で切り替えられるようにしたいこんな悩みを解決できる記事を用意しました。[…]

楽天リンク関係

車に乗っているときなど楽天リンクで通話したい場合にオススメの方法です。

カーナビに表示されている電話番号発信はもちろんのこと、Google アシスタント呼びかけでの楽天リンクでの電話発信をすることが出来ます。

関連記事

カーナビ操作で楽天リンクから電話をかける方法

こんにちは、かものはしです。かものはし楽天モバイルの無料通話は嬉しいですが…楽天Linkを必ず使用しなければいけません。運転中であればハンズフリー操作は難しいですよね？そんな悩みを[…]

アプリ起動関係

A8.netを自動ログインする方法で一般的なパスコードや指紋認証は必要としません。

関連記事

簡単にA8ネットに自動ログインする方法

こんにちは、かものはしです。かものはし今日はこの前ツイートした内容について、解決策を紹介したいと思います。本来スマホではセキュリティーや個人情報保護のために画面ロックを行う場合が多いと思います。A8.ne[…]

X（旧：Twitter）の英文を自動翻訳する方法（わざわざ翻訳ボタンを押すことは必要ありません）

関連記事

ポストを翻訳｜X（Twitter）の自動翻訳を自動化させる方法

かものはし「ポストを翻訳」ボタン、毎回押すの面倒じゃないですか？X（旧Twitter）には投稿を翻訳する機能がありますが、手動操作が必要です。本記事では、スマホアプリ「Macrodroid」を使って、英語ポス[…]

まとめ

UI画面操作について説明しました。

Macrodroidのアクションから追加することが出来ます。

難しいコードを書く必要はなく、簡単にアプリのクリックなどを行なうことが出来ます。

今まで手動で行っていたことを自動に置き換えてみませんか。