UI画面操作は、アプリ画面上のボタン押下や長押し、スワイプなどの操作を自動で実行できるアクションです。
Android のユーザー補助サービスを利用して動作するため、コードを書くことなく画面操作を自動化できます。
MacroDroid の「機器の操作や動作」カテゴリに含まれ、アプリ操作の自動化に広く利用されます。
UI画面操作が動かない原因の多くは、設定の見落としや端末側の仕様です。クリックできない、座標がズレる、自動判別が反応しないなどのトラブルを解決するために、原因別に確認すべきポイントを整理しました。上から順[…]
ほかのアクションを確認したい場合は、以下の辞典トップをご覧ください。
かものはしトリガーの次はアクションです。アクションを理解すると、スマホが“あなたの意図通りに動く”再現性が一気に高まります。本ページは、MacroDroidのアクションを体系的にまとめた“アクション辞典のトッ[…]
UI画面操作で出来ること
クリック
ボタンを押すことです。
長押し
ボタンを長めに押すことです。
コピー
ジェスチャーと組み合わせることで文字をコピーすることが出来ます。
カット（切り取り）
ジェスチャーと組み合わせることで文字の切り取りをすることが出来ます。
貼り付け
ジェスチャーと組み合わせることで文字を貼り付けすることが出来ます。
また予め貼り付けるテキストを保存をすることも出来ます。
選択を解除
画面タップした内容を解除することが出来ます。
ジェスチャー
例えば画面上部のステータスバーを引き出すなど、クリックだけでは出来ない動きのあるアクションを出すことが出来ます。
ジェスチャー描画
複数のスワイプ（タッチスクリーンを指で押した状態のまま、上下左右にスライドさせる動作のこと）を設定することが出来ます。
エンターキーを押す
下記のような、キーボードのボタンを押すことが出来ます。
操作位置の指定方法
現在のフォーカス
画面上で現在選択されているUI要素（ボタン・入力欄など）に対して操作を実行します。
特定の位置や文字を指定しない場合に使用します。
テキスト内容
一致するテキストを入力すれば、その文字列に合ったボタンなどを押すことが出来ます。
XY座標
画面の画素数を基準に、縦（X値）と横（Y値）を指定して操作位置を決めます。
ジェスチャー描画でも同じ座標指定を使用します。
座標が分からない場合は、Android の「ポインタ位置」機能を有効にすると、画面上部に X・Y の数値が表示されます。
この数値を参考に、必要な座標を入力してください。
開発者向けオプションを表示させる方法
- Android設定
- デバイス情報
- ビルド番号（７回押す）
ポインタ位置（X軸,Y軸）を表示させる方法
- Android「設定」
- システム
- 詳細設定（開発者向けオプション）
- ポインタの位置
画面上部にX値とY値が表示されるのを確認してください。
アプリで自動判別
画面をアプリの操作位置を自動で読み取り記憶する方法です。
操作方法
スマホのホーム画面下に説明文が表示されるので、次にクリックしたい画面を表示させておきましょう。
画面上部のステータスバーにある「通知」をクリックすると、クリックした位置の読み取りが開始されます。
画面上の読み取りたいボタンなどをクリックします。
正常に読み取りが終えると、スマホのホーム画面にアプリ名称とXY軸が表示され、「UI画面操作」としてアクションに追加されます。
コンテンツID
ButtonのIDが分かれば入力することで認識が出来るようです。
