엔지엠소프트웨어

에디터 안드로이드 웹매크로 만들기. (자동 한영 전환 입력)

페이지 정보

작성자 엔지엠소프트웨어 쪽지보내기 메일보내기 홈페이지 자기소개 아이디로 검색 전체게시물
댓글

댓글 0건 조회Hit 1,825회 작성일Date 23-08-16 11:21

본문

안녕하세요. 엔지엠소프트웨어입니다. 스마트폰을 컴퓨터에 연결해서 구글 크롬 매크로를 어떻게 만드는지 알아보도록 하겠습니다. 핸드폰을 컴퓨터에 USB로 연결하는 부분이 약간 복잡한데요. 아래 도움말을 참고하셔서 안드로이드 스마트폰에서 USB 디버깅을 활성화 시키세요.

[ 안드로이드폰 USB 디버깅 설정 ]

엔지엠 매크로 에디터를 실행하고, 새로운 스크립트를 추가하세요.

SCRCPY를 이용해서 USB로 연결된 핸드폰을 윈도우 화면으로 미러링해줍니다.

scrcpy --window-x 0 --window-y 25 --window-width 270 --window-height 658

참고로, 저는 스마트폰 크기를 4분의 1로 줄였습니다. 윈도우 화면에서 안드로이드폰 화면이 잘 보이게 하기 위함입니다. 이외에도 멀티 다클라 매크로를 제작하려면 화면이 작은게 좋겠죠? 폰보드와 같은 장비를 사용하면 한대의 컴퓨터에서 수십대의 핸드폰을 연결해서 매크로를 동작시킬 수 있습니다. 이론적으로는 121대까지 연결할 수 있지만, 실제로는 30대정도 붙여서 사용하고 있습니다.

위의 scrcpy 명령을 실행하면 아래 그림과 같이 안드로이드폰이 윈도우에 표시됩니다.

엔지엠 매크로에서 안드로이드폰의 이미지를 분석하고, 신호를 보내려면 [ ADB 연결 ] 액션을 사용해야 합니다.

ADB 연결에서 배열(가로 배율), 세로 배율을 모두 4로 설정하세요. 위에서 실제 핸드폰의 해상도를 4분의 1로 줄였기 때문에 윈도우 화면에서 보이는 크기만 작아졌을 뿐 실제 인터페이스하는 좌표나 이미지 크기등등은 원본 사이즈여야 합니다. 4분의 1로 줄였으니 실제 신호들을 처리할 때는 4배로 늘려야 정상 동작합니다. 눈으로 보는것과 다르게 컴퓨터가 이해하는 신호는 원본 값으로 줘야 합니다.

이제 웹 매크로를 만들기 위한 크롬을 실행 해볼께요. 아래와 같이 크롬 웹브라우저가 있는 폴더로 이동하기 위해 [ 이미지 매치 ] 액션을 사용합니다. 안드로이드 스마트폰 화면에서 크롬이 들어있는 폴더를 찾아서 클릭해야 하거든요.

아래 동영상과 같이 이미지 매치 액션에서 캡쳐를 통해 이미지를 저장하고, 마우스 클릭도 설정하세요. 그리고 실행하면 잘 클릭하는걸 확인할 수 있습니다.

이미지 매치를 하나 더 추가한 후 구글 크롬을 클릭하게 설정하세요. 설정 방법은 위와 동일합니다.

완성된 매크로를 실행 해볼까요? 폴더는 정상적으로 클릭하지만, 구글 크롬은 클릭이 안됩니다. 엔지엠 매크로 스크립트의 액션은 위에서부터 아래로 순차적으로 실행됩니다. 잘 생각해보면 폴더 클릭 후 크롬 아이콘이 화면에 표시되기까지 약간 딜레이가 있을거라는건 예상할 수 있습니다. 그래서, 지연을 좀 줘야 정상 동작합니다.

명시적으로 지연을 줘도 되지만, 일반적으로는 화면에 찾을 이미지가 나타날때까지 반복해서 서치하는게 효율적입니다. 비교 간격은 기본적으로 100으로 설정되어 있습니다. 100은 0.1초를 의미합니다. 비교 횟수는 기본값이 1입니다. 1보다 큰 값을 입력하면 0.1초 간격으로 설정한 비교 횟수만큼 이미지가 있는지 체크합니다. 이 방법을 사용하는 이유는 화면에 렉이 있거나 여러가지 사유로 빠르거나 느릴 때 유연하게 대응하기 위함입니다.

매크로를 다시 실행 해볼까요? 이제는 정상적으로 동작하는군요^^

웹에서 검색하는 방법을 알아보겠습니다. 아래와 같이 [ 마우스 클릭 ] 액션과 [ 텍스트 쓰기 ] 액션을 하나씩 추가하세요. 그리고, [ 오프셋 추가 ] 액션도 추가해야 합니다. 오프셋을 추가하는 이유는 SCRCPY의 창 제목 표시 영역이 실제 좌표에 포함되지 않기 때문입니다. 그래서, SCRCPY를 실행할 때 창 제목을 표시하지 않도록 옵션을 설정하는게 좋습니다. 몇가지 불편한점이 있긴 하지만요^^; 오프셋 Y 값에 -25를 입력하세요. SCRCPY의 창 제목 영역의 크기가 25정도 되기 때문입니다.

크롬의 검색창을 클릭하도록 마우스 좌표를 설정하세요. 그리고, 텍스트 쓰기 액션에 검색할 키워드를 입력 해줍니다.

안드로이드폰에서 뭔가 동작할 때마다 약간의 실행 지연이 발생합니다. 그래서, 마우스 클릭과 키보드 텍스트 쓰기 액션에 실행 전 지연 값을 설정 했습니다. 매크로를 실행하면 아래 동영상과 같이 동작합니다. 기본적으로 안드로이드폰의 키보드를 사용하기 때문에 영어만 입력할 수 있습니다.

자동으로 한영 전환 기능을 사용하려면 안드로이드 키보드를 별도로 설치해야 합니다. 테스트에서는 GBoard를 설치하도록 하겠습니다. 구글 플레이에서 GBoard를 설치하세요.

설치가 완료되면 설정의 일반 메뉴로 이동하세요. 기본 키보드 및 추가 키보드 설정을 클릭해줍니다.

GBoard를 사용함으로 변경한 후 상단의 기본 키보드를 클릭하세요.

기본 키보드로 GBoard를 선택해주세요.

키보드의 텍스트 쓰기 액션에서 자동으로 한영 상태를 전환하기 위해 IME Mode 감지 속성을 True로 설정하세요. 텍스트에는 "엔지엠 매크로"를 입력하세요. 마지막으로 안드로이드폰의 키보드에서 한영 전환 버튼의 좌표를 입력해줘야 합니다. 대부분의 윈도우 프로그램은 IME Mode를 자동으로 감지해서 처리 해줍니다. 하지만, 운영체제가 다른 안드로이드는 키보드 제어를 위해 한영 전환 버튼의 위치를 설정해줘야 합니다.