안녕하세요. 엔지엠소프트웨어입니다. 매크로는 반복적인 작업을 지원하기 위해 재생될 수 있는 이벤트(키 입력, 마우스 클릭, 이미지 서치)의 시퀀스입니다. 매크로는 사람이 처리할 수 없는 빠른 입력 또는 클릭을 자동화 하는데 사용할 수도 있습니다. 엔지엠소프트웨어의 엔지엠 매크로는 마우스 및 키보드를 순서대로 실행하고, 조건에 따라 루틴을 제어할 수 있습니다. 또한, 매크로 반복 기능을 사용하여 매크로를 지속적으로 재생 및 반복한 다음 언제든지 중지할 수 있습니다. 엔지엠 에디터를 실행하고 새로운 스크립트를 하나 추가하세요.

①File > ②새로 만들기 > ③스크립트

 

 

Ctrl+N을 누르면 새로운 스크립트가 만들어집니다. 단축키를 이용하는게 좋겠죠^^? 윈도우 프로그램들이 대부분 Ctrl+N으로 새 문서를 만듭니다. 참고로, 새 이미지는 Ctrl+Alt+N입니다. 이외에도 Alt키를 누르면 아래 그림과 같이 숏컷이 표시됩니다. Alt > F > N > S를 순서대로 눌러보세요. 결과는 동일합니다. 자 새로운 스크립트가 만들어졌으니 ①도구 상자 > ②마우스의 클릭을 더블 클릭하세요. 액션이 스크립트에 추가됩니다.

※ 액션이란? 엔지엠 에디터에서 사용하는 모든 도구들을 액션이라고 부릅니다. (마우스 클릭 액션, 키보드 입력 액션, 이미지 서치 액션등등...)

 

 

우측의 속성에서 클릭하고 싶은 마우스 위치를 설정합니다. 아래 동영상은 바탕화면의 "소심비형"을 선택하고 있습니다. 마우스가 원하는 위치로 가면 "F1"을 눌러서 클릭할 좌표를 고정하세요.

 

 

실행(Ctrl+Alt+F8) 버튼을 클릭하면 바탕화면의 "소심비형" 폴더를 클릭합니다. 너무 순식간에 실행되서 잘 확인이 안될수도 있으니 여러번 테스트 해보세요^^

 

 

마우스 클릭을 고정된 위치가 아닌 랜덤하게 적용하고 싶으면 어떻게 해야 할까요? 속성에서 "랜덤 맥시멈"에 20을 입력하고, "랜덤 미니멈"에 -20을 입력하세요. 사용자가 설정한 좌표를 기준으로 상하좌우 20만큼 랜덤하게 좌표가 적용되는걸 알 수 있습니다.

 

 

좌표는 아래와 같이 계산됩니다. 가운데 오랜지색 점이 사용자가 클릭하라고 설정한 좌표 값입니다. 여기서 좌상단은 클릭 위치에서 마이너스로 이동하고, 우하단은 플러스로 이동합니다. 중심점을 기준으로 랜덤하게 최대(Maximum, 맥시멈)값과 최소(Minimum, 미니멈)값이 동작하는 방식입니다. 만약, 최소값을 10으로 변경하면 어떻게 동작할까요? 테스트 해보면 아시겠지만 클릭할 위치를 기준으로 우하단으로만 랜덤하게 좌표가 찍힙니다.

 

 

아래 동영상을 참고해서 테스트 해보세요. 랜덤 맥시멈과 미니멈에 따라 클릭하는 위치가 변동됩니다.

 

 

다시 원래대로 랜덤 미니멈을 -20으로 설정하고 해보세요. 중심점을 기준으로 고르게 분포하는걸 알 수 있습니다.

 

 

마우스 광클릭을 사용하기 위해 "반복시킬 횟수"도 설정할 수 있습니다. 위에 반복시킬 횟수에 10을 입력했기 때문에 순식간에 마우스가 10회 클릭된걸 알 수 있습니다. 이처럼 액션에 여러가지 속성값들을 설정해서 원하는 동작을 빠르고 쉽게 적용시킬 수 있습니다. 또한, 에디터보다 플레이어가 최소 5배에서 수십배까지 빠르게 동작합니다. 물론, 액션을 구성하는 방법에 따라 약간씩 차이가 있긴하지만요. 키보드 입력 테스트를 위해 메모장을 실행하고, 아래 그림과 같이 에디터에서 새 스크립트(Ctrl+N)를 추가하세요. 그리고 키보드 입력 액션을 스크립트에 추가 해주세요.

 

 

아래 그림과 같이 "키 코드" 속성에 "A"를 입력하세요.

 

 

실행 버튼을 클릭하거나 단축키 "Ctrl+Alt+F8" 눌러보세요. 아래 동영상처럼 아무런 반응이 없습니다.

 

 

왜 이런 결과가 나오는걸까요? 키보드는 마우스와 다르게 비주얼적으로 확인할 수 있는게 없습니다. 마우스 포인터처럼 움직이는게 없다는 뜻이죠. 텍스트가 입력되어야만 동작을 확인할 수 있습니다. 또 한가지 중요한점은 텍스트를 입력받을 Input 컨트롤이 존재해야 한다는 겁니다. 대표적인 프로그램이 메모장(Notepad)입니다. 테스트를 위해서 약간의 지연 시간을 주고 키보드 액션이 동작하기 전에 메모장을 직접 클릭해서 활성화 시켜보세요.

 

 

메모장에 "a" 문자가 입력된걸 알 수 있습니다. 좀 더 자세하게 풀어서 설명하면 키보드의 A키를 누르기전에 지연 시간 1,000밀리초가 먼저 동작합니다. 1,000밀리초는 1초와 같습니다. 1초안에 직접 메모장을 클릭해서 선택하고 키보드 액션이 실행됩니다. 메모장에 "a"가 입력됩니다. 매크로는 사람이 행동하는 것과 동일하게 작동됩니다. 내가 키보드 입력할 프로그램을 선택하고 키보드 작업을 하듯이 매크로도 프로그램을 선택(활성화)하고, 키보드 동작을 수행해야 합니다. 이해가 가시나요? 그러면 "A"와 같은 대문자를 입력하려면 어떻게 해야 할까요? 아래 동영상처럼 시프트키를 누르면 됩니다^^;

 

 

윈도우 키를 누르고 싶으면 아래와 같이 동작시키면 됩니다. 조합키 또는 스페셜키는 단독으로 사용할 수 있으며, 꼭 프로그램을 활성화하지 않아도 동작할 수 있습니다. 일부 스페셜키들은 적용할 프로그램이 선택(활성화)되어 있어야 정상 동작할수도 있습니다. 모든 프로그램이 동일하게 명령을 받아들이고 수행하는건 아닙니다.

 

 

키보드를 여러가지 방법으로 제어할 수 있는데요. 키보드 입력이나 키보드 다운과 업으로 원하는 텍스트를 하나씩 입력해서 만들 수 있습니다. 하지만, 문자열이 많아질수록 스크립트에 추가해야 하는 키보드 액션이 많아지게 됩니다. 그리고, 수정 및 유지보수에도 어려움이 따르게 되죠. 그래서, 한번에 텍스트를 입력할 수 있는 기능을 제공하고 있습니다. 아래와 같이 텍스트 쓰기 액션을 추가하고, 속성을 설정 해보세요. 텍스트에 "안녕하세요. 엔지엠소프트웨어입니다."를 추가했습니다.

 

 

이 액션도 동일하게 지연 시간을 주고, 메모장을 클릭해서 활성화해야 합니다.

 

 

소프트웨어 방식이라서 아주 빠르게 텍스트가 입력되는걸 확인할 수 있습니다. 좀 더 타이핑하는것처럼 동작시키려면 아래 옵션에 적절한 값을 넣어주세요.

 

 

한글과 영어를 섞어서 사용해볼까요? 아래 그림과 같이 텍스트 속성의 내용을 "안녕하세요. NGMsoftware입니다."로 변경해주세요.

 

 

대부분의 텍스트 인풋 컨트롤들은 독립적으로 IME 정보를 가집니다. 메모장도 마찬가지죠. IME 모드는 현재 입력 상태가 한글인지 영어인지를 나타내는 정보입니다. OS가 중국 또는 일본의 경우에는 한자와 일본어 입력 상태를 가질 수 있습니다. 아무튼, 윈도우즈가 한국어 버전이기 때문에 한영 상태를 가지겠죠. NGM은 대부분의 IME 모드를 자동으로 감지하여 변환해줍니다. 한글과 영어가 정상적으로 입력되는걸 확인할 수 있습니다.

 

 

MS 워드에서 텍스트를 타이핑하는 예제를 만들어 볼까요? 엔지엠 매크로를 홍보하기 위해 작성한 글을 입력해볼께요.

 

 

여기까지 윈도우 프로그램에 텍스트를 입력하는 방법에 대해 알아보았습니다. 엔지엠 매크로는 다른 매크로들과 다르게 텍스트를 입력하는 기능뿐만 아니라 텍스트 인풋 컨트롤의 텍스트를 읽어올수도 있습니다. OCR과 차이점이 존재하는데요. OCR은 문자 판독 기능으로 이미지에서 딥러닝으로 학습된 모델을 이용해서 글자를 추출하는 기능합니다. 그렇기 때문에 학습 모델에 따라 인식률에 차이가 발생할 수 있고, 이런 오차로 인해 완벽한 매크로를 만드는데 어려움이 존재합니다. 하지만, 텍스트 읽기 액션은 100% 정확하게 문자를 읽어옴으로써 완벽한 자동화 매크로를 만들 수 있게 해줍니다. 사용에 제약이 따르지만요^^; 테스트를 위해 메모장에 아래와 같은 텍스트를 미리 입력 해두었습니다.

 

 

에디터는 아래 그림을 참고해서 속성들을 설정 해주세요.

 

 

실행(Ctrl+Alt+F8) 해보면 텍스트를 텍스트를 정상적으로 읽어온것을 확인할 수 있습니다. 아직 다루지 않은 변수를 이용해야 파워풀한 매크로를 만들 수 있지만, 이런 기능도 있다는 것을 미리 알고 있으면 나중에 도움이 될것입니다. 메뉴얼을 정독하느냐 안하느냐는 스크립트를 개발할 때 품질에 매우 큰 영향을 줍니다. 이런 기능이 있다는 것을 몰라도 비슷하게 만들 수 있으니까요. 결국은 효율에 대한 차이가 발생할 수 밖에 없습니다.

 

 

단순히 마우스와 키보드를 조합해서 순차적으로 업무를 처리할 수 있지만, 이는 완벽하게 업무 로직을 구현하는데 한계가 발생합니다. 복잡한 자동화를 구현해야 한다면 이미지 서치는 필수 기능이죠^^; 엔지엠 에디터는 이미지 체크, 이미지 서치와 이미지 매치가 있습니다. 이외에도 멀티 서치나 전체 서치등등 다양한 기능들이 포함되어 있는데요. 이런것들은 다음에 자세히 알아보도록 하고 오늘은 이미지 서치를 테스트해봅시다. 에디터를 실행하고 스크립트를 추가(Ctrl+N)하세요. 도구 상자의 조건에 있는 "이미지 서치" 액션도 추가하세요.

[ 이미지 서치 메뉴얼 보기 ]

 

 

아래 동영상을 참고해서 찾을 이미지(휴지통)를 하나 캡쳐 해줍니다. 순차적으로 설명하면 속성창의 캡쳐를 클릭한 후 마우스 드래그로 이미지를 선택합니다. 그리고, F1을 누르면 드래그로 선택한 이미지를 저장할 수 있습니다. 캡쳐한 이미지는 엔지엠 기본 이미지 폴더에 저장됩니다. 물론, 다른 위치에 저장해도 됩니다.

 

 

실행(Ctrl+Alt+F8)해보면 "휴지통"을 찾았다고 메시지를 표시해줍니다. 메시지는 하단 아웃풋 창에 표시됩니다.

 

 

휴지통을 그림판이나 메모장으로 가려놓고 다시 실행 해보세요. 이번에는 이미지를 못찾았다고 메시지가 표시됩니다.

 

 

사실 중요한 부분은 이런 단순한 이미지보다 반투명 이미지를 찾아내는 것입니다. 요즘 3D 게임들은 대부분 반투명 이미지로 아이콘들이 만들어져 있습니다. 배경에 따라서 이미지의 색상이 바뀌는거죠. 이런 이미지들은 캡쳐 당시의 아이콘과 비교하면 전부 다르다고 결과를 표시합니다. 당연한 결과겠지만요^^; 아무튼, 이런 경우라도 이미지를 판단해서 특징을 비교해서 찾을 수 있어야 합니다.

 

 

이미지 서치에는 색상이 좀 다르더라도 같은 이미지로 판단할 수 있는 옵션이 있습니다. 아래 그림에서 "공차"가 그 역할을 하는데요. 기본값인 0은 이미지가 완전 일치해야 한다는 뜻입니다. 이미지 색상이 다르더라도 같은 이미지로 판단하려면 이 값을 증가시키면 됩니다. 최대 255까지 입력할 수 있습니다. 컴퓨터의 모든 이미지는 ARGB로 나타냅니다. Alpha는 투명도를 나타내고 나머지 RGB(Red, Green, Blue)는 빛의 3원색으로 모두 합치면 흰색이 됩니다. 각각 0~255까지의 범위를 가집니다. 그래서, 흰색을 숫자로 표현하면 255 255 255 255가 됩니다. 검은색은 255 0 0 0입니다.

 

 

이미지를 찾으면 해당 이미지가 어디에 있는지와 마우스가 클릭하게 될 좌표를 알려줍니다. 아직 변수에 대해 학습하지 않아서 자세하게 설명할수는 없으나, 일반적으로는 이 정보를 변수에 저장한 후 마우스 클릭에서 사용해야 합니다. 하지만, 간단하게 이미지를 찾아서 클릭하는 로직을 복잡하게 만듭니다. 그래서 조건 액션들에는 기본적으로 마우스 동작이 확장 속성으로 포함되어 있습니다.

 

 

아래 그림과 같이 "마우스 동작"을 "LeftClick"으로 변경하세요.

 

 

다시 실행 해볼까요? 마우스가 휴지통을 클릭하는걸 확인할 수 있습니다.

 

 

마우스가 휴지통 가운데 지점을 클릭하는걸 확인하셨나요? 만약, 랜덤하게 클릭하고 싶은 경우 어떻게 처리해야 할까요? 아래 옵션을 변경하고 다시 실행 해보세요. 이전 글인 [ 마우스 사용 방법 ]을 읽어보셨다면 이 내용을 쉽게 이해할 수 있을겁니다. 마우스 동작 방식은 동일하거든요^^

 

 

단축키로 연속해서 실행 해보면 랜덤하게 클릭하는걸 알 수 있습니다. 아래 영상에는 마우스 클릭이 하나 추가되어 있습니다. 우선, 이 내용을 이해하려면 컴퓨터가 어떻게 이미지를 분석해서 같은지 다른지 판단하는 방법을 알고 있어야 합니다. 하지만, 우리가 이런 전문적인 내용까지 알 필요는 없습니다^^; 아무튼 이미지 서치가 휴지통을 찾으면 휴지통을 클릭할겁니다. 자세히 보면 클릭된 휴지통은 색상이 하이라이트되면서 처음에 캡쳐한 이미지와 다른걸 알 수 있죠. 그래서, 다시 찾기 위해 휴지통을 선택하기 전 상태로 만들 필요가 있습니다. 그래서, 두번째에 있는 마우스 클릭 액션으로 다른곳을 클릭하게 만들어준겁니다.

 

 

이해하는데 어려울수도 있는데요. 실제 나는 선택되지 않은 휴지통을 찾기로 했다는걸 잊지 마세요. 한번 클릭되면 휴지통이 변한다는것도 확인해야 합니다. 사람이 볼때는 똑같은 휴지통이지만, 좀 더 관심있게 사물을 관찰한다면 선택 전 휴지통과 선택 후 휴지통이라는걸 인지할 수 있습니다. 사람은 무의식적으로 선택 여부와 상관없이 휴지통으로 인지할 수 있습니다. 하지만, 컴퓨터는 사람처럼 인지할 수 없어요. 그렇기에 선택 전 휴지통과 선택 후 휴지통이 다르다고 처리해줘야 합니다.

 

만약 휴지통 이미지를 작게 만들었다면 동작이 어땠을까요? 선택 여부와 관계없이 정상 동작할수도 있습니다. 선택된 휴지통과 선택되지 않은 휴지통은 아래와 같은데요. 유심히 보면 휴지통은 변화가 없지만 배경이 약간 다른걸 알 수 있죠? 그래서 배경을 제외하고, 휴지통 안쪽 부분만 캡쳐하면 선택 여부와 관계없이 동작됩니다.

 

 

 

휴지통 이미지를 아래 그림과 같이 다시 캡쳐 했습니다. 배경 없이 휴지통 내부만 캡쳐했습니다.

 

 

단축키로 연속해서 실행(Ctrl+Alt+F8) 해보면 휴지통이 선택된 상태에서도 계속 찾아지는걸 알 수 잇습니다. 이런 부분들이 업무를 자동화하는데 중요한 노하우입니다. 사람의 직관성은 컴퓨터도 흉내내기 어려운 엄청난 메커니즘입니다. 이걸 컴퓨터 알고리즘으로 구현하려면 인공 신경망 알고리즘을 사용해야 하는데요. 이게 딥러닝으로 이미지를 분류하고 추적하는 기능입니다. 엔지엠에서는 텐서플로우와 욜로 딥러닝을 지원하고 있습니다. 아무튼, 이미지 서치나 이미지 매치는 컴퓨터가 쉽게 이해할 수 있도록 7살 어린이 대하듯 잘 알려줘야 합니다^^;

 

 

이외에도 다양한 방식으로 원하는 결과를 만들어 낼 수 있습니다. 노하우는 스크립트를 많이 만들어보고, 문제 해결에 대한 답을 찾을때마다 한단계씩 성장하게 됩니다. 스크립트 제작하면서 노하우를 홈페이지에 공유해주면 다른 분들도 빠르게 성장할 수 있을겁니다. 하지만~ 블로그를 해본 분들은 아실겁니다. 글 하나를 적기 위해 많은 노력이 들어간다는것을요^^; 그러니~ 노하우나 팁을 공유해주는 글에는 응원의 댓글이라도 한번 달아주시면 좋겠습니다. 그리 어렵지 않은 일이니까요~

 

이번에는 마우스 동작을 "LeftDoubleClick"으로 변경하고 다시 실행 해보세요. 휴지통이 열립니다.

 

 

이미지를 문자로 처리할수도 있는데요. 이 기능은 문자열 비교 액션을 학습하면서 같이 알아보도록 하겠습니다. 이미지 서치에서 인식한 이미지를 문자로 설정하고 문자열 비교에서 해당 문자라면 조건에 따라 처리가 가능합니다. 여러가지 상황에서 응용할 수 있는데요. 여러가지 액션들을 조합해서 사용해야 합니다. 아직은 어떻게 응용해야 할지 감지 오지 않을겁니다. 메뉴얼을 보면서 직접 스크립트를 작성하면 금방 실력이 느는데요. 이해력과 응용력은 사람마다 차이가 있긴하지만, 일반적으로 2주 정도면 원하는 기능을 만들 수 있습니다.

 

게임 또는 업무를 자동화할 때 필수는 아니지만~ 없으면 아쉬운 기능이 문자 판독입니다. 문자 판독은 OCR(Optical Character Recognition)이라고 하는데요. 숫자와 문자가 포함된 이미지 또는 모니터 화면에서 실제 문자로 변환하여 추출하는 기술입니다. 문자 판독 기능이 필요한 이유는 이미지에 숫자 100은 크거나 작다라고 비교할 수 없기 때문입니다. 문자료 변환하면 100을 사칙연산으로 무언가 2차적인 처리를 할 수 있기 때문입니다. [ 자동 물약 먹기 예제 ]를 참고하면 이해하기 쉬울겁니다. 우선, 문자 인식 매크로를 만들기 위해 에디터를 실행하고 스크립트를 하나 추가(Ctrl+N)하세요. 그리고 도구 상자의 조건에서 "OCR 체크" 액션을 더블 클릭하여 스크립트에 추가하세요.

 

 

테스트를 위해 문자가 포함된 이미지 또는 화면이 있어야겠죠? 아래 동영상을 참고해서 같이 테스트 해봅시다.

 

 

실제 게임 화면은 아니지만, 숫자를 인식할 범위를 선택하고 실행하면 해당 영역의 숫자값을 출력하게됩니다. 이미지 필터에서 대비(Contrast) 값을 101정도 주고 실행한 결과입니다. 여러분들도 이와 동일하게 "1205150"이라는 숫자가 인식된것을 알 수 있습니다. 엔지엠 매크로는 다른 매크로들과 다르게 이미지 테스터와 OCR 테스터 유틸리티를 이용해서 필터를 적용시키고 결과를 실시간으로 확인할 수 있는 기능을 가지고 있습니다. 그래서 보다 빠르게 이미지를 분석하고, 매크로에 적용시킬 수 있습니다.

 

 

유틸리티로 테스트한 내용을 스크립트에 적용하려면 옵션들을 복사해서 사용해야 합니다. 아래 그림과 같이 "OCR 영역" 속성을 전체 선택 후 복사하세요.

 

 

스크립트에 추가한 OCR 체크 액션의 속성에 붙여넣기 해줍니다. 그리고, 숫자 사용도 True로 변경해주고 대비 값도 101로 입력하세요.

 

 

실행하면 동일한 결과가 나와야겠죠? 실행(Ctrl+Alt+F8)을 눌러서 테스트 해보세요.

 

 

테스터에서 나온 결과와 동일한 값이 출력되는걸 확인할 수 있습니다. 숫자가 아닌 문자를 테스트하려면 아래 동영상을 참고해서 따라 해보세요. 인식할 이미지의 배경이 단순하고 문자와 겹치는 색상이 없습니다. 그래서, 특별히 필터를 적용할 필요는 없어요^^; 테스트한 사이트는 뉴욕 타임즈입니다.

 

 

3D게임과 같은 경우 글자가 배경색에 뭍히는 경우가 많습니다. 이런 경우에는 문자 판독율이 낮아지게 되는데요. 엔지엠 에디터에서 제공하는 수많은 필터를 사용해서 인식율을 높일 수 있습니다. 이미지 필터에 대한 내용은 [ 여기 ]에서 확인이 가능합니다. 아래 동영상처럼 테스터 유틸리티는 옵션 값을 변경하면서 시각적으로 확인이 가능합니다. 현존하는 매크로 프로그램중에 이미지를 직접 편집하면서 적용시키는 프로그램은 엔지엠 매크로가 유일합니다. 그래서, 스크립트 제작 속도가 가장 빠르고 쉽습니다.

 

 

몇가지 테스트를 더 해볼까요? 아래와 같은 이미지는 단순히 흑백으로 변환 하기만해도 잘 인식합니다.

 

 

빨간색 배경의 숫자도 인식시켜봅니다. 1871로 인식이 됩니다.

 

 

스크립트의 OCR 체크에서 동일하게 적용 시켜보세요. 이미지에서 숫자 1871이 정상적으로 인식되었습니다.

 

 

글을 작성하다보니 유틸리티에 대한 설명이 되었는데요. 여러분들도 직접 OCR 체크 액션을 추가하고 이런 저런 속성들을 변경해가면서 테스트 해보시기 바랍니다. 게임이나 업무에 따라 배경이 각각 다르고, 컴퓨터 환경도 다릅니다. 그래서 자신이 만들고자 하는 매크로 환경에 최적화된 옵션값을 찾아야 합니다. 이런 작업들이 많은 시간을 소비하게 만들고 어려운 부분이죠. 그렇더라도 필터 기능 자체가 없는 매크로를 이용하는것보다는 엔지엠 에디터로 이미지들을 전처리하고 직접 적용하면서 만드는게 가장 효율이 좋습니다.

 

개발자에게 후원하기

 

추천, 구독, 홍보 꼭~ 부탁드립니다.

여러분의 후원이 빠른 귀농을 가능하게 해줍니다~ 답답한 도시를 벗어나 귀농하고 싶은 개발자~

감사합니다~

추천0 비추천0