안녕하세요. 엔지엠소프트웨어입니다. 업무를 자동화할 때 가장 많이 사용하는 액션이 조건입니다. 단순한 업무는 순차적인 마우스, 키보드 입력과 시간 지연을 통해 어느정도 해결이 가능합니다. 예를 들어서 매일같이 특정 웹사이트에 접속해서 검색 키워드를 넣고 1~10위까지 나오는 사이트를 수집할 수 있습니다. 이런 경우에는 아래와 같은 절차로 수행이 가능합니다.

1. 웹브라우저 실행
2. 지연 10초
3. 검색 사이트로 이동(네이버, 다음, 구글...)
4. 지연 10초
5. 검색어 입력
6. 지연 10초
7. 검색된 사이트를 순차적으로 기록

 

 

예제라서 좀 더 디테일하게 여러가지 속성들을 설정해야 하지만, 사람이 하는 행동을 그대로 스크립트로 옮기면 이와 유사하게 작성이 될겁니다. 하지만, 이런 스크립트는 비효율적이고 문제가 발생될 가능성을 내포하고 있습니다. 어떤 문제가 있을까요? 그렇습니다. 인터넷 환경에 따라 10초 또는 1초 이상 걸릴수도 있고, 어떤 알 수 없는 문제로 원하는 사이트로 이동이 안되거나 검색어를 잘못 넣을수도 있습니다. 너무 극단적이긴해도 내가 원하는 동작이 제대로 수행되고 있는지 판단할 수 있는 수단이 필요하다는거죠^^;

 

 

일반적인 자동화 프로그램들은 이런 문제를 해결하기 위해 이미지 조건들을 기능으로 제공합니다. 엔지엠도 동일하게 이미지를 판단할 수 있는 여러가지 방법들을 제공하고 있죠. 대표적으로 이미지 체크와 이미지 서치가 있습니다. 이외에도 이미지 매치와 멀티로 수행이 가능한 확장 액션도 있습니다. 또한, 이보다 더 진화한 머신러닝(HARR)과 딥러닝(텐서플로우, 다크넷)이 있습니다. [ 다크넷 ]의 Yolo는 준비중입니다^^;

 

 

머신러닝이나 딥러닝은 나중에 자세히 알아보도록 하고, 오늘의 주제인 이미지를 찾는 방법에 대해 알아볼께요. 우선, 에디터와 그림판을 하나 실행해주세요. 그리고 그림판에는 가장 큰 붓으로 주황색 점을 하나 찍어주고 주황색 점을 이미지로 저장하세요. (캡쳐를 이용해서 orange로 저장합니다.)

 

 

실행해보면 이미지를 정상적으로 찾죠?

 

 

이미지 체크는 이미지를 캡쳐한 동일한 위치에서 이미지를 비교합니다. 그렇기 때문에 그림판의 위치가 조금이라도 변하면 이미지를 찾을 수 없게 됩니다. 하지만 퍼포먼스는 가장 좋다고 할 수 있습니다. 캡쳐한 이미지의 동일한 좌표에서부터 비교를 하기 때문에 넓은 범위에서 찾는 이미지 서치보다는 효율적이죠. 이번에는 이미지 서치를 이용해서 테스트를 해볼께요. 이미지 체크와는 다르게 그림판의 위치가 변경되더라도 잘 찾는걸 알 수 있습니다.

 

 

이미지 서치는 전체 화면에서 사용자가 선택한 이미지를 찾아줍니다. 위 동영상을 보면 아시겠지만, 실행 버튼을 클릭한 후 약간의 딜레이가 발생하는걸 알 수 있을겁니다. 그래서, 좀 더 효율적으로 이미지를 찾기 위해 아래처럼 찾기 영역을 설정할 수 있습니다. 아무래도 전체 화면에서 주황색 점을 찾는것보다는 작은 영역에서 찾는게 빠르겠죠^^; 아래 동영상에서는 처음에 실패하게 됩니다. 주황색 점을 앞에서 한번 클릭해서 모양이 달라졌기 때문입니다. 그래서, 두번째에 되돌리기를 한번 클릭하고 정상적으로 찾는걸 알 수 있습니다.

 

 

속도가 더 빨라진게 느껴지시나요? 이번에는 이미지 매치를 테스트해볼께요. 이미지 서치와는 다르게 매치는 클릭이 발생했더라도 이미지가 비슷하면 계속해서 찾아줍니다. 차이점을 아시겠죠^^?

 

 

이미지 서치와 이미지 매치의 차이점은 명확합니다. 이미지 서치는 비교할 이미지의 픽셀값으로 판단합니다. 이미지 매치는 이미지의 모양과 밝기, 채도등등을 보고 판단하죠. 정확하게 모든 픽셀의 값이 일치해야 하거나 어느정도 정확도가 보장되어야 한다면 이미지 서치를 이용하는게 좋습니다. 하지만, 유사한 모양에 따라 판단해야 한다면 이미지 매치가 효율적입니다. 하지만, 모두가 동일한 환경이 될수는 없기 때문에 이미지 체크와 이미지 서치는 공차(오차율)를 통해 어느정도 조정이 가능합니다. 이미지 매치는 매치율을 통해 좀 더 러프하게 비교할 수 있습니다.

  

 

다음에는 비활성을 적용해서 멀티로 동작시키는 방법에 대해 알아보도록 하겠습니다.

감사합니다.

추천2 비추천0