ChkImgX関数

本ページには広告が含まれています。

画像の曖昧検索を行います。

構文: CHKIMGX( 画像名, ID, x1, y1, x2, y2, 番号, 判定閾値しきいち, 着目する色 )

引数

画像名（String）必須

画像ファイル名（BMP, PNG, JPEG, 形式は拡張子から判断）

ID （Integer）省略可

Windowを識別するID （0 であればスクリーン全体）

x1, y1, x2, y2 （Integer）省略可

サーチ範囲（指定ウィンドウの左上が原点。クライアント領域基準ではない）

番号（Integer）省略可

マッチした箇所が複数ある場合に順番を指定（左上から）

-1: -1が指定された場合はヒットした数を戻値として返し、座標,スコア,画像番号の情報は一致率の高い順で ALL_IMGX_X[ ], ALL_IMGX_Y[ ], ALL_IMGX_SCORE[ ], ALL_IMGX_NUM[ ] に格納。
G_IMGX_X, G_IMGX_Y, G_IMGX_SCORE, G_IMGX_NUMには最も一致率の高い箇所の情報が入る

判定閾値（Integer）省略可

[0-100](%) マッチしたと判定する閾値（0は完全一致のみ）マッチした場合のスコアはG_IMGX_SCOREに格納。値が小さいほど厳しくなる。1～20程度が実用範囲と思われる。

着目する色（Integer）省略可

指定した色とどれだけ近いかでグレースケール化した画像を使ってマッチングの計算を行う。文字の色などを指定することで背景の変化に強いマッチング判定を行うことが可能。
$000000〜$FFFFFFのRGB値で指定。-1は色指定なし。

戻り値: 有ればTRUE、無ければFALSE
TRUEの場合は見つかった座標、スコアをグローバル変数G_IMGX_X、G_IMGX_Y、G_IMGX_SCOREに格納
番号にて -1指定時はヒットした数を返し、座標,スコア,画像番号は配列変数ALL_IMG_X[ ],ALL_IMG_Y[ ]
ALL_IMGX_SCORE[ ], ALL_IMGX_NUM[ ]に格納（配列はゼロから）
※内部処理の制限で最大200個までしか検出しない。番号に201以上を指定すると常にFALSEが返る

ダウンロード方法

UWSCの標準関数であるCHKIMG関数 (スクリプト関数)は完全に一致した画像にしかマッチしないため、少しでも変わってしまうと検知されなくなってしまいます。そこで下記サイトにある拡張機能（ChkImgX関数）を利用すると曖昧検索できるようになります。

ChkImgX-ver1.2.1.zipをクリックしダウンロードします。バージョンは変わっている可能性がありますが、最新版をダウンロードしてください。

また、ChkImgX関数の使用には.NET Framework 4.5以上のバージョンがインストールされている必要があります。

以下のプログラムでレジストリからインストールされている.NET Frameworkのバージョンを求めることができます。値からバージョンの関係値はインストールされている .NET Framework のバージョンを確認する - .NET Framework | Microsoft Learnを参考にしました。

HASHTBL version
version["378389"] = ".NET Framework 4.5"
version["378675"] = ".NET Framework 4.5.1"
version["378758"] = ".NET Framework 4.5.1"
version["379893"] = ".NET Framework 4.5.2"
version["393295"] = ".NET Framework 4.6"
version["393297"] = ".NET Framework 4.6"
version["394254"] = ".NET Framework 4.6.1"
version["394271"] = ".NET Framework 4.6.1"
version["394802"] = ".NET Framework 4.6.2"
version["394806"] = ".NET Framework 4.6.2"
version["460798"] = ".NET Framework 4.7"
version["460805"] = ".NET Framework 4.7"
version["461308"] = ".NET Framework 4.7.1"
version["461310"] = ".NET Framework 4.7.1"
version["461808"] = ".NET Framework 4.7.2"
version["461814"] = ".NET Framework 4.7.2"
version["528040"] = ".NET Framework 4.8"
version["528372"] = ".NET Framework 4.8"
version["528449"] = ".NET Framework 4.8"
version["528049"] = ".NET Framework 4.8"
version["533320"] = ".NET Framework 4.8.1"
version["533325"] = ".NET Framework 4.8.1"

DIM WshShell = CREATEOLEOBJ("WScript.Shell")
DIM Release = WshShell.RegRead("HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\NET Framework Setup\NDP\v4\Full\Release")
PRINT version[Release]

初期設定

ダウンロードしたZIPファイルを解凍します。

ChkImgX-1.2.1
- ChkImgX
  - src
    - ChkImgX
      - ChkImgX.cpp
      - ChkImgX.hpp
      - ChkImgX.vcxproj
      - ChkImgX.vcxproj.filters
      - Export.def
      - stdafx.h
      - targetver.h
      - tmatch_opencv.h
      - tmatch_opencv.hpp
    - include
      - GDICapture.h
      - GDICapture.hpp
      - LightWnd.h
      - LightWnd.hpp
      - NekoAddon.h
      - NekoAddon.hpp
      - search_base.h
      - search_base.hpp
      - string_buffer.h
      - win_int64.h
    - NekoAddon
      - Export.def
      - NekoAddon.cpp
      - NekoAddon.vcxproj
      - NekoAddon.vcxproj.filters
      - stdafx.cpp
      - stdafx.h
      - targetver.h
    - ChkImgX.sln
    - ChkImgX.dll
    - ChkImgX.uws
    - NekoAddon.dll
    - Readme.txt
    - sample.png
    - sample.uws
    - 簡単キャプチャ.exe

プログラムを動かすのに必要なのは以下のファイルのみです。

ChkImgX-1.2.1
- ChkImgX
  - ChkImgX.dll
  - ChkImgX.uws
  - NekoAddon.dll

これらのファイルがある同じ階層にChkImgX関数を実行するUWSCファイルを置きます。

ChkImgX関数を実行するには、startup_chkimgx()〜shutdown_chkimgx()で囲う必要があります。

特殊変数

マッチした画像の情報が以下の特殊変数に代入されます。第七引数の番号に-1が指定された場合は、一致率の高い（スコア値が低い）順でAll_*に代入され、G_*には最も一致率の高い（スコア値が最低）情報が代入されます。

G_IMGX_X（ALL_IMGX_X）: x座標
G_IMGX_Y（ALL_IMGX_Y）: y座標
G_IMGX_SCORE（ALL_IMGX_SCORE）: スコア
1-類似度[%]で求められる値。0=完全一致。例えば95%一致した画像にマッチした場合、5が出力されます。
G_IMGX_NUM（ALL_IMGX_NUM）: 画像番号
ファイル名.番号.拡張子の形式で指定したすべてのパターン画像で判定しマッチした画像の番号。
画像にtest.pngを指定した場合、test.pngとtest.n.png（nは自然数）のすべてのファイルをパターン画像とし、test.2.pngにマッチした場合2を、test.pngにマッチした場合-1を返す。

使い方

マインスイーパー

マインスイーパーのページで画像認識を行います。プログラムはブラウザのズーム倍率を100%にして実行してください。

画像は以下のボタンからダウンロードして同じフォルダに置いて使用してください。

以下のプログラムは画面上にある未開放.pngのx座標、y座標を出力します。ゲーム開始時に実行すると9×9で81個の画像を認識します。

プログラム実行中にブラウザの画面をスクロールすると正しく認識できなくなる可能性があります。

画像が認識しない場合はChkImgX関数の第八引数の判定閾値の値を10から20くらいにして判定を甘くしてみてください。

それでも認識しない場合はZIPファイル内の画像を参考にスクリーンショットを撮り、PNGファイルとして保存して置き換えてください。

結果

0,    270,   343
1,    480,   343
2,    340,   343
3,    410,   343
4,    235,   343
5,    305,   343
6,    375,   343
7,    480,   378
8,    445,   343
9,    235,   378
10,   305,   378
11,   375,   378
12,   410,   378
13,   445,   378
14,   515,   378
15,   515,   343
16,   270,   378
17,   340,   378
18,   235,   413
19,   270,   413
20,   305,   413
21,   340,   413
22,   410,   413
23,   480,   413
24,   375,   413
25,   445,   413
26,   515,   413
27,   235,   448
28,   270,   448
29,   305,   448
30,   375,   448
31,   410,   448
32,   445,   448
33,   480,   448
34,   515,   448
35,   340,   448
36,   340,   483
37,   410,   483
38,   480,   483
39,   270,   483
40,   445,   483
41,   235,   483
42,   305,   483
43,   375,   483
44,   515,   483
45,   305,   518
46,   375,   518
47,   445,   518
48,   480,   518
49,   515,   518
50,   270,   518
51,   410,   518
52,   235,   518
53,   340,   518
54,   480,   553
55,   515,   553
56,   270,   553
57,   340,   553
58,   375,   553
59,   410,   553
60,   445,   553
61,   235,   553
62,   305,   553
63,   305,   588
64,   375,   588
65,   445,   588
66,   515,   588
67,   270,   588
68,   480,   588
69,   235,   588
70,   340,   588
71,   410,   588
72,   480,   623
73,   515,   623
74,   270,   623
75,   305,   623
76,   340,   623
77,   410,   623
78,   375,   623
79,   445,   623
80,   235,   623

マインスイーパーの各マスの状態を配列に格納し出力します。images配列に格納されている画像名を順番に画像認識のチェックを行い、該当する配列の位置に格納していきます。

CALL ChkImgX.uws

startup_chkimgx()

DIM board[8][8]
SETCLEAR(board, "？")

DIM images[] = "未開放", "済", "旗", "旗ミス", "爆弾", "爆発", "1", "2", "3", "4", "5", "6", "7", "8"
DIM values[] = "未", "済", "旗", "✕", "爆", "●", "１", "２", "３", "４", "５", "６", "７", "８"
DIM xs[-1]
DIM ys[-1]
DIM fields[-1]

FOR i = 0 TO UBound(images)
	IFB ChkImgX(images[i] + ".png", 0, 0, 0, G_SCREEN_W, G_SCREEN_H, -1, 0) THEN
		arrayMerge(xs, ALL_IMGX_X)
		arrayMerge(ys, ALL_IMGX_Y)
		FOR j = 0 TO LENGTH(ALL_IMGX_X) - 1
			arrayPush(fields, values[i])
		NEXT
	ENDIF
NEXT

DIM xmin = CALCARRAY(xs, CALC_MIN)
DIM ymin = CALCARRAY(ys,CALC_MIN)

FOR i = 0 TO UBound(xs)
	board[(ys[i] - ymin) / 35][(xs[i] - xmin) / 35] = fields[i]
NEXT

// ボード出力
FOR i = 0 TO UBound(board)
	DIM str = ""
	FOR j = 0 TO UBound(board[0])
		str = str + board[i][j]
	NEXT
	PRINT str
NEXT

shutdown_chkimgx()

//////////////////////////////////////////////////
// 【引数】
//   arr : 追加される配列（参照引数）
//   tmp : 追加する配列
// 【戻り値】
//   追加した後の配列の要素数
//////////////////////////////////////////////////
FUNCTION arrayMerge(Var arr[], tmp[])
	FOR n = 0 TO UBound(tmp)
		arrayPush(arr, tmp[n])
	NEXT
	RESULT = UBound(arr)
FEND

//////////////////////////////////////////////////
// 【引数】
//   array : 要素を追加する配列（参照引数）
//   values : 追加する要素をvalue1から指定
// 【戻り値】
//   処理後の配列の要素の数
//////////////////////////////////////////////////
FUNCTION arrayPush(var array[], value1 = EMPTY, value2 = EMPTY, value3 = EMPTY, value4 = EMPTY, value5 = EMPTY, value6 = EMPTY, value7 = EMPTY, value8 = EMPTY, value9 = EMPTY, value10 = EMPTY, value11 = EMPTY, value12 = EMPTY, value13 = EMPTY, value14 = EMPTY, value15 = EMPTY, value16 = EMPTY)
    DIM i = 1
    WHILE EVAL("value" + i) <> EMPTY
	  DIM res = RESIZE(array, UBound(array) + 1)
	  array[res] = EVAL("value" + i)
	  i = i + 1
	WEND
	RESULT = LENGTH(array)
FEND

//////////////////////////////////////////////////
// 【引数】
//   inputs : 繰り返す文字列
//   multiplier : inputsを繰り返す回数
// 【戻り値】
//   inputsをmultiplier回を繰り返した文字列を返します
//////////////////////////////////////////////////
FUNCTION strRepeat(inputs, multiplier)
	DIM res = ""
	FOR n = 1 TO multiplier
		res = res + inputs
	NEXT
	RESULT = res
FEND

//////////////////////////////////////////////////
// 【引数】
//   arrayname : 上限値を求める配列の名前
//   dimension : 返す次元を示す整数
// 【戻り値】
//   配列の上限値
//////////////////////////////////////////////////
FUNCTION UBound(arrayname[], dimension = 1)
	RESULT = EVAL("RESIZE(arrayname" + strRepeat("[0]", dimension - 1) + ")")
FEND

結果

以下は盤面を進めたとき。

結果

以下はゲームオーバーのとき。

結果

NoxPlayer

NoxPlayerのウィンドウで画像認識を行いたい場合、第二引数にNoxPlayerのIDを指定。

以下はNoxPlayerのアプリストア.pngの画像を検索。

NoxPlayerの画面（IDに指定しているウィンドウ）
探す画像（アプリストア.png）

結果

アプリストア.pngをクリックする。

第七引数の番号に1以上の数値を指定するとi番目にマッチした画像の情報を取得できます。見つからなかった場合はFalseを返すので、以下のように記述するとマッチしたすべての画像に処理が行なえます。

以下はマッチした画像のx座標、y座標、スコア、番号を取得する例。

第七引数に-1を指定した場合は、配列変数にマッチした画像の情報が格納されます。

ゲームなどを操作するときは以下のように無限ループでチェックを行います。優先度の高いものから順に記述していきます。

G_IMGX_XとG_IMGX_YをG_IMGX_X + 10、G_IMGX_Y - 15とかすることでクリックする位置をずらすことができます。

マッチしたらカーソルが持っていかれるので、ESCでプログラムを強制終了するようにしています。

マッチしない場合は第二引数にIDを設定している場合は0にして範囲を画面にする、もしくは第八引数の閾値を+10〜20程度増やし判定を緩くしてみるとかしてみてください。IDを0にしてマッチしたなら指定するIDが間違っていたことになりますし、閾値を上げてマッチしたなら画像が厳密過ぎたことになります。

CHKIMGからChkImgXへの書き換え

画像名は拡張子（BMP、PNG、JPEG）まで記述する必要があります。

番号（第七引数）を指定するときは、ID、x座標、y座標は省略不可。

IDを指定していればバックグラウンドでも検知できます。

エラー

存在しないファイルを指定

ファイル名に存在しないファイルを指定すると発生します。1行目のimage.pngには指定したファイル名が入ります。画像は実行しているUWSCファイルと同じフォルダに置いてください。

指定範囲が無効

x1 > x2またはy1 > y2で0を除く自然数を座標として指定した場合、エラーが発生します。1行目の[x2,x1,y2,y1]には指定した座標が入ります。

Android画面をPCにミラーリング

Androidを操作したい場合、PCに画面をミラーリングすることで操作することができます。

無料版では連続で10分の制限時間がありますが接続し直せば何度でも使えるので、無料版でも十分かと思います。無料版で動作のテストを行い有料版を購入するのでも良いと思います。

PCのリンク: ApowerMirror－スマホをリアルタイムにミラーリング/制御する
Google Play（Android）のリンク: Google Play

ApowerMirrorのIDは以下で指定できます。

参考文献

https://classicrpa.000webhostapp.com/

ChkImgX関数

ダウンロード方法

初期設定

特殊変数

使い方

マインスイーパー

NoxPlayer

CHKIMGからChkImgXへの書き換え

エラー

存在しないファイルを指定

指定範囲が無効

Android画面をPCにミラーリング

参考文献

検索フォーム

設定

最近の投稿・更新

関連記事

タグ一覧

このページを共有する

寄付・支援