pythonでedgeを自動操作（特定の個所をクリック文字入力等）する

element = driver.find_element_by_xpath("ここにコピーしたXpathを貼り付ける")
element.click()

import cv2
import os
from PIL import ImageGrab

ImageGrab.grab().save('IMG/screenshot.bmp')
img = cv2.imread('IMG/screenshot.bmp', cv2.IMREAD_COLOR)
window_name = 'img'
imgBoxHsv = cv2.cvtColor(img,cv2.COLOR_BGR2HSV)

def onMouse(event, x, y, flags, params):
    if event == cv2.EVENT_LBUTTONDOWN:
        crop_img = imgBoxHsv[[y], [x]]
        H_val = crop_img.T[0].flatten().mean()
        S_val = crop_img.T[1].flatten().mean()
        V_val = crop_img.T[2].flatten().mean()
        print("H: {}, S: {}, V: {}".format(H_val, S_val, V_val))

def my_makedirs(path):
    if not os.path.isdir(path):
        os.makedirs(path)

dirpath= "./IMG"
my_makedirs(dirpath)


cv2.imshow(window_name, img)
cv2.setMouseCallback(window_name, onMouse)
cv2.waitKey(0)

import cv2
import numpy as np

def frame_search(img_pass):

    img = cv2.imread(img_pass)
    hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
    # HSV範囲(閾値を変えたい場合は下記の範囲を変更すること。)
    #クリック証券赤色ボタン用（口座開設）
    #lower = np.array([1,240,170])
    #upper = np.array([2,250,200])
    #クリック証券青色枠用（ログイン）
    lower = np.array([105,255,174])
    upper = np.array([105,255,174])

    # 指定色以外にマスク
    mask = cv2.inRange(hsv, lower, upper)
    res = cv2.bitwise_and(img, img, mask= mask)
    # 一旦保存
    cv2.imwrite("IMG/mask_color.jpg", res)
    #グレースケール化し保存
    img_gray =cv2.cvtColor(res,cv2.COLOR_BGR2GRAY)
    cv2.imwrite("IMG/mask_gray.jpg", img_gray)
    #最近のcv2.findContoursの戻り値はこの2つらしい（ここがずっとエラー出てた）
    contours, hierarchy = cv2.findContours(img_gray, cv2.RETR_LIST, cv2.CHAIN_APPROX_NONE)

    for i in range(0, len(contours)):
        if len(contours[i]) > 0:
            # remove small objects（↓の値を変えることで取得したい対象に割と自在に対応できる）
            if cv2.contourArea(contours[i]) < 200:
                continue
            #print(cv2.contourArea(contours[i]))
            cv2.polylines(img, contours[i], True, (0, 255, 0), 3)
            #重心（クリックする位置）を取得し、マーカーをつける
            cnt = contours[i]
            M = cv2.moments(cnt)
            cx = int(M['m10'] / M['m00'])
            cy = int(M['m01'] / M['m00'])
            cv2.drawMarker(img, (cx, cy), (0, 0, 0), markerType=cv2.MARKER_TILTED_CROSS, markerSize=50)
            print(cx,cy)
    # save
    cv2.imwrite('IMG/result_polylines.jpg', img)
    #対象が1個に絞れていることが前提
    return cx,cy

    actions = ActionChains(driver)
    actions.move_by_offset(offsetx, offsety)
    actions.click()
    actions.perform()