Как я могу инвертировать движение курсора в python?

В этом коде я использую Python 2.7.13, OpenCV 2.4.13 и PyAutoGUI 0.9.36. Целью является перемещение курсора в соответствии с движением лица, но движение курсора инвертируется. Например, если мое лицо идет вправо, курсор перемещается влево, и если мое лицо идет влево, курсор идет вправо. Кроме того, я хочу, чтобы курсор перемещался вправо, влево, вверх и вниз по всему экрану моего ПК, размер которого равен x = 1920, y = 1080.

Цель этой программы - показать, что можно получить новый способ получить больше независимости и доступа, чтобы люди с тетраплегией могли выполнять простые действия, которые являются частью рутины миллионов людей, таких как включение и выключение света и включение и выключение телевизора.

import cv2
import pyautogui

faceCascade = cv2.CascadeClassifier('haarcascade_frontalface_default.xml')

video_capture = cv2.VideoCapture(0)

while True:
    # Capture frame-by-frame
    ret, frame = video_capture.read()

    gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
    faces = faceCascade.detectMultiScale(
        gray,
        scaleFactor=1.3,
        minNeighbors=5,
        minSize=(80, 80),
        flags=cv2.cv.CV_HAAR_SCALE_IMAGE
    )

    #print 'faces: ', faces

    # Draw a rectangle around the faces
    for (x, y, w, h) in faces:
        cv2.rectangle(frame, (x, y), (x+w, y+h), (0, 0, 255), 3)

    #width, height = pyautogui.size()
    #cursorx, cursory = pyautogui.position()
    #posx = width - cursorx
    #posy = cursory
    pyautogui.moveTo(x+w, y+h)

    # Display the resulting frame
    #cv2.imshow('Video', frame)
    rimg = cv2.flip(frame,1) #invert the object frame
    cv2.imshow("vertical flip", rimg) 

    if cv2.waitKey(1) & 0xFF == ord('q'):
        break
# When everything is done, release the capture
video_capture.release()
cv2.destroyAllWindows()

Ответ 1

Если вы знаете размер экрана, просто вычтите то, что у вас есть сейчас, из размера экрана, чтобы получить курсор на противоположной стороне. Например:

pyautogui.moveTo(1920 - (x+w), 1080 - (y+h))

Если x + w доставит вам положение экрана 2 (слева от экрана), теперь вы получите положение экрана 1918 (справа от экрана)

Ответ 2

Это хорошая вещь, которую вы делаете.

Чтобы исправить движение мыши, вы можете вычесть движение x, y из размера экрана. Но затем охватывая его на весь экран с помощью pyautogui.moveTo(x, y) будет очень неточным и шумным. Вместо этого вы можете использовать

pyautogui.moveRel(None, steps)

С учетом сказанного: если вы используете каскад лица в первую очередь, было бы очень сложно переместить лицо для соответствующего движения мыши. Использование ориентации лица, например, наклона влево или справа, было бы лучше, если бы я сказал.

В приведенном ниже коде я использовал каскады глаз для левого правого движения. Так что наклонить лицо немного было бы достаточно для движения. Я работал над OpenCV 3.2, поэтому при необходимости внести необходимые изменения в вашу версию.

КОД

import numpy as np
import cv2
import pyautogui

right = cv2.CascadeClassifier('haarcascade_righteye_2splits.xml')
left = cv2.CascadeClassifier('haarcascade_lefteye_2splits.xml')
smile = cv2.CascadeClassifier('haarcascade_smile.xml')

cam=cv2.VideoCapture(0)

blank=np.zeros((480,848,3),dtype=np.uint8)  # Change this correctly to size of your image frame
fix=0 

print "press y to set reference box for y motion" #set a reference initially for y motion

while(cam.isOpened()):


        ret,img = cam.read()
        r=0
        l=0
        gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
        r_eye= right.detectMultiScale(gray, 1.9, 9)
        l_eye= left.detectMultiScale(gray, 1.9, 9)  #Change these values according to face distance from screen

        for (rx,ry,rw,rh) in r_eye:
                cv2.rectangle(img,(rx,ry),(rx+rw,ry+rh),(255,255,0),2)
                r_c=(rx+rw/2,ry+rh/2)
                r=1

        for (lx,ly,lw,lh) in l_eye:          
                cv2.rectangle(img,(lx,ly),(lx+lw,ly+lh),(0,255,255),2)
                l_c=(lx+lw/2,ly+lh/2)
                l=1

        if(r*l):

            if(l_c[0]-r_c[0]>50):
                cv2.line(img,r_c,l_c,(0,0,255),4)
                mid=((r_c[0]+l_c[0])/2,(r_c[1]+l_c[1])/2)
                cv2.circle(img,mid,2,(85,25,100),2)
                if(fix==1):                        # Change this part of code according to what you want
                                                   # for motion along y direction
                    if( mid[1]<one[1]):
                        pyautogui.moveRel(None, -15)
                    if(mid[1]>two[1]):
                        pyautogui.moveRel(None, 15)

                if(cv2.waitKey(1))== ord('y'):
                        blank=np.zeros_like(img)
                        one=(mid[0]-60,r_c[1]-7)   # Change the Value 60,7 to change box dimentions
                        two=(mid[0]+60,l_c[1]+7)   # Change the Value 60,7 to change box dimentions
                        cv2.rectangle(blank,one,two,(50,95,100),2)
                        fix=1


        elif(r) :   pyautogui.moveRel(-30, None)   # Change the Value and Sign to change speed and direction

        elif (l):   pyautogui.moveRel(30, None)    # Change the Value and Sign to change speed and direction



        img=cv2.bitwise_or(img,blank)
        cv2.imshow('img',img)
        if(cv2.waitKey(1))==27:break

cv2.destroyAllWindows()

В коде вам нужно нажать y, чтобы установить поле для ссылки для движения y. Из коробки, с обоими глазами будет движение.

Мы можем добавить каскад улыбки для щелчка мыши, но на данный момент это немного неточно и медленно. Нужно определить лучшие варианты, например, щелчок глаз или что-то в этом роде.
Это очень простой код для работы. Маркировка в нейронных сетях для выражений лица может быть намного лучше, но опять же скорость является фактором.