Linux, как захватить экран и имитировать движения мыши

Мне нужно захватить экран (как экран печати) таким образом, чтобы я мог получать данные о цвете пикселей, чтобы сделать некоторое распознавание изображений, после чего мне нужно будет генерировать события мыши на экране, такие как щелчок левой кнопкой мыши, перетаскивание (перемещение мыши при нажатии кнопки, а затем ее отпускание). После его завершения изображение будет удалено.

Примечание. Мне нужно, чтобы весь экран отображал все, что может видеть пользователь, и мне нужно имитировать клики за пределами окна моей программы (если это имеет значение)

Спецификация: Linux ubuntu Язык: С++

Производительность не очень важна, функция "screen screen" будет выполняться через каждые ~ 10 секунд. Продолжительность процесса может составлять до 24 часов, поэтому метод должен быть стабильным, а утечка памяти свободна (как обычно:)

Я смог сделать в Windows с выигрышем GDI и некоторыми событиями Windows, но я не знаю, как это сделать в Linux.

Спасибо большое

Ответ 1

//sg

//Solution using Xlib for those who use Linux
#include <X11/Xlib.h>
#include<stdio.h>
#include<unistd.h>
#include <stdlib.h>
#include <string.h>

#include <unistd.h>

#include <X11/Xlib.h>
#include <X11/Xutil.h>

void mouseClick(int button)
{
    Display *display = XOpenDisplay(NULL);

    XEvent event;

    if(display == NULL)
    {
        fprintf(stderr, "Cannot initialize the display\n");
        exit(EXIT_FAILURE);
    }

    memset(&event, 0x00, sizeof(event));

    event.type = ButtonPress;
    event.xbutton.button = button;
    event.xbutton.same_screen = True;

    XQueryPointer(display, RootWindow(display, DefaultScreen(display)), &event.xbutton.root, &event.xbutton.window, &event.xbutton.x_root, &event.xbutton.y_root, &event.xbutton.x, &event.xbutton.y, &event.xbutton.state);

    event.xbutton.subwindow = event.xbutton.window;

    while(event.xbutton.subwindow)
    {
        event.xbutton.window = event.xbutton.subwindow;

        XQueryPointer(display, event.xbutton.window, &event.xbutton.root, &event.xbutton.subwindow, &event.xbutton.x_root, &event.xbutton.y_root, &event.xbutton.x, &event.xbutton.y, &event.xbutton.state);
    }

    if(XSendEvent(display, PointerWindow, True, 0xfff, &event) == 0) fprintf(stderr, "Error\n");

    XFlush(display);

    usleep(100000);

    event.type = ButtonRelease;
    event.xbutton.state = 0x100;

    if(XSendEvent(display, PointerWindow, True, 0xfff, &event) == 0) fprintf(stderr, "Error\n");

    XFlush(display);

    XCloseDisplay(display);
}
int main(int argc,char * argv[]) {

    int x , y;
    x=atoi(argv[1]);
    y=atoi(argv[2]);
    Display *display = XOpenDisplay(0);

    Window root = DefaultRootWindow(display);
    XWarpPointer(display, None, root, 0, 0, 0, 0, x, y);
    mouseClick(Button1);
    XFlush(display);
    XCloseDisplay(display);
    return 0;
}

Постройте его, а затем имитируйте щелчок по значку x, y do:

$ ./a.out x y

то есть.

$g++ -lX11 sgmousesim2.cpp

$./a.out 123 13

На всякий случай вас все еще интересует.

Ответ 2

Swinput - это решение для имитации событий мыши/ключа. Вам нужно скомпилировать его, вероятно, для вашего ядра. Xorg предоставил некоторые заголовки для записи событий мыши/клавиши, но я думаю, что это нарушено на данный момент. Существует код C evtest, который может использоваться для захвата событий из файлов /dev/input/eventX, /dev/input/mice. Это может быть полезно.

Edit:

Исправлена ошибка в расширении записи Xorg, поэтому она также может работать.

Ответ 3

Чтобы он работал правильно, вы должны вызвать XFlush после того, как вы деформируете указатель

Протестировано на Linux Mint19 (Cinamon 3.8) XWarpPointer (отображение, None, root, 0, 0, 0, 0, x, y); XFlush (дисплей);

Ответ 4

Я не мог заставить щелчок работать с использованием метода @axiom, только движение указателя. Я использовал это вместо: (Ubuntu 18.04).

Компилируется с: g++ mouse_click.cpp -lX11 -lXtst -lstdС++

#include<stdio.h>
#include<unistd.h>
#include <stdlib.h>
#include <string.h>

#include <unistd.h>

#include <X11/Xlib.h>
#include <X11/Xutil.h>
#include <X11/extensions/XTest.h>


void mouseClick(int button)
{
    Display *display = XOpenDisplay(NULL);

    // click left button
    XTestFakeButtonEvent(display, Button1, true, 0);
    XFlush(display);

    usleep(10000);

    // release left mouse
    XTestFakeButtonEvent(display, Button1, false, 0);
    XFlush(display);


    XCloseDisplay(display);


}
int main(int argc,char * argv[]) {

    int x , y;
    x=atoi(argv[1]);
    y=atoi(argv[2]);
    Display *display = XOpenDisplay(0);

    Window root = DefaultRootWindow(display);
    XTestFakeMotionEvent(display, root, x, y, 0);
    XFlush(display);
    mouseClick(Button1);
    XFlush(display);
    XCloseDisplay(display);
    return 0;
}