Разработчикам

Agent Desktop

Agent Desktop позволяет AI-агентам управлять программами Windows, macOS и Linux через дерево доступности интерфейса — без распознавания кнопок по скриншотам и пикселям.

Об инструменте

Agent Desktop — открытый инструмент от Vercel Labs, позволяющий AI-агентам взаимодействовать с настольными приложениями в Windows, macOS и Linux. В отличие от систем, которые анализируют скриншоты и пытаются находить кнопки по координатам, Agent Desktop использует системные интерфейсы доступности (Accessibility API). Программа получает структурированное представление интерфейса приложения: окна, кнопки, текстовые поля, меню и другие доступные элементы. Каждому интерактивному объекту назначается идентификатор, через который AI-агент может выполнять действия. После операции агент способен повторно прочитать интерфейс и проверить результат. Основные возможности Agent Desktop: - Управление окнами и приложениями через CLI. - Поиск элементов интерфейса и получение структурированных JSON-снимков. - Нажатие кнопок, ввод текста, выбор элементов и прокрутка. - Интеграция с AI-агентами через Model Context Protocol (MCP). - Поддержка Windows, macOS и Linux. - Локальная работа без обязательного облачного сервиса. - Библиотека на C для интеграции в другие приложения. Проект написан преимущественно на Rust и распространяется по лицензии Apache-2.0. Его можно установить через npm или использовать готовые бинарные сборки. Agent Desktop будет особенно полезен разработчикам AI-агентов, инженерам по автоматизации, создателям интеллектуальных помощников и специалистам, которые разрабатывают системы управления компьютером. Важная особенность: Agent Desktop сам по себе не является нейросетью. Он предоставляет инфраструктуру взаимодействия с операционной системой, а принятие решений и планирование действий выполняет подключённый AI-агент. Инструмент открывает новые возможности для разработки локальных и гибридных AI-помощников, способных взаимодействовать с обычными компьютерными программами.

Теги

#AI Agents #MCP #Desktop Automation #Computer Use