Чи справді це магія, чи просто ефективний код? Як я навчив свій комп’ютер “оживати” за допомогою ШІ, і чому це схоже на цифрову чарівну паличку
Привіт, друзі! Сьогодні я хочу поділитися з вами відкриттям, яке буквально перевернуло моє розуміння продуктивності. Довгий час я, як і багато хто з вас, асоціював штучний інтелект (ШІ) зі складними, абстрактними концепціями, доступними лише вузькому колу фахівців з глибокими знаннями у галузі комп’ютерних наук. Проте, нещодавня розмова з другом, який присвячує своє життя розробці коду, змусила мене подивитися на цю сферу під зовсім іншим кутом. Він розповів про свою нову “улюблену навичку”, яку він інтегрував у свій щоденний робочий процес, і, мушу зізнатися, я теж став одержимий цією технологією.
Уявіть, що ваш комп’ютер стає вашим персональним цифровим асистентом, який передбачає ваші потреби. Ви вмикаєте його, а всі необхідні програми вже запущені, потрібні вкладки у браузері відкриті. Це не вимагає місяців налаштувань чи складних конфігурацій. Це відчувається… легко, майже природно. Я хочу показати вам, як це працює, бо, на мій погляд, це надзвичайно потужний інструмент для підвищення продуктивності.
Моя особиста нотатка: Я виявив, що ця функціональність найчастіше називається “Drive Screen” або “Керування екраном”. На перший погляд, назва може здаватися дещо футуристичною, але її суть полягає в тому, щоб навчити ваш комп’ютер реагувати на команди вашого ШІ-помічника.
Розділ 1: Від “Це занадто складно” до “Вау, це працює!”
Протягом багатьох років я ставився до інструментів комп’ютерного керування (computer use tools) з певною недовірою. Я вважав їх громіздкими, складними в налаштуванні та ще складнішими у використанні. І хто б міг подумати, що сучасні великі мовні моделі (LLM), такі як Claude 5.1 та GPT-6 Astra, досягли такого рівня інтелекту, що можуть безпосередньо керувати вашим екраном, реагуючи на команди, подані через командний рядок? Особисто я не усвідомлював цього до моменту, коли не спробував це на практиці кілька тижнів тому.
Це усвідомлення стало поштовхом до створення моєї власної “магічної” навички. Мені особливо подобається її універсальність – вона працює незалежно від операційної системи: Windows, macOS чи Linux. Це означає, що мені не потрібно встановлювати додаткове програмне забезпечення чи залежати від сторонніх рішень. На відміну від потужних “коробкових” рішень, які часто надто складні для тонкого налаштування, ця навичка дозволяє мені зберігати повний контроль. Я ціную можливість гнучко налаштовувати інструменти під свої потреби. Великі, комплексні системи часто обмежують саме в цьому – у дрібних, але важливих коригуваннях, необхідних для інтеграції в унікальний робочий процес. Саме тому я раніше уникав прямого комп’ютерного керування.
Однак, я все більше усвідомлюю, наскільки корисним є комп’ютерне керування. Саме тому останніми тижнями я буквально одержимий використанням цієї навички. Якщо ви ще не використовуєте комп’ютерне керування у своїй роботі, я настійно рекомендую почати з чогось схожого на Codeex computer use. І, звісно, я б рекомендував спробувати саме ту навичку, посилання на яку я залишу в описі. Можливості для підвищення продуктивності, особливо коли ви працюєте з кодуючими агентами, є безмежними.
Розділ 2: Ваш ранок тепер буде іншим: ШІ-асистент, що знає, що вам потрібно
Уявіть собі: ви прокидаєтеся, підходите до комп’ютера, вмикаєте його, запускаєте свого кодуючого агента і даєте просту команду: “Підготуй мій ранок”. Що це може означати? Це означає, що ваш агент може взаємодіяти з вашою системою управління завданнями (task management software) через командний рядок або будь-який інший доступний інтерфейс, виявити ваші завдання на сьогодні і автоматично відкрити все необхідне: відповідні вкладки у браузері, документи в Obsidian, запустити настільні програми, Docker-контейнери – будь-що, що вам потрібно для старту. Він здатен налаштувати все!
І це лише один приклад. Це просте “ранкове налаштування” економить мені щонайменше 10-15 хвилин кожного ранку. А це, по суті, лише верхівка айсберга. І все це досягається завдяки простому використанню цієї навички, без потреби встановлювати додаткові складні інструменти. Я особисто протестував цю навичку на всіх основних операційних системах – macOS, Linux та Windows. Я перевіряв її з різними конфігураціями моніторів та різними налаштуваннями дисплея. Вона надзвичайно гнучка та адаптивна.
Розділ 3: Міфи про ШІ, які варто забути
Я розумію, що багато хто з вас може подумати: “Це все звучить чудово, але чи дійсно ШІ вже настільки розвинений, щоб керувати моїм комп’ютером?”. Я вас повністю розумію. Ще кілька тижнів тому я поділяв це скептичне ставлення, особливо коли мова йде про завдання, що потребують прямого взаємодії з комп’ютером, такі як керування робочим столом або редагування відео. Часто складається враження, що для цього потрібні надскладні та дорогі інструменти. Але це вже не так.
Сценарій “Що, якби…”: А що, якби я сказав вам, що ви можете просто передати своєму ШІ-агенту відеофайл і дати команду: “Змонтуй це відео. Прибери всі зайві звуки, додай B-roll та переходи”? Особливо з моделями, як Fable та Astra, він може виконати це на вражаюче високому рівні. Це дійсно змінює правила гри!
Розділ 4: Звідки взялася ця “магія”? Історія однієї потреби
Чесно кажучи, ця навичка “Drive Screen” народилася з чистої потреби. Останнім часом я був перевантажений швидким розвитком подій у сфері ШІ, власними проектами, новими застосунками, які я тестував, особливо багатьма проектами з відкритим кодом, такими як Kestre. Я пробував їх усі, і багато з них мали власний користувацький інтерфейс (UI) або такі особливості, які унеможливлювали пряму автоматизацію браузера. Мені був потрібен спосіб комп’ютерного керування для тестування, але водночас я хотів чогось надзвичайно легкого та простого в управлінні. Я не хотів тягнути за собою повноцінний, складний інструмент для комп’ютерного керування.
І саме тоді я взяв URL певного GitHub-репозиторію (це лише один приклад) і поставив перед Claude завдання: “Досліди веб, занурся в репозиторій, щоб зрозуміти його функції, потім запусти настільний додаток і керуй моїм екраном, щоб протестувати різні функції, а потім залиш його відкритим для мене, щоб я міг продовжити тестування”. Чесно кажучи, я не був певен, чи це спрацює. Я думав, можливо, він спробує встановити якийсь великий інструмент для комп’ютерного керування, або просто скаже, що не може цього зробити, і попросить мене виконати все вручну.
Але, на моє приємне здивування, він зміг пройти весь процес від початку до кінця, просто виконуючи команди в терміналі. Ось приблизно так виглядали логи моєї сесії, особливо до того, як у мене з’явилася ця спеціалізована навичка. Він виконував команди одну за одною, клікав, робив скріншоти, аналізував результати. Він виконав усе це від початку до кінця. Звісно, це зайняло час, і це не найефективніший спосіб (комп’ютерне керування загалом не є таким), але я просто дав йому повний контроль над моїм комп’ютером. Я працював на іншому пристрої, повернувся – і все було зроблено, і все залишалося відкритим для мене, щоб продовжити тестування. Це було неймовірно! І всі ці команди для мене на Windows – це просто PowerShell, так? Жодного додаткового інструменту. Для macOS можна використовувати AppleScript. Знову ж таки, я тестував це на всіх ОС.
Розділ 5: Зустрічайте Plural: Ваші DevOps-агенти, що живуть у Kubernetes
Перш ніж ми заглибимося в технічні деталі, хочу представити вам спонсора цього розділу – компанію Plural. Вони створили щось справді унікальне: DevOps-агенти, які інтегруються безпосередньо у ваші Kubernetes-кластери. Вони автоматично виявляють проблеми, коли щось йде не так, а потім створюють pull-реквести для їх виправлення. Вони називають це “Workbenches”.
Дозвольте мені показати вам. Зараз у моєму власному кластері один із моїх сервісів, Payments API, знаходиться у стані “crash-loop” (постійні збої). Але все, що мені потрібно зробити, це перейти до Workbench, куди я можу надіслати будь-яке завдання. Я просто сказав: “Сервіс Payments API знаходиться у стані crash-loop. Знайди першопричину та відкрий pull-реквест для виправлення”. І тут Plural запускає під-агентів, кожен з яких має свій власний контекст, щоб глибоко зануритися в логи, репозиторії GitOps.
За кілька хвилин він визначає точну проблему, надає мені див (diff – різницю між версіями коду) та докази, і навіть створює панель інструментів (dashboard) для візуалізації проблеми, що відбувається у моєму кластері. А моя улюблена частина – він запускає екземпляр Cloud Code у моєму кластері, щоб внести виправлення, а потім відкриває pull-реквест. Агент працює у моєму середовищі з моїми ключами моделі, але кінцеве рішення про злиття pull-реквесту залишається за мною. Ви можете підключити той самий Workbench до своїх сповіщень, запускати його за розкладом (cron) або навіть викликати, набираючи “plural fix this” у Jira-тікеті. Ви можете самостійно хостити Plural або використовувати їхній хмарний сервіс, і це безкоштовно для початку. Посилання на їхній ресурс буде в описі.
Розділ 6: Як це працює? Начинка “магічної палички”
Звісно, я хочу розповісти вам, як саме працює ця навичка, як мені вдалося зберегти її простою, і які нюанси безпеки варто врахувати. Про це ми поговоримо трохи пізніше. Але зараз я хочу швидко продемонструвати вам цю навичку в дії. Я, звісно, прискорю процес, але я відправлю цей промпт, щоб ми могли побачити це в дії.
Завантаження навички, а потім дуже легке проходження через будь-які налаштування, які я маю для неї. Я вимкну своє відео, а потім прискорю час, щоб ви могли спостерігати за цим. Ось і все. Ми завершили все всього за хвилину. Я знаю, що це дуже простий приклад, який я показую, я не хочу робити нічого надто складного зараз. Але суть у тому, що це швидко. Це не вимагало багато команд, тому що навичка керує цим і навіть надає деякі інструменти для прискорення. І, до речі, те, що вона зробила, включає перевірку середовища, щоб переконатися, що вона має всі необхідні інструменти і дозволи на машині.
Це лише швидкий приклад. Тепер давайте поговоримо докладніше про те, як працює навичка. Вся ця навичка – це трохи менше 400 рядків коду. Не найдовша, але й не найкоротша. Я хотів мати повний робочий процес, викладений для агента, а також забезпечити його роботу на кожній операційній системі. І є багато нюансів, які я хотів вбудувати, дрібні збої, які я бачив під час тестування.
Робочий процес починається з того, що ми з’ясовуємо: чи взагалі потрібен контроль екрана? Я хочу, щоб агент мав можливість відмовитися від цього, коли ви використовуєте цю навичку, тому що іноді комп’ютерне керування дійсно не потрібне, коли ви думаєте, що є якийсь інший інструмент, як-от автоматизація браузера, щоб виконати завдання. Як тут написано, контроль екрана – це найповільніший і найменш надійний спосіб змусити комп’ютер щось зробити. Це найбільш адаптивний і гнучкий, але найповільніший. І є проблеми безпеки, коли ви можете отримати атаки через “prompt injection” на свій екран, тому агент бачить це і робить щось зловмисне. Великі мовні моделі більше не піддаються цьому, що також є великою причиною, чому я довіряю їй таку можливість зараз. Але це те, про що варто пам’ятати. Саме тому я дотримуюся дійсно простих речей, коли використовую цей інструмент. Якщо мені потрібен будь-який вид комп’ютерного керування виробничого рівня, я все одно буду використовувати якийсь більший інструмент.
Розділ 7: Секрети надійності: Код, що працює
Піднімаючись до вершини навички, я хочу виділити різні скрипти, які постачаються разом з нею. Це забезпечує більшу детермінованість. Тобто, замість того, щоб агент мусив в реальному часі з’ясовувати точні команди для певних речей, як це робив я спочатку, тепер у мене є всі найкращі практики, упаковані в ці скрипти для пошуку вікон, фокусування та введення/вставки. Є багато способів зробити ці речі. Я з’ясував найкращі з усіх тестів, які я провів. І дозвольте мені сказати, я провів години й години тестування, і я упакував це в цей маленький CLI (command-line interface) для агента, щоб він міг викликати його з різними командами та аргументами. Це мій власний маленький кастомний CLI.
Нам не обов’язково заглиблюватися в деталі прямо зараз. Тут досить багато всього, тому що є багато різних операцій, які агент може виконувати, але це значна частина того, що робить це більш надійним. І це також робить налаштування речей дуже простим. Якщо ви працюєте з якоюсь іншою версією Linux, наприклад, яка потребує дещо іншої роботи, ви можете просто зайти і відредагувати навичку, чи не так? Наприклад, коли ви встановлюєте навичку з мого репозиторію навичок, все постачається з посиланням, звісно, skill.md та всі скрипти для CLI.
Розділ 8: Пастка для помилок: Як уникнути збоїв
Повертаючись вниз, ми маємо всі “жорсткі правила”. Це речі, які я вивчив важким шляхом, коли створював і використовував навичку знову і знову. Це робить її більш надійною. Ось наш “контрольний цикл”. Коли ви працюєте у вікні, ось що ви повинні робити, так? Спочатку виявіть вікно за допомогою команди, зробіть його скріншот, щоб мати уявлення про ситуацію, сфокусуйтеся на ньому, а потім ви можете діяти. І ось шляхи дії, і CLI, який допоможе вам з цим, так? Ви можете побачити, як все це складається. Мені навіть не потрібно читати буквально все, але також є цілий CLI для спостереження за сесією. Якщо він керує іншою сесією кодуючого агента, йому потрібно стежити за схваленнями або подібними речами. Я багато робив і це. Автоматичне керування.
У нас є різні “пастки”, на які нам потрібно було звернути увагу. Деякі з цих речей специфічні для того, що я автоматизував за допомогою вкладок браузера та настільних додатків, а також інших сесій кодуючих агентів. Можливо, ви будете робити те саме, а може й ні. Але знову ж таки, ви можете взяти цю навичку і налаштувати її на свій смак. Наприклад, якщо ви хочете видалити пастки, бо вони до вас не стосуються, або додати деякі – ви можете це зробити, чи не так? Ось це те, що ви не можете зробити з великим інструментом для комп’ютерного керування. Знову і знову повертаємося до причини, чому я так люблю цю гнучкість.
Розділ 9: Безпека перш за все? Чи справді нам є чого боятися?
Як я вже згадував, ви також повинні бути обережні щодо атак “prompt injection” для комп’ютерного керування загалом. Я залишу посилання на цю статтю в описі. Це справді цікаве читання. Але мушу сказати, і це може трохи мені нашкодити, я не думаю, що вам доведеться турбуватися про атаки “prompt injection” так вже й багато. Принаймні, якщо ви використовуєте нові, найкращі моделі, такі як Fable 5.1 та GPT-6 Astra. Є багато досліджень, які показують, що навіть без складних захисних механізмів або “хардкорного” інструментарію, ці LLM дуже, дуже важко піддати “prompt injection”.
Тому я не турбуюся про це в ці дні. Принаймні, не так сильно, як раніше. Я думаю, вам також не варто. І особливо, якщо ми використовуємо цю навичку для простіших речей, таких як те, що я показав у цьому відео: ранкове налаштування, тестування настільних додатків, подібні речі. Ви справді не повинні турбуватися про це. Отже, так, я б просто переконався, що ви використовуєте найпотужніші LLM, коли використовуєте комп’ютерне керування. Це робить його більш надійним у будь-якому випадку.
І ця навичка, вона досить ефективна за кількістю токенів. Вона не найшвидша, але це тому, що вона чекає на різні входи та речі, а не тому, що вона витрачає десятки тисяч токенів. Тож використовуйте на свій ризик, і я б заохотив вас використовувати кращі моделі. Але я скажу, принаймні для мене, я більше не вважаю це ризиком для комп’ютерного керування, особливо коли у мене є щось, чим я можу так контролювати.
Висновок: Ваше майбутнє – це діалог з машиною
Отже, я б заохотив вас встановити цю навичку та спробувати її. Вам не потрібно встановлювати жодних додаткових інструментів. Вона просто тут, у моєму репозиторії AI Skills на GitHub. Ви можете встановити її як плагін Cloud Code, якщо ви хочете отримати всі мої навички, або ви можете просто взяти цю папку з навичками, яку я посилаюся в описі, і перенести її до будь-якого кодуючого агента.
І я сподіваюся, що ви знайдете це корисним. І навіть просто досліджуючи зі мною загалом нові можливості LLM, як вони здатні робити ці неймовірні речі без додаткового “хардкору” тепер.
Підсумовуючи все вищесказане, ми отримуємо потужний інструмент, який не вимагає складних налаштувань і доступний кожному. Важливо пам’ятати, що технології розвиваються блискавично, і те, що здавалося неможливим ще вчора, сьогодні стає реальністю.
Що далі? Не бійтеся експериментувати! Спробуйте цю навичку, подивіться, як вона може змінити ваш робочий процес. Можливо, ви відкриєте для себе нові способи використання ШІ, про які навіть не здогадувалися. Ці нові можливості LLM відкривають цілий світ потенціалу, і я з нетерпінням чекаю, щоб побачити, що ви з цим зробите.
Якщо вам сподобалося це відео, і ви з нетерпінням чекаєте на більше матеріалів про навички кодуючих агентів та ШІ-кодування загалом, я був би дуже вдячний за лайк та підписку.
До зустрічі у наступному відео!
