Klerk Ai management system

Проєкт зародився з практичної бізнес-необхідності для сегмента малого та середнього бізнесу: створити автономного цифрового секретаря-менеджера з ШІ, здатного здійснювати інтелектуальний пошук, глибоку веб-аналітику та масові персоналізовані розсилки.

Головне — забезпечення суверенітету даних та незалежності від сторонніх хмарних провайдерів, оскільки стабільне ведення бізнесу вимагає дотримання конфіденційності. Архітектура системи передбачає розгортання на локальному обладнанні користувача.

Для коректної роботи ШІ-моделей в автономному режимі рекомендується використовувати відеопам'ять об'ємом від 8–16 ГБ. Перевагу варто віддавати відеокартам з ефективними системами охолодження, розрахованими на безперервний цикл роботи в режимі 24/7.

У деяких сценаріях графічні рішення споживчого класу з високим тепловиділенням можуть не повністю відповідати жорстким вимогам щільних серверних стійок. Наша система у професійному виконанні підтримує розподіл обчислень на кілька плат (наприклад, дві відеокарти по 16 ГБ), що знижує теплове навантаження на чипи, спрощує тепловідведення та оптимізує витрати на інфраструктуру.

Початкові тести проводилися на компактних моделях об'ємом до 4 ГБ відеопам'яті. Практика показала, що моделі з меншою кількістю параметрів не завжди здатні видавати якісні відповіді під час вирішення комерційних завдань. Ви можете використовувати легкі моделі для ознайомлення з інтерфейсом програми, проте для повноцінного функціонування рекомендується використовувати апаратне забезпечення з об'ємом відеопамя'ті від 16 ГБ. У разі проєктування апаратної бази з нуля доцільно використовувати материнські плати серверного класу для можливості масштабування в майбутньому.

На поточному етапі система розроблена та оптимізована для операційних систем сімейства Windows. У планах розвитку передбачено портування на Linux.

Ми свідомо відмовилися від використання проміжних шарів абстракції для збереження стабільності у споживчому сегменті. Замість інтеграції Linux-архітектур всередині Windows було обрано підхід Windows Native: СУБД Redis замінено на Microsoft Garnet, планувальник Celery — на асинхронну бібліотеку Taskiq, а ізоляцію Docker — на фонові процеси. Це дозволило створити додаток, який постачається в одному виконуваному файлі та ефективно витрачає локальні ресурси.

Перехід до цільової архітектури Linux дозволить реалізувати такі технологічні переваги:

• Використання vLLM та Multi-GPU: Запуск на «голому залізі» (Bare Metal) з технологією PagedAttention дозволить здійснювати паралельну пакетну обробку вхідних запитів на кількох відеокартах одночасно.
• Технологія Zero-Copy: Прямий доступ до системних викликів на рівні ядра скорочує затримки обміну даними між компонентами парсингу та контекстом нейромережі.
• Консольний режим (Headless): Відсутність потреби витрачати ресурси графічного процесора на відтворення віконного інтерфейсу перерозподіляє обчислювальні потужності на обробку інформації.

Для першого запуску достатньо розгорнути нативний додаток Windows. У поточній версії конфігурація вимагає вказати електронну адресу відправника, авторизаційні дані та список адресатів. Ми рекомендуємо провести попереднє тестування функціоналу на власній поштовій скриньці перед масштабуванням завдань на робочі процеси.

Програмна архітектура закладає потенціал для розвитку таких модулів:

• Канали комунікації: Подальша інтеграція інтерфейсів Telegram, Viber та інших месенджерів.
• Мультимодальний аналіз (Vision): Застосування веб-драйверів для фіксації стану веб-сторінок конкурентів з їхнім подальшим аналізом через локальні зорові ШІ-моделі.
• Впровадження RAG (Qdrant/Milvus): Використання локальних векторних баз даних для зіставлення відповідей із внутрішніми регламентуючими документами та каталогами цін.
• Семантичне кешування (GPTCache): Оптимізація навантаження на графічний процесор завдяки повторному використанню схожих за змістом результатів обчислень.
• Агентські графи (LangGraph): Побудова розгалужених сценаріїв прийняття рішень агентами з верифікацією інформації через Guardrails.

Ви можете надсилати відгуки про роботу системи для спільного визначення пріоритетних векторів розвитку програмного продукту.