Skip to content

SeregaCodit/fair_planner

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

40 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Multi-Agent Performance Benchmarking Tool (MAPB)

Українською | English


🇺🇦 Українською

1. Призначення

MAPB — це аналітичний інструмент для об’єктивного оцінювання ефективності агентів (команд) у середовищах, де підсумковий результат прямо залежить від наявних ресурсів. Головна мета системи — відокремити фактор «технічного потенціалу» від «операційної майстерності».

Програма дає відповідь на ключове питання: «Яким мав би бути результат команди, враховуючи її конкретне оснащення та інтенсивність подій, порівняно з середніми статистичними показниками всіх учасників та їхніх конфігурацій?»

2. Математичне ядро

Розрахункове ядро базується на крос-декомпозиційній моделі Log-PLS (Partial Least Squares) регресії. Це дозволяє системі:

  • Враховувати «ефект насичення»: модель розпізнає нелінійну природу ресурсів — кожна наступна одиниця обладнання дає менше переваги, ніж попередня (закон спадної віддачі).
  • Працювати з малими даними: алгоритм залишається стабільним навіть при обмеженій кількості зафіксованих подій та високій взаємозалежності між різними активами.
  • Розраховувати Skill Index: дельта між фактичним результатом та прогнозом моделі. Позитивний показник свідчить про високу якість алгоритмів та керування, негативний — про неефективне використання наявного ресурсу.

3. Ключові можливості

  • Гнучкість конфігурації: користувач може додавати необмежену кількість типів активів та визначати будь-яку кількість аналітичних пар «Подія — Результат».
  • Інтуїтивний мапінг: налаштування зв'язків між колонками Excel здійснюється через меню Set Mapping.
  • Збереження налаштувань: програма запам'ятовує останню успішну конфігурацію і автоматично завантажує її при наступному запуску.

4. Робочий процес (Data Workflow)

  • Вхідні дані (Input): два Excel-файли (статистика подій та конфігурація активів команд).
  • Вихідні дані (Output): XLSX-звіт із розрахованими показниками очікуваного результату (Expected).

Примітка: Цей інструмент працює як об'єктивний аудитор, нівелюючи технологічну перевагу для виявлення реальної операційної ефективності агентів.

📖 Інструкція з використання

Дотримуйтесь цих кроків для проведення аналізу ефективності.

Крок 1: Початкове налаштування та вибір файлів

  1. Запустіть PerformanceAnalyst.exe.
  2. Використовуйте кнопку "Set stats file" для завантаження даних про події/трафік та результати.
  3. Використовуйте кнопку "Set assets file" для завантаження даних про конфігурацію обладнання/ресурсів.
  4. Оберіть Дату аналізу в календарі для фільтрації відповідних колонок.

Головне вікно

Крок 2: Налаштування мапінгу колонок

Натисніть кнопку "Set Mapping". Це критично важливий крок для того, щоб математичне ядро правильно розпізнало структуру ваших даних:

  • Pair Mapping: визначте, яка колонка "Traffic" (Події) відповідає конкретній колонці "Proceeded" (Результат).

Діалог мапінгу

Порада архітектора: Конфігурація автоматично зберігається у файл config.json після успішного завершення мапінгу.

Крок 3: Виконання та результати

  1. Натисніть кнопку "Run".
  2. Слідкуйте за Progress Bar для моніторингу етапів (Завантаження -> Попередня обробка -> Математичне ядро -> Збереження).
  3. Після завершення з'явиться повідомлення про успіх, а звіт буде згенеровано у вихідній директорії.

Повідомлення про успіх

Крок 4: Інтерпретація звіту

Перевірте папку reports поруч із файлом PerformanceAnalyst.exe. Вона містить ваш файл звіту у форматі .xlsx. Згенерований файл включає:

  • expected_...: статистичний еталон (результат, якого досягла б "середня" команда з вашим набором активів).

🇺🇸 English

1. Purpose

MAPB is an analytical tool designed for the objective performance evaluation of agents (teams) in environments where outcomes are resource-dependent. The system's primary goal is to decouple the "hardware potential" factor from "operational skill."

The software answers a critical question: “What should a team's result have been, given its specific equipment and event intensity, relative to the statistical performance of all participants and their respective configurations?”

2. Mathematical Core

The engine is based on a cross-decomposition Log-PLS (Partial Least Squares) regression model. This allows the system to:

  • Account for "Saturation Effects": The model recognizes the non-linear nature of resources—each additional unit of equipment yields diminishing marginal utility.
  • Handle Small Datasets: The algorithm remains robust despite a limited number of recorded events and high multicollinearity between different assets.
  • Calculate the Skill Index: A delta is established between actual outcomes and the model's prediction. A positive index indicates superior control quality, while a negative one points to inefficient resource utilization.

3. Key Features

  • Configuration Flexibility: Users can add an unlimited number of asset types and define any number of "Event-Outcome" analytical pairs.
  • Intuitive Mapping: Column relationships within Excel files are easily configured via the Set Mapping menu.
  • Persistent Settings: The application saves the last successful configuration and automatically reloads it upon the next launch.

4. Data Workflow

  • Input: Two Excel files (event statistics and team asset configurations).
  • Output: An XLSX report featuring the calculated Expected outcomes (statistical benchmarks).

Note: This tool serves as an objective auditor, neutralizing the technological advantage to reveal the true operational efficiency of the agents.

How to Use

Follow these steps to perform a multi-agent performance analysis.

Step 1: Initial Setup & File Selection

  1. Launch the PerformanceAnalyst.exe.
  2. Use the "Set stats file" button to load your event/traffic data.
  3. Use the "Set assets file" button to load your equipment/resource configuration.
  4. Select the Analysis Date from the calendar to filter relevant data columns.

Main Window

Step 2: Configure Column Mapping

Click on "Set Mapping". This is a critical step to ensure the math engine understands your data structure:

  • Pair Mapping: Define which "Traffic" column corresponds to which "Proceeded" (Outcome) column.

Mapping Dialog

Architect's Note: Configuration is automatically saved to config.json upon successful mapping.

Step 3: Execution & Results

  1. Click the "Run" button.
  2. Monitor the Progress Bar for status updates (Loading -> Preprocessing -> Math Engine -> Saving).
  3. Once finished, a success message will appear, and the report will be generated in your designated output directory.

Success Message

Step 4: Interpreting the Report

Check directory reports beside PerformanceAnalyst.exe file. It contains your report .xlsx file. The generated .xlsx file includes:

  • expected_...: The statistical baseline (what an average team would achieve with your assets).

About

MAPB is an analytical tool designed for the objective performance evaluation of agents (teams) in environments where outcomes are resource-dependent. The system's primary goal is to decouple the "hardware potential" factor from "operational skill."

Resources

Stars

Watchers

Forks

Packages

 
 
 

Contributors

Languages