Speaker
Description
В распределенных вычислительных банковских системах задачи образуют цепочки зависимостей, то есть результаты вычислений одной задачи используются в следующих. Такие цепочки представимы в виде ориентированных ациклических графов (DAG). Из-за конфиденциальности данных и сложности изменения банковской инфраструктуры тестирование новых гипотез становится узким местом. Существующие на текущий момент инструменты, например, WfCommos [1], воспроизводят нагрузку только по имеющимся логам. Предлагаемый подход основан на генерации синтетической нагрузки с учетом вероятностной природы зависимостей и временных интервалов между поступлением задач.
Для случайных временных прыжков используется метод кинетического Монте-Карло [2]. Время до следующего события вычисляется как
$\Delta t = -\frac{\ln(u)}{\lambda_{\max}}$,
где $u$ — случайное число из $(0, 1]$. Однако, в банковских системах нагрузка в разные моменты времени отличается, а значит, её необходимо задавать как нестационарный пуассоновский процесс. Чтобы генерировать события с заданной частотой и при этом сохранять случайность, используется метод прореживания: события генерируются с максимальной интенсивностью $\lambda_{\max}$, но принимаются с вероятностью $p(t)=\lambda(t)/\lambda_{\max}$, где $\lambda(t)$ – текущая интенсивность.
Все допустимые последовательности задач задаются в виде базового графа зависимостей, где каждому переходу сопоставлена вероятность, как в марковской цепи. Генерация конкретной цепочки задач сводится к вероятностному обходу этого графа, порождающему случайный подграф. Время выполнения и размер данных для каждой задачи задаются не константами, а распределениями вблизи базовых значений, что имитирует неопределённость реальной распределённой среды [3,4].
Предложенный подход реализован в виде программного прототипа, позволяющего исследовать поведение системы без доступа к реальным данным и без изменений в инфраструктуре.
Список литературы
[1] T. Coleman, H. Casanova, L. Pottier, M. Kaushik, E. Deelman, and R. Ferreira da Silva. WfCommons: A Framework for Enabling Scientific Workflow Research and Development. Future Generation Computer Systems, vol. 128, pp. 16–27, 2022. DOI: https://doi.org/10.1016/j.future.2021.09.043.
[2] I. Tamblyn, T. Yu, and I. Benlolo. fintech-kMC: Agent based simulations of financial platforms for design and testing of machine learning systems. arXiv preprint arXiv:2301.01807, 2023. Available at: https://arxiv.org/abs/2301.01807.
[3] L. Bertot, S. Genaud, and J. Gossa, An Overview of Cloud Simulation Enhancement Using the Monte-Carlo Method, In Proceedings of the 18th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (CCGrid), May 2018, Washington, France, pp. 386–387.
[4] Uncertainty quantification through Monte Carlo method in a cloud computing setting. arXiv preprint arXiv:2105.09512, 2021. Available at:https://arxiv.org/abs/2105.09512.
