Narzędzia użytkownika

Narzędzia witryny


2019:figiela:start

Zaproszenie na obronę pracy doktorskiej

DZIEKAN i RADA WYDZIAŁU
INFORMATYKI, ELEKTRONIKI I TELEKOMUNIKACJI
AKADEMII GÓRNICZO-HUTNICZEJ im. ST. STASZICA W KRAKOWIE
zapraszają na
publiczną dyskusję nad rozprawą doktorską

mgr inż. Kamila Figieli
Optimization of scientific workflow execution in the cloud
Dyskusja odbędzie się 8 lipca 2019 r. o godz. 11.00 w sali 1.20
pawilonu D-17 przy ul. Kawiory 21 w Krakowie
PROMOTOR: dr hab. inż. Maciej Malawski – Akademia Górniczo-Hutnicza im. St. Staszica w Krakowie
PROMOTOR POMOCNICZY: dr inż. Katarzyna Rycerz – Akademia Górniczo-Hutnicza im. St. Staszica w Krakowie
RECENZENCI: prof. Dieter Kranzlmüller – Ludwig-Maximilians-Universität München
dr hab. inż. Paweł Czarnul, prof. n. – Politechnika Gdańska
Z rozprawą doktorską i opiniami recenzentów można się zapoznać
w Czytelni Biblioteki Głównej AGH w Krakowie, Al. Mickiewicza 30

Optimization of scientific workflow execution in the cloud

mgr inż. Kamil Figiela

Promotor: dr hab. inż. Maciej Malawski
Promotor pomocniczy: dr inż. Katarzyna Rycerz
Dyscyplina: Informatyka

Abstract

In this thesis, we address a problem of execution scientific applications in the cloud environment. Optimal provisioning of resources and scheduling of tasks enable to achieve better turnaround times and keep infrastructure costs down.

First, we propose a state of the art Mixed Integer Linear Programming (MILP) model for scheduling large scale scientific workflows on Infrastructure-as-a-Service platforms. Our heuristic minimizes the cost of workflow execution under deadline constraint. Resources are provisioned across multiple providers for a single run of the workflow. We account for the data transfer cost of cross-provider communication and consider infrastructure characteristics that are frequently omitted such as per-hour billing or resource quotas. The algorithm is evaluated on synthetic workflows representing real scientific applications, such as Montage or CyberShake. We show that MILP may be efficiently used for scheduling scientific workloads. By solving the optimization problem for multiple deadlines, we produce trade-off plots, that show how the cost depends on the deadline. Such plots are a step towards a scientific cloud workflow calculator, supporting resource management decisions for both end-users and workflow-as-a-service providers.

Later, we demonstrate that computation structure analysis and smart aggregation of tasks enables for efficient scheduling and execution of multi-frontal solver, an application typically considered as HPC that can be represented as a workflow. Specifically, we show how multi-frontal solver can be ported to be efficiently executed in loosely coupled cloud architecture. We execute the workflow using Hyperflow workflow engine and perform experiments in the real production environment. We compare results with deployment on an HPC cluster. The conclusion is that while the clouds are not as efficient in terms of raw performance as HPC systems, they can provide a better turnaround time, reducing the „time to science” which is the ultimate metric of efficiency important for the end user.

Finally, we present a novel approach to performance evaluation of serverless infrastructure. We implement a performance evaluation framework and gather experimental data over a long period of time. We present a study on performance, heterogeneity, and behavior of runtime environment on Function-as-a-Service platforms. We determine differences in computational performance characteristics on leading commercial serverless platforms. We conclude that serverless infrastructures are economically viable for some cases of scientific workloads.

Streszczenie

Rozprawa jest poświęcona zagadnieniu wykonania aplikacji naukowych w środowiskach chmurowych. Optymalny dobór infrastruktury i szeregowanie zadań pozwala na szybsze osiąganie rezultatów przy zachowaniu niskiego kosztu infrastruktury.

W rozprawie przedstawiono algorytm alokacji zasobów oraz szeregowania zadań dla naukowych aplikacji typu graf zadań (ang. scientific workflow) oparty o programowanie całkowitoliczbowe. Zaprezentowana heurystyka minimalizuje koszt wykonania aplikacji typu graf zadań przy ograniczonym terminie wykonania. W planie wykonania wykorzystywane są zasoby wielu dostawców. Algorytm uwzględnia koszt transmisji danych pomiędzy różnymi dostawcami usług chmurowych, godzinowy cykl rozliczeniowy i ograniczenia w dostępnej puli zasobów. W ocenie algorytmu wykorzystano rzeczywiste aplikacje naukowe takie jak Montage czy CyberShake. Otrzymane wyniki pokazują, że programowanie całkowitoliczbowe może być efektywnie wykorzystywane do planowania wykonania aplikacji naukowych.

Struktura obliczeń solwera wielofrontalnego — aplikacji typowo kojarzonej z superkomputerami — może być reprezentowana jako graf zadań. Solwer wielofrontalny został zaadaptowany do wykonania w luźno powiązanej architekturze chmury obliczeniowej. Analiza struktury obliczeń i inteligentna agregacja zadań umożliwiają wydajne wykonanie obliczeń na infrastrukturach chmurowych. Eksperymenty przeprowadzono w rzeczywistym środowisku produkcyjnym, a otrzymane wyniki porównano z pomiarami przeprowadzonymi na klastrze obliczeniowym. Choć chmury nie dorównują komputerom dużej mocy pod względem szybkości obliczeń, mogą one zapewnić szybsze rezultaty dla użytkownika, co jest ostateczną miarą wydajności z perspektywy użytkownika.

W rozprawie przedstawiono również nowatorski sposób oceny wydajności architektur bezserwerowych. Zaprojektowano i zaimplementowano system ewaluacji wydajności, a dane eksperymentalne zbierane były przez długi okres czasu. Zaprezentowane wyniki dotyczą oceny szybkości obliczeniowej, heterogeniczności i zachowania środowiska uruchomieniowego wiodących platform komercyjnych. Pokazano, że infrastruktura bezserwerowa jest ekonomicznie opłacalna w przypadkach niektórych aplikacji naukowych.

Recenzje

Publikacje doktoranta zawarte w Rozprawie Doktorskiej

  1. K. Figiela and M. Malawski, “Modeling, optimization and performance evaluation of scientific workflows in clouds,” in 2014 IEEE Fourth International Conference on Big Data and Cloud Computing, IEEE, Dec. 2014, pp. 280–280, ISBN: 978-1-4799-6719-3, DOI:10.1109/BDCloud.2014.112,
  2. M. Malawski, K. Figiela, M. Bubak, E. Deelman, and J. Nabrzyski, “Scheduling multilevel deadline-constrained scientific workflows on clouds based on cost optimization,” Scientific Programming, vol. 2015, 2015, ISSN: 10589244, DOI: 10.1155/2015/680271,
  3. B. Balis, K. Figiela, K. Jopek, M. Malawski, and M. Pawlik, “Porting HPC applications to the cloud: A multi-frontal solver case study,” Journal of Computational Science, vol. 18, pp. 106–116, 2017, ISSN: 18777503, DOI: 10.1016/j.jocs.2016.09.006,
  4. M. Malawski, A. Gajek, A. Zima, B. Balis, and K. Figiela, “Serverless execution of scientific workflows: Experiments with HyperFlow, AWS Lambda and Google Cloud Functions,” Future Generation Computer Systems, Nov. 2017, issn: 0167-739X, doi:10.1016/J.FUTURE.2017.10.029,
  5. K. Figiela, A. Gajek, A. Zima, B. Obrok, and M. Malawski, “Performance evaluation of heterogeneous cloud functions,” Concurrency and Computation: Practice and Experience, Jun. 2018, DOI:10.1002/cpe.4792.

Publikacje doktoranta

2019/figiela/start.txt · ostatnio zmienione: 2019/06/17 10:34 przez Kamil Figiela