Omówimy teraz niektóre z istniejących sposobów pomiaru opisanych powyżej TMP oraz omówimy ich zalety i wady. W niektórych przypadkach co najmniej jedna metryka może zostać zebrana z umów SLA, oficjalnych dokumentów i innych opublikowanych artefaktów dostawcy usług w chmurze. Na przykład, EC2 firmy Amazon w umowie SLA zapewnia dostępność na poziomie 99,95%; co w przeliczeniu na godziny daje około 4 godziny 23 minuty przestoju w ciągu roku, poza planową konserwacją. Jednak umowa SLA nie gwarantuje, że sprawy nie pójdą źle w czasie wykonywania. Na przykład w marcu 2011 roku EC2 doznał awarii i według Amazona trwała ona prawie 11 godzin. W związku z tym uwzględniono ten pojedynczy przestój , znacznie więcej niż przestój, jaki Amazon gwarantuje w ciągu roku. Według raportu firmy Sage Research, średnio roczne nieplanowane przestoje stanowią około 44% wszystkich przestojów. Takie nieplanowane przestoje mogą przełożyć się na ogromne straty pieniężne dla klientów. Według tego samego raportu średni koszt przestoju sieci wynosi 2169 USD za minutę. Ponadto definicje metryk są oparte na celach biznesowych, a cele biznesowe klienta chmury i dostawcy usług kryptograficznych są oczywiście różne. Chociaż opublikowane artefakty dostarczają nam punktu odniesienia, klient nie może na nich polegać w całości i wymagany jest dokładniejszy i bardziej znaczący pomiar metryk. Istnieje również szereg witryn internetowych i narzędzi, takich jak CloudSleuth , CloudHarmony , CloudStone i Cloud CMP , które mierzą te metryki. CloudHarmony , CloudStone i Cloud CMP to narzędzia składające się z zestawu testów porównawczych, które mierzą wydajność chmur poprzez wdrażanie aplikacji testowych w chmurze. Narzędzia te mają jednak dwie wady. Po pierwsze, nie uwzględniają innych form pomiarów, takich jak umowy SLA i opinie użytkowników, a zatem są jednowymiarowe; po drugie, narzędzia te nie zapewniają ciągłego monitorowania. CloudSleuth jest bardziej rozproszonym narzędziem niż reszta. Składa się z 30 węzłów szkieletowych na całym świecie, z których 18 znajduje się w Stanach Zjednoczonych, a 12 na zewnątrz. CloudSleuth uruchamia transakcję na każdym dostawcy CSP, który chce okresowo monitorować. Mierzy dwie metryki, czas odpowiedzi i dostępność. Każdy z węzłów szkieletowych uruchamia transakcję w chmurach w swoim regionie. Transakcja polega na pobraniu strony zawierającej 40 obrazów, co symuluje przeglądanie witryny sieci Web. Czas odpowiedzi jest obliczany jako średni czas pobierania obrazów. Dostępność mierzy się jako odsetek udanych transakcji w danym okresie. Można argumentować, że test czasu odpowiedzi CloudSleuth jest bardzo ogólny i może znacznie różnić się od wymagań i obciążenia poszczególnych klientów, ponieważ zapewnia zbiorczy widok, który nie jest tym, co jest pożądane, aby przeprowadzić holistyczną ocenę zaufania z punktu widzenia dostępności. Artykuły polegają na informacjach zwrotnych od konsumenta korzystającego z chmury na temat usług, które wykorzystał do obliczenia zaufania konsumenta do usługi. Do oceny eksperymentalnej wykorzystują dane zwrotne z epinionów. Ponownie, samo użycie informacji zwrotnej sprawia, że ta metoda oceny chmury jest jednowymiarowa, ponieważ uwzględnia tylko punkt widzenia konsumenta. Punkt widzenia konsumenta jest najważniejszy przy ocenie chmury. Jednak nie powinno to być jedynym kryterium, ponieważ opinie konsumentów mogą zależeć od wielu czynników niezwiązanych z wydajnością chmury, a tym samym mogą być wadliwe. Ponadto, jak zaobserwowano w przypadku witryn i narzędzi porównawczych w chmurze, informacje zwrotne również nie zapewniają ciągłego monitorowania chmury. Aby przetestować trzy komponenty wydajności, możemy wybrać dowolne istniejące testy porównawcze, pamiętając, że ponieważ chcemy okresowo uruchamiać testy porównawcze w czasie wykonywania, chcemy, aby były krótkie i nienachalne. Musimy sprawdzić, czy można używać zestawów testów wydajności procesora, takich jak Geekbench i UnixBench [34]. Dbench [35] może być używany do testowania IO dysku, a Geekbench i UnixBench mogą być ponownie używane do pomiaru wydajności pamięci. Pomiary wydajności można następnie zagregować i uśrednić w stosunku do kosztu maszyny, aby uzyskać przepustowość. Bardziej subiektywny pomiar wydajności można również zebrać na podstawie opinii użytkowników. Aby uzyskać rzetelne porównanie, większość istniejących pomiarów jest wykonywana na maszynach z jedną maszyną wirtualną. Tak jednak nie jest w przypadku dnia do codziennego funkcjonowania chmury, w której maszyny fizyczne są wielodostępne, a maszyna wirtualna użytkownika musi konkurować o zasoby na maszynie, wpływając w ten sposób na ogólną wydajność. W związku z tym istniejące miary nie odzwierciedlają dokładnie wydajności chmury w czasie wykonywania. Podczas pomiaru wydajności należy również wziąć pod uwagę zewnętrzne wpływy spowodowane wieloma najemcami.