Zur Bewertung der Designqualität wurden die Bewertungsskalen SUS und MARS eingesetzt. Die SUS Skala (System Usability Scale) umfasst 10 Punkte, welche vor allem die Nutzerfreundlichkeit und Erlernbarkeit ansprechen. SUS Gesamtwerte von ‘68’ und mehr gelten als überdurchschnittlich, Werte darunter, als unterdurchschnittlich. Die MARS Skala (Mobile App Rating Skale) mit 23 Unterkategorien ist ungleich umfangreicher und deckt Ansprüche an Funktionalität, Ästhetik, Informationsqualität, subjektive Qualität und den motivierenden Gehalt ab. Der daraus abgeleitete Gesamtwert liegt bei den MARS Testskalen im Durchschnitt bei 3,37 was als Anhaltspunkt herangezogen werden kann.

Zur Leistung einer vertieften Designanalyse, welche über die kursorischen Skaleneinschätzungen von MARS und SUS hinausgehen, wurde eine Designcheckliste entwickelt (-> Erläuterungen und Ergebnisse im Bericht vgl. 4.4 und Anhang 2a).

Die Bewertung der inhaltlichen Qualität hängt letztlich vom gewählten theoretischen Referenzmodell ab. Hier wurde ein Selbsthilfe, Selbstheilung (self-change) Modell gewählt und eine entsprechende Checkliste Inhaltsqualität entwickelt, welche 10 Kriterien umfasst:
1) Qualität der Einleitung (z.B. Navigationsanweisungen);
2) Zielsetzungsmodus (z.B. variabel vs. fix);
3) Selbsthilfemodell-Infos (z.B. Hinweis auf Risikosituationen);
4) Datenaufnahme (z.B. Art der Konsumregistrierung);
5) Selbstpositionierung/normative Information (z.B. Selbsttests);
6) Abwägungsübungen pro und kontra Verhaltensänderung;
7) konkrete Verhaltenstips (z.B. situationsbezogen);
8) Interaktivität (z.B. chat-Möglichkeit);
9) Hinweise zur Datenmigration;
10) Datenschutzhinweise (z.B. Hinweise was mit den Daten geschieht).

Als erster Übersichtswert zur inhaltlichen Qualität wurde mit dieser Checkliste ein Qualitätsgesamtwert gebildet, welcher berücksichtigt, ob bei jedem der 10 Kriterien zumindest jeweils einer Anforderung Rechnung getragen wurde. Aufaddiert ergibt sich dann ein erster Orientierungswert von ‘0’, d.h. kein Kriterium berücksichtigt bis ‘10’ d.h. zumindest eine Anforderung bei allen Kriterien berücksichtigt. Entsprechend wurde auch eine Interaktivitätsskala aus den zugehörigen acht Punkten gebildet (Wertebereich also von 0 -8) sowie eine Selbsthilfe-Informationsgehalt Skala, welche den Grad der Berücksichtigung des Selbsthilfemodells (z.B. Risikobewältigung) sowie den gebotenen Informationsgehalt (z.B. Wirkung und Behandlungsmöglichkeiten) mit drei bzw. zwei Unterkriterien prüft (Wertebereich also von 0-5).

1. Genereller Eindruck
- Beurteilung des generellen Eindrucks:
Wirkt die Applikation zum Beispiel billig, elegant, unseriös/seriös, spielerisch oder rein technisch?
- Zutreffende Merkmale sind genauer zu analysieren und in einen Begründungszusammenhang zu stellen)
(Entspricht vertiefend den Abschnitten A5/C12 der MARS-Skala**)

2. Sichtbarkeit des System Status (vgl. Nielson -> ‘Heuristics 1.)
Das System sollte den Nutzenden jewiels sinnvolle Rückmeldungen über den aktuellen Vorgang informieren
Also : Weiss der Nutzende wo er/sie gerade ist? Sind die Rückmeldungen zum Status der Applikation konsistent? Sind Aktionen, Navigationen und Verortung innerhalb der Applikation visuell erkennbar? Weiss der Nutzende, ob ein Eintrag jeweils gespeichert und bestätigt wurde? Sind die Warnmeldungen konsistent?

3. Interaction / Metaphor / Style:
Passung zwischen System und Alltag (vgl. Nielson* -> Heuristic 2)
Das System sollte die Sprache des Nutzenden sprechen und vertraute Wörter, Ausdrücke und Konzepte aus dessen Lebenswelt verwenden statt Systemorientierte Ausdrücke. In Anlehnung an die Konventionen im Alltag, sollen die Informationen in einer entsprechenden natürlichen, logischen Ordnung auftauchen.

a) Generelle Einschätzung
- Ist die Applikation leicht erlernbar?
- Bietet die Applikation eine logische, passende? komfortable? vertraute? Hierarchie?
Beispiel: Erscheinen wichtige Informationen im oberen Teil und/oder sind leicht anwählbar? Folgt die Informationsanordnung einem Bedeutungsgerüst?
- Passt das Design zum Bildschirmformat?
Beispiel: Der Bildschirm wird visuell gut ausgenutzt und alle Bedienelemente sind bequem zugänglich.
(Entspricht vertiefend den Abschnitten B7, B8, C10 der MARS Skala)

(Entspricht vertiefend den Abschnitten B7, B8 du C10 der MARS Skala)

c) Typographie:
Ist der Text hierarchisch aufgebaut und lesbar?
Beispiele:
- Sind Inhaltstypen nach Schriftart bzgl. Grösse und Gewichtung differenziert?
- Werden unterschiedliche Stile eingesetzt, um Inhalte von Steuerungen (Buttons, Links usw.) abzuheben?
- Ist der Text auf optimale Lesbarkeit ausgerichtet oder wirkt er eher abschreckend?

Beurteilungspunkte:
- Fällt die Darstellung des Konsums im Tagebuch logisch und genau aus?
Beispiel: Wie wird die aktuelle Situation im Verhältnis zum angestrebten Ziel dargestellt? Wird Fortschritt positiv dargestellt oder eher als Lücke im Sinne von ‘drei weitere Bier liegen noch drin, um mein gesetztes Ziel gleichwohl zu erreichen»?
- Werden Statistiken und andere Daten visuell dargestellt?
- Sind die erfassten Daten vergleichbar (im Zeitverlauf, nach Kategorien usw)?
- Sind die Grafiken klar, lesbar, verständlich?
- Wird hierdurch ein Informationsmehrwert generiert?
- Ist die Darstellung konsistent und korrekt? Beispiel: Ist das Verhältnis von starken und schwächeren Getränken richtig abgebildet?
- Wie ist die Navigation durch die Grafiken gestaltet? Beispielsweise: Können Zeitpunkt, Zeitintervall eingestellt und vergrösserbar betrachtet werden?

e) Colour
- Ist die Farbwahl durchdacht (werden die Farben aufeinander abgestimmt und zielgerecht eingesetzt)?
- Helfen die Farben der Zugänglichkeit der Applikation?

4) Generelle Usability / User Experience
Beurteilung der funktionalen Erfahrung:
- Beschrieb des Nutzungsablaufes (einfach, elegant, logisch, unbequem, umständlich, aufwändig?)
- Wird verständlich wo und wie genau gewünschte Abläufe aktiviert werden können? Wie leicht ist es, die beabsichtigte Aktion zu erreichen?
- Wie einfach oder schwierig ist die Dateneingabe?
(Entspricht vertiefend den Abschnitten B7 und B8 der MARS Skala)

5) Datenschutz und Sharing
Beurteilung der Einstellungen zum Schutz der Privatsphäre und Optionen für geteilten Zugriff
- Erfasst die Applikation persönliche Informationen (z.B. den Namen) oder nutzungsbezogene Daten (Standortdaten, Konsumverläufe usw)
- Sind Zustimmungsentscheidungen klar formuliert und wird deutlich, wer (wenn überhaupt) Zugang zu den gesammelten Daten hat und wie diese allenfalls verwendet werden (z.B. für Forschungszwecke; Verkauf an Dritte)?
- Wird informiert wie (wenn überhaupt) die Daten gespeichert werden (nur lokal auf dem Telefon oder aber extern auf zentralen Ablagen)?
- Wie leicht oder schwierig ist es, persönlich Daten zu entfernen? Fallen die Anweisungen hierzu klar aus?
- Sind Schnittstellen zu sozialen Netzwerken vorhanden?
- Falls ja, welche Inhalte werden geteilt?

*Nielsen, J. and R. Budiu (1994): Usability Engineering. Boston, Academic Press Inc. Nielsen, J. and R. Budiu (2012). Mobile Usability, New Riders Press.

**Stoyanov, S.R., L. Hides, D. Kavanagh, O. Zelenko, D. Tjondronegoro and M. Mani (2015): "Mobile App Rating Scale: A New Tool for Assessing the Quality of Health Mobile Apps." JMIR mHealth uHealth DOI: DOI: 10.2196/mhealth.3422.

1. Einführung in die Applikation
(11) Gebrauchs- und Navigationsanweisungen?
(12) Informationen zur Zielsetzung und Grundidee?
(13) Informationen, wie die Daten genutzt werden könnten und Ausführungen zur Nützlichkeit der Applikation?

2. Zielsetzung */**
(21) Vorgegeben (Abstinenz oder anderes Ziel) vs. nutzerdefiniert; Zielerreichung verfolgbar und Zieländerung möglich?
(22) Belohnungen für Zielerreichung?

3. Sachinformationen, Informationsqualität, Reichweite **
(31) Beschreibung von Risikosituationen (u.a. persönliche Einträge; Standortbestimmung; direkte Interaktion via Telefon in aktuellen Risikosituationen; Empfang vorprogrammierter oder personalisierter Bewältigungsstrategien in Risikosituationen)?
(32) Definiert Rückfallrisiken; vermittelt Vermeidungsstrategien und Bewältigungsstrategien?
(33) Allgemeine Informationen zu den Auswirkungen von Konsum oder süchtigen Verhaltensweisen (somatisch, psychisch, Entzugserscheinungen, soziale Auswirkungen auch auf Dritte)?
(34) Wird über die Qualität und die Quellen der gebotenen Informationen informiert (Referenzen; Evidenz-basierte und/oder Erfahrungsberichte)?
(35) Werden Hinweise auf professionelle (Behandlung, Beratung) oder Laienhilfeangebote (z.B. Selbsthilfegruppen) geboten?

4. Aufzeichnungen zur Selbstbeobachtung *
(41) Datenerfassungsmöglichkeiten 1; z.B. Menge, Häufigkeit, Getränkeart oder Verhaltenstyp (muss die Standard-Getränk-Berechnung selbst vorgenommen werden oder werden einfachere Optionen zur Datenerfassung geboten?)?
(42) Visualisierung der Daten im Zeitverlauf; Auswahl des Zeitfensters möglich (z.B. Konsum der letzten 60 Tage)?
(43) Datenerfassungsmöglichkeiten 2; können Kontextinformationen (Konsumsituation und Befindlichkeit in der Situation) festgehalten werden?
(44) Filter Mann/Frau einsetzbar?

5. Normative Informationen
(51) Zugang zu Selbsttests (standardisiert wie etwa AUDIT, aber auch auch Quiz-Formate um den eigenen Kenntnisstand zu überprüfen)
(42) Möglichkeit zur persönlichen relativen Standortbestimmung/Einordung? (z.B. persönliche Rückmeldungen zu den aktuellen Konsum- oder Testwerten nach dem Motto ‘Wo passt mein AUDIT Wert im Vergleich zu nationalen oder anderen Gruppenwerten’?)

6. Unterstützung beim Abwägungsprozess zur Zielverfolgung oder – änderung
(61) Vorlagen/Übungen zum Abwägen der Positiv-und Negativfolgen allfälliger Verhaltensänderungen oder der Verhaltensbeibehaltung zugänglich?

7. Verhaltenstips
(71) Praktische konsumbezogene Tips
(72) Praktische situationsbezogene Tips

8. Interaktivität ***
(81) Personalisierung des Profils möglich (Avatar, Farb – Klangauswahlen)?
(82) Audio oder Video Unterstützung?
(83) Besteht die Möglichkeit, Beschwerden an den Seitenverantworlichen bzw. die Autoren zu senden?
(84) Fragebogen zur Nutzerzufriedenheit vorhanden?
(85) Option Forum, chats, soziale Netzwerkschnittstelle?
(86) Spielerisches Modul berücksichtigt?
(87) Interne Suchmaschine
(88) Anpassung der Applikation durch den Nutzenden möglich? Falls ja, genauer überprüfen

9. Datenexport – Optionen
(91) Werden Möglichkeiten des Datenexports erklärt?

10. Schutz der Privatsphäre
(101) Informationen, was mit den Daten geschieht?
(102) Explizite Information ob Daten geteilt werden oder nicht?
(103) Informationen ob das Erfassen von Daten extern verfolgt/abgegriffen wird? Ausschlussmöglichkeit?
(104) Information ob erfasste Datensammlungen extern verfolgt/abgegriffen werden?

Zu Analysezwecken bieten sich folgende zusammenfassende Skalenwerte an:

Gesamtwert-Inhaltsqualität (0-10) : Beim jeweiligen Modul wird geprüft ob mindestens einer der folgenden Unterpunkte erfüllt ist und dann ein Summenwert gebildet. Wenn Informationen nur über einen link zugänglich sind, gilt der betreffende Unterpunkt als nicht erfüllt.

Interaktionswert (0-8): Hier werden die Unterpunkte 81 -88 (0=nicht erfüllt/1=erfüllt) aufsummiert.

Risiko-/Informations-Barometer (0-5) : Es umfasst die Summerwerte der Unterpunkte 31-35 (‘/1)

Die Checkliste ‘Inhaltsqualität’ basiert teilweise auf folgenden drei Quellen:

a) Komponenten des Modells der gestützten Selbstheilung (Guided Self-Change (GSC) treatment model) *
Siehe ->: Sobell Carter L.; Domingo S. Mirtenbaum D.S. et L. (under review) iSelf-ChangeTM: A randomized trial of a brief alcohol intervention delivered by iPhone and email. Under review.

b) Variablen des Self-help Modells** and der c) Abbott Skala (Interaktivität) ***
Siehe -> Louise Penzenstadler, Anne Chatton, Mathias van Singer, Yasser Khazaal (2016): European Addiction Research 22(6):329-338.