So testen und bewerten wir

Du interessierst dich also dafür, wie wir bei trusted Software, Dienste und Produkte testen? Super! Dann bist du hier richtig!

Wir bei trusted sehen es als unsere Aufgabe, unseren Leser:innen – ob nun Privatpersonen oder Unternehmen, Gründer:innen und Selbstständigen – eine Entscheidungshilfe beim Kauf von Software und Online-Diensten zu sein. In über 250 verschiedenen Kategorien aus vielen verschiedenen Bereichen geben wir dir einen umfassenden Marktüberblick, zeigen Vor- und Nachteile einzelner Angebote auf und helfen dir dabei, eine fundierte Entscheidung zu treffen.

Besonders stolz sind wir auf unser detailliertes Testverfahren. Denn: Anders als viele Konkurrenten vergleichen wir Angebote nicht nur auf Basis oberflächlicher Infos, sondern testen selbst, um dir mit unseren Erfahrungen und unserer Expertise weiterzuhelfen. Dabei gehen wir nie nach Schema F vor, sondern erstellen für jede neue Vergleichskategorie ein individuelles Testszenario.

Grundsätzlich folgt unser Testprozess aber einer bestimmten Struktur. Hier möchte ich dich einmal durch das Prozedere führen, das wir durchlaufen, wenn wir eine neue Test- oder Vergleichskategorie bei trusted veröffentlichen.

Bereit? Dann werfen wir jetzt gemeinsam einen Blick hinter die Kulissen!

Schritt 1: Wir verschaffen uns einen Marktüberblick

Um dir einen umfassenden Überblick über deine Auswahlmöglichkeiten zu geben, durchforsten wir für jede neue Vergleichskategorie den Markt nach passenden Softwarelösungen, Produkten und Diensten. Mit dabei sind natürlich immer die bekannten, namhaften Anbieter und Marktführer; aber oft auch spannende Newcomer und Außenseiter.

Je nach Kategorie kommt so schnell eine Liste von zwischen 5 und über 30 Anbietern zusammen. Aus diesem Angebot suchen wir uns die 5 bis 10 Top-Runner heraus – abhängig von Markenbekanntheit, Relevanz, Aktualität und anderen Faktoren – und unterziehen diese später einem aufwändigen Praxistest.

Schritt 2: Wir legen spezifische Bewertungskriterien fest

Um Software und Dienste bewerten und vergleichen zu können, braucht es ein Set an festen Bewertungskriterien. Für jede unserer Vergleichskategorien stellen wir daher 5 bis 10 Kriterien zusammen, die die Basis für unsere Einschätzung des Angebots bilden.

Immer mit dabei sind allgemeine Kriterien wie “Vertrag & Kosten”, “Usability/Benutzerfreundlichkeit”, “Sicherheit & Datenschutz” oder “Service & Support” – ergänzt durch spezifische Kriterien für die jeweilige Kategorie.

So bewerten wir z.B. Dating-Apps auch anhand von Kriterien wie “Mitgliederzahl”, “Partnersuche & Matching” oder “Chatten & Flirten”; ein Business-Tool aus der Kategorie “Recruiting-Software” eher anhand von Kriterien wie “Stellenanzeige”, “Bewerbungsprozess” oder “Bewerberkommunikation”.

Dabei versuchen wir stets, unsere Bewertungskriterien auf die Bedürfnisse der späteren Nutzer:innen und Kund:innen abzustimmen.

Aber da ist noch nicht Schluss! Für eine Bewertung des Punktes “Vertrag & Kosten” ist natürlich nicht nur der nackte Preis interessant; sondern z.B. auch die Vertragslaufzeit, die Kündigungsmodalitäten oder ob es eine kostenlose Testphase gibt. Daher splitten wir jedes Bewertungskriterium noch einmal in einzelne Attribute auf; z.B. in Funktionen & Features, die im jeweiligen Bereich relevant sind.

Dazu noch einmal unser Beispiel “Recruiting-Software”: Hier bewerten wir nicht einfach nur stumpf den Punkt “Bewerbungsprozess”, sondern schauen uns an, wie der Bewerbungsprozess im Tool genau organisiert ist. Zum Beispiel, ob das System nicht nur Online-Bewerbungen, sondern z.B. auch E-Mail-Bewerbungen verarbeiten kann, oder ob es Specials wie ein eigenes Bewerber:innen-Portal gibt.

Alle diese Punkte könnten wichtig sein, wenn sich jemand auf trusted eine passende Software-Lösung aussuchen will!

Aber einige Punkte sind natürlich wichtiger, als andere. Daher gewichten wir die einzelnen Bewertungskriterien und Attribute unterschiedlich, je nach Relevanz. Dabei versuchen wir, uns so nah wie möglich an der Praxis, dem Alltag und den Bedürfnissen der Nutzer:innen zu orientieren.

Verschiedene Menschen stellen verschiedene Ansprüche an Produkte und Dienste – das ist ja ganz klar! Daher werden wir mit unseren Gewichtungen nie die Meinung von 100 % unserer Leser:innen abholen können. Trotzdem brauchen wir eine Art von Gewichtung und diese deckt sich (im besten Fall) mit den Bedürfnissen der meisten Leser:innen. Indem wir unsere Gewichtungen transparent veröffentlichen und in unseren Testberichten und Vergleichsseiten ganz klar herausstellen, warum wir ein Produkt so bewerten, wie wir es tun, hast du trotzdem die Möglichkeit, dir eine eigene Meinung zu bilden – solltest du einmal nicht mit unserer Gewichtung oder unseren Testkriterien einverstanden sein.

Mehr zum Thema “Gewichtungen” und wie wir eigentlich die einzelnen Attribute genau bewerten, findest du weiter unten auf der Seite beim Punkt “Bewertung vornehmen”.

Oft vergleichen wir Anbieter auf Basis von hunderten von Punkten! Die sammeln wir in einer umfangreichen Tabelle; der sogenannten “Attributtabelle” (von der Redaktion liebevoll “Attribelle” genannt). Sie ist unser wichtigstes Werkzeug für den Vergleich und die Bewertung. Hier, wirf selbst mal einen Blick auf unsere Tabelle zur Kategorie “Homepage-Baukasten”:

Nun ist schon eine ganze Menge Arbeit investiert worden und Zeit ins Land gegangen, bevor wir auch nur eines unserer Tools tatsächlich in der Hand hatten. Aber genau diese Vorbereitung ist wichtig, um sicherzustellen, dass wir später eine solide Basis für unsere Bewertung haben.

Steht der Bewertungsprozess für die neue Kategorie, geht es aber jetzt endlich ans Eingemachte!

Schritt 3: Wir testen die Angebote und Produkte selbst in der Praxis

Anhand unserer Bewertungskriterien entwerfen wir nun ein detailliertes Testszenario. Das heißt: Wir überlegen, wie wir das jeweilige Produkt überhaupt testen bzw. was wir damit anstellen wollen. Natürlich bedeutet das, dass wir uns jedes unserer Testkriterien und Attribute zumindest einmal angucken müssen; klar! Aber in vielen Fällen wollen wir auch auf Basis eines praktischen Szenarios mit den Testkandidaten “spielen”. Ein paar Beispiele:

• Für “Recruiting-Software” bedeutet das, dass wir den gesamten Prozess von der Stellenanzeige bis zur Bewerbung einmal durchspielen und Erfahrungen mit den Funktionen des Tools machen.
• Für “Online-Dating” sieht das Testszenario natürlich anders aus; hier legt sich unser Redakteur Hermann auf jeder Test-Plattform ein Profil an und geht für trusted auf Partnersuche.
• Vergleichen wir Fotobuch-Anbieter, erstellen wir ein Fotobuch mit Urlaubsfotos, um die Qualität des Endprodukts zu prüfen.
• Vergleichen wir Kochboxen, kocht unser Redaktionsleiter Max ein paar Wochen lang in unserem Münchener Büro für das Team und sammelt so Erfahrungen mit den Produkten.
• Und vergleichen wir Homepage-Baukästen, klickt sich unsere Website-Expertin Julia nicht nur so ein bisschen durch die Tools, sondern erstellt gezielt eine Website für einen spezifischen Fall, um Praxiserfahrung zu sammeln.

Kurzum: Wir testen – wo immer möglich – selbst und anhand eines klaren und praktischen Testszenarios.

Das klappt leider nicht immer. In Kategorien wie z.B. “Handyversicherung” haben wir schlicht keine Möglichkeit, einen Langzeittest durchzuführen. In solchen Fällen versuchen wir trotzdem, dir alle wichtigen Informationen durch eine umfassende Recherche zu beschaffen; z.B., indem wir die Versicherungsbestimmungen durchwühlen, miteinander vergleichen und nach Schlupflöchern suchen. Ähnlich ist es bei Kategorien wie “Girokonto” (hier bewerten wir auf Basis der Konditionen und enthaltenen Leistungen, die wir detailliert für dich aufdröseln) oder “Trading” (hier bewerten wir anhand von Hardfacts, enthaltenen Funktionen, Sicherheitsmaßnahmen und mehr). Wo es aber geht, werden wir immer einen eigenen Praxistest durchführen! Wie wir genau getestet haben, kannst du dir übrigens für jede Kategorie bei uns auf der Page anschauen; denn auf jeder Kategorieseite gibt es einen Abschnitt “So haben wir getestet”, in dem wir dir unser Testszenario erklären.

Für die Tests greifen wir auf kostenlose Testaccounts zurück oder fragen bei den Anbietern selbst einen zeitlich beschränkten Account oder ein Testprodukt an. Klappt das nicht, führen wir die Tests auf eigene Kosten durch.

All unsere Erfahrungen sammeln wir auf teilweise bis zu 100 Seiten Testdokumentation mit Text und Bildern und natürlich in unserer Attributtabelle. So geht keine unserer Erfahrungen verloren.

Schritt 4: Wir nehmen eine faire und unabhängige Bewertung vor

Haben wir alle Praxistests durchgeführt, wird es Zeit, die einzelnen Angebote zu bewerten. Das tun wir abermals in unserer Attributtabelle und anhand von Prozentwerten. Maximal kann jedes Attribut, jedes Testkriterium und die Gesamtnote so einen Wert von 100 % erreichen.

Unsere Bewertung teilt sich dabei auf in wichtige Hardfacts und persönliche Eindrücke, Einschätzungen und Erfahrungen. Beides ist für die Bewertung wichtig, denn: Zwei Recruiting-Tools können grundsätzlich das gleiche Set an Funktionen mitbringen – sie deswegen aber auch automatisch identisch zu bewerten, ist Quatsch! Denn Tool A kann die Funktionen viel sinnvoller und einfacher im System verbaut haben, während Tool B die Funktionen zwar hat, aber nicht gut umsetzt oder flüssig in einen Workflow einbettet.

Daher ist für jedes Bewertungskriterium auch die persönliche Einschätzung unseres Redakteurs bzw. unserer Redakteurin ausschlaggebend, die (je nach Kategorie) mit bis zu 40 % in die Bewertung einer Teilnote einfließt.

Eine “persönliche Erfahrung” ist immer subjektiv; und nicht immer wirst du mit unserer Einschätzung einverstanden sein. Aber das ist auch das, was uns von vielen anderen Vergleichsportalen unterscheidet, die nur anhand von Hardfacts bewerten – und in vielen Fällen die jeweiligen Angebote nie selbst in der Hand hatten. Indem wir unsere Erfahrungen und Gedanken mit dir teilen, verschaffen wir dir einen tieferen Einblick in das jeweilige Angebot, auf dessen Basis du dir deine eigene Gedanken machen kannst. Echte Erfahrungen finden wir oft viel nützlicher, als vollständige Objektivität – und auch spannender!

Die restlichen 60 % sind dann wichtige Hardfacts, also Fragen wie: “Gibt es Funktion X, oder gibt es sie nicht?”, “Wie hoch ist der Preis im Vergleich mit dem restlichen Testfeld?” oder “Für welche Geräte steht das Tool als Software/App zur Verfügung?”.

In Ausnahmefällen vergeben wir außerdem Bonuspunkte je Testkriterium; die gibt es z.B. für spezielle Funktionen und Features, die nicht alltäglich sind und deswegen in unserer Attributtabelle (noch) nicht abgefragt werden. Oder für besondere Leistungen, die den Durchschnitt extrem übersteigen. Bis zu 10 % Bonus kann sich ein Tool damit für Besonderheiten verdienen – aber immer nur bis zu einem Maximalwert von 100 %.

Also, nochmal die Kurzfassung: Unsere Bewertung für jedes unserer Testkriterien besteht zu 60 % aus harten Zahlen und Fakten, zu 40 % aus persönlicher Einschätzung und Erfahrung und in Spezialfällen aus bis zu 10 % Bonuspunkten.

Auf diese Weise entsteht ein Score zwischen meist 75 und 100 %. Je höher der Score, desto besser bewerten wir das Angebot und desto höher fällt dann auch die Testnote aus.

Apropos Testnote: Die errechnen wir anhand einer übersichtlichen Tabelle, die so zum Beispiel auch in vielen deutschen Universitäten und Hochschulen zum Einsatz kommt:

Ein Beispiel: In unserem Test zum Thema “Homepage-Baukasten” von 2024 erreichte der Anbieter Wix die höchste Gesamtwertung mit 97 % und damit die Note “1,0 (sehr gut)”. Der Anbieter Webador hingegen wurde “nur” mit einem Score von 88 % bewertet und erzielte daher die Note “1,8 (gut)”.

Oder, um noch einmal auf die unterschiedlichen Gewichtungen der Testkriterien einzugehen, ein anderes Beispiel: Der Anbieter Saal Digital, Testsieger in unserer Kategorie “Fotobücher” von 2023. Für diesen haben wir für die einzelnen Testkriterien die folgenden Scores anhand unseres Bewertungssystems ermittelt:

Setzen wir die jeweiligen Gewichtungen an, entsteht ein Gesamtscore von 91,6 %, gerundet also 92 % und damit eine Testnote von “1,2 (sehr gut)”. So haben wir die Bewertung dann auch bei uns veröffentlicht:

Auf diese Weise gehen wir für jeden getesteten Anbieter in einer Kategorie vor, bis alle bewertet wurden und wir ein Ranking aufstellen, das wir bei uns auf der Plattform präsentieren können. Und damit ist auch dieser Punkt abgehakt.

Schritt 5: Wir erstellen ausführliche Inhalte und Berichte

Der letzte Schritt auf dem Weg zur fertigen Testkategorie: Wir müssen die redaktionellen Inhalte dafür erstellen. Denn eine Bewertung anhand einer Note ist natürlich nett und schön; aber ohne Kontext ist sie nur wenig wert. Daher erstellen wir zu jedem unserer getesteten Tools ausführliche Texte:

Zu jeder Vergleichskategorie gibt es auf trusted eine redaktionelle “Kategorieseite”, die unsere Testerfahrungen und unseren Testprozess zusammenfasst und die getesteten Tools und Produkte kurz vorstellt. Hier sind dann schon die wichtigsten Infos mit dabei, die du brauchst, um dir einen Überblick zu verschaffen und das Testfeld für dich schon einmal einzugrenzen. Nützlich dafür ist auch unsere ausführliche Vergleichstabelle – die übrigens identisch ist mit der Attributtabelle, anhand derer wir die Angebote bewertet haben.

Hier zum Beispiel ein Auszug aus unserer Kategorieseite zum Thema “Dating-Apps”:

In vielen Fällen hören wir hier aber nicht auf, sondern stellen die einzelnen Angebote auch noch einmal in ausführlichen Testberichten und Reviews vor. Hier findest du dann unsere gesamte Testerfahrung; ausführlich und sortiert nach den jeweiligen Testkriterien. In den Testberichten versuchen wir dann auch verständlich zu verschriftlichen, warum wir ein Angebot auf diese oder jene Art bewertet haben, wo es ggf. Punktabzüge gab oder was uns besonders positiv aufgefallen ist.

In unseren Testberichten stellen wir auch heraus, wem wir das jeweilige Tool oder Produkt konkret empfehlen würden und was ggf. die USPs/Alleinstellungsmerkmale des Angebots sind.

Unsere Testberichte und Vergleichsseiten sind schon ziemlich ausführlich; in vielen Kategorien die ausführlichsten der Branche! Wir achten aber natürlich auch darauf, dass sie nicht zu unfassbar lang werden, uns auf Wesentliches zu konzentrieren und sie gut und flüssig lesbar zu halten. Solltest du deswegen einmal etwas nicht verstehen oder nachvollziehen können, tut uns das leid! Dann teile uns deine Meinung zu unserem Text gerne auf [email protected] mit und wir werden zusehen, dass wir dein Feedback umsetzen können!

In den Testberichten findest du aber nicht nur unsere Testerfahrungen, sondern auch eine ausführliche Kostenübersicht mit Datenblatt (im Reiter “Kosten”), Bewertungen von bisherigen Kund:innen (im Reiter “Bewertungen”) oder hast die Möglichkeit, das jeweilige Angebot anhand des Datenblattes mit anderen Angeboten zu vergleichen.

Haben wir auf diese Weise alle Texte zu einer Kategorie erstellt, durchlaufen diese einen Redaktionsprozess mit Lektorat, Nachbearbeitung und Feinschliff und werden anschließend gesammelt auf der Plattform veröffentlicht. Hier können sie dann dir und allen anderen trusted-Leser:innen (hoffentlich) dabei helfen, das beste und passendste Angebot zu finden.

Und das ist es eigentlich schon; auf diese Weise vergleichen, testen und bewerten wir alle Tools und Angebote, die wir dir auf trusted.de präsentieren – egal, ob es sich dabei um eine Business-Softwarelösung, ein physisches Produkt oder einen Online-Dienst handelt.

Wir hoffen, dass wir dir hier einen kleinen Einblick in unseren Testprozess geben konnten und alles nachvollziehbar und verständlich aufgedröselt haben!

Du hast noch Fragen oder Anmerkungen dazu? Dann melde dich gerne jederzeit bei uns! Unter [email protected] kannst du mit uns in Kontakt treten. Wir beantworten dir gerne alle deine Fragen!