Auswertung: Berichte konfigurieren (Menü Vorlagen -> Berichte)
Die Auswertung unterstützt umfangreiche Berichtsoptionen zu den Auswertungsergebnissen für die Nutzer. Die Benutzer verwenden vorkonfigurierte Berichtsvorlagen, um über die Evaluierungsergebnisse zu berichten. Da Evaluierungsdaten sensibel sein können, besteht ein Teil der Konfiguration der Berichtsvorlagen darin, die verschiedenen Berichte für die verschiedenen Beteiligten zu konfigurieren und die richtigen Authentifizierungsergebnisse hinzuzufügen, um zu verhindern, dass die Beteiligten Daten sehen, die sie nicht sehen dürfen.
Definieren Sie die Grundlagen der Berichtsvorlage
Berichtsvorlagen werden verwendet, um die verschiedenen Berichte zu definieren und zu konfigurieren, die den Benutzern zur Verfügung stehen. Diese Berichte können sich im Format, in den angezeigten Daten, in der/den Zielgruppe(n) usw. unterscheiden.
Das Einrichten einer Vorlage besteht aus einer Reihe von Schritten, wobei in diesem Handbuch jeder Abschnitt einen Schritt im Konfigurationsprozess behandelt.
Eine typische Installation kann mehrere Dutzend bis hundert verschiedene Vorlagen haben,
je nach Anzahl der Bewertungstypen und
Unterscheidung der Berichte zwischen den verschiedenen Beteiligten.
Die Option Vorlagen -> Berichte öffnet eine Übersicht über alle definierten Berichte in der Auswertung.
Verwenden Sie das Pulldown-Menü, um den Auswertungstyp für die Filterung der angezeigten Berichte auszuwählen.
Klicken Sie auf Erstellen, um eine neue Berichtsvorlage zu definieren, oder auf eine bestehende, um die Berichtsvorlage zu bearbeiten.
Der erste Schritt bei der Definition besteht darin, das allgemeine Verhalten der Berichtsvorlage festzulegen:
- Auswertungstyp: Legt den Standardauswertungstyp fest, für den diese Berichtsvorlage bestimmt ist.
- Typ: Gibt den Berichtstyp an, z.B. das Verhalten:
- Standardauswertung - der Block wird einmal in der Auswertung angezeigt
- Mitgliederbewertung - der Block wird als Personenauswahl (Dozent) angezeigt und öffnet die dozentenbezogenen Fragen für jeden ausgewählten Dozenten
- Externe ID: Eindeutige externe ID, verwendet für Integrationsszenarien
- Name: Der Name der Berichtsvorlage, der dem Benutzer in der Kopfzeile des Berichts und in den Dropdown-Listen zur Berichtsauswahl angezeigt wird
- Startdatum: Das Datum, ab dem dieser Bericht im System verfügbar ist
- Enddatum: Das Datum, bis zu dem dieser Bericht im System verfügbar sein wird
- Karten-Ansicht: Anzeigeart, bei der die Antworten auf eine Frage übersichtlich gruppiert und in einem visuell umrandeten Kasten enthalten sind
- Blöcke anzeigen: Zeigen Sie die Fragen nach Blöcken gruppiert an, wie sie in der Bewertungsvorlage definiert sind und bei der Eingabe des Befragungsdatums verwendet werden (Ansicht)
- Nur Vorlagen anzeigen: Zeigen Sie nur die Fragen an, die in der Bewertungsvorlage definiert sind, und lassen Sie alle "Zusatzfragen" aus, die der Koordinator für eine bestimmte Bewertung hinzugefügt hat.
- Leere Optionen anzeigen: Ergebnisse für "geschlossene Fragen" anzeigen, die kein Ergebnis in den Berechnungen haben.
- Benchmarks anzeigen: Zeigen Sie den Benchmark für die Bewertung/Frage im Vergleich zu früheren Bewertungen.
- Feedback bearbeitbar: Ermöglicht die Bearbeitung des Feedbacks direkt im Bericht. Wird insbesondere für den Prozess der externen Prüfung verwendet.
- Anzahl der Fragen pro Block: Die maximale Anzahl von Fragen, die pro Block gemeldet werden
- Show feedback last: Default the feedback is shown at the top of the report. This option will move the feedback from the top to the bottom of the report.
Das nachstehende Beispiel zeigt eine Beispielkonfiguration eines Managementberichts.
The configuration of the general report template behaviour continuous:
- Minimale Anzahl von Teilnehmern: Die minimale Anzahl der Befragten, die für die Ausführung des Berichts erforderlich ist.
Dies soll verhindern, dass Berichte mit nur einer sehr begrenzten Anzahl von Befragten (z. B. 1 oder 2) angezeigt oder erstellt werden. - Fragen zur Durchschnittsnote: Geben Sie an, welche Fragen in die Durchschnittsnote einfließen.
- Vorjahre einbeziehen (#): Für den Fall, dass eine Bewertung nicht genügend Befragte hat, aber mit Bewertungen aus den Vorjahren vergleichbar ist, werden die Ergebnisse aus # Vorjahren verwendet, um die Mindestanzahl der Befragten zu überschreiten. Nützlich für Evaluierungen von Studienabschlüssen mit einer begrenzten Anzahl von Befragten pro Jahr,
- Reihenfolge: Legen Sie die Standardreihenfolge fest, in der der Bericht in Listen und Menüs angezeigt wird.
- Art der zu berücksichtigenden Teilnehmer: Wählen Sie aus, welche Teilnehmer in den Bericht aufgenommen werden sollen:
- Beendet - der Befragte hat die Bewertung abgeschlossen und eingereicht
- Nicht gestartet - der Befragte hat die Bewertung nicht geöffnet
- Gestartet - der Befragte hat die Bewertung geöffnet, kann zwischen 0 und allen Antworten geantwortet haben, hat die Bewertung aber noch nicht abgeschickt.
Das Hinzufügen von "begonnen" kann nützlich sein, um die Anzahl der Teilnehmer bei den ersten Fragen zu erhöhen.
- Blocktypen: Legt fest, welche Blocktypen in den Bericht aufgenommen werden sollen.
- Mitgliederbewertungen sind Bewertungen von Personen (Dozenten) und sind vertraulicher.
- Standardbewertungen sind alle anderen Bewertungen.
- Nur eigene Bewertungen anzeigen: Legt fest, ob bei einer Mitgliederbewertung nur die Ergebnisse des angemeldeten Benutzers angezeigt werden, oder die Ergebnisse aller bewerteten Dozenten.
Das folgende Beispiel zeigt die weitere Definition des Managementberichts.
Der Bearbeitungsbildschirm unterstützt die folgenden Optionen:
- Vorschau: Vorschau des konfigurierten Berichts
- Kopieren: Erstellen Sie eine Kopie der Vorlage (Konfiguration der grundlegenden Details und Einstellungen)
- Löschen: Löschen Sie die Vorlage
- Abbrechen: Verwirft die vorgenommenen Änderungen. Ist das gleiche Verhalten wie Speichern und die Option 'nicht speichern' wählen
- Speichern: Speichern der vorgenommenen Änderungen
Benchmark configuration
Benchmarks are used to validate evaluation results to pre-set values. Next to pre-set values benchmarks can also be configured against a benchmark based on evaluation results in a specific period and based on a specific filter, e.g. faculty.
The resulting reports looks like the following images, where in case the benchmark is configured:
- the deviation from the institution average for the selected evaluation is shown
- the deviation from the filtered value (e.g. faculty) for the selected evaluation is shown
The report can be exported in an Excel or CSV format, where the 3 values in the report shown in 'one cell' are spread over separate columns.
Configuration
The first step to configure the usage of a filter-based benchmark, navigate to the Admin -> Parameters page and configure the filter value to be used as benchmark tag.
The next step is to configure which questions should be benchmarked. This is done by setting the Benchmark from and Benchmark to dates on the relevant questions.
The final step is to navigate to Statistics -> Benchmarks. This provides an overview of all questions and their calculated benchmarks.
In case there are no benchmarks shown, maybe due to the fact the benchmark is just enable on a question, click the synchronize button to start re-calculation of the benchmarks.
Teilnehmersummen (Filter nach Tags)
Eine Teilnehmersumme konfiguriert die teilnehmerbezogenen hinzugefügten (Tag-)Informationen, die im Bericht angezeigt werden sollen, wie unten anhand eines Beispiels erläutert.
Klicken Sie auf die Registerkarte Teilnehmersummen, wird die Liste der definierten Tags angezeigt, die für die Filterung des Berichts zur Verfügung stehen.
Klicken Sie auf Erstellen, um einen neuen tagbasierten Filter zu definieren, oder klicken Sie auf einen bestehenden, um den definierten Filter zu bearbeiten.
Die Konfiguration erfordert/unterstützt:
- Bezeichnung: Definiert den Namen (Label) des Filters für die Teilnehmerinformationen, wie sie im Bericht angezeigt werden.
- Name: Wählen Sie den Filter aus der Liste der definierten Filter unter dem Menüpunkt Admin -> Elemente
- Filterwert: Der zu verwendende Unterfilter.
- Filterwert (optional): Optionaler Filterwert, der verwendet wird, um alle Befragten zu filtern, die die definierte Teilnehmersummenkonfiguration erfüllen.
Z. B. alle Bewertungsergebnisse von männlichen Befragten filtern. - Umschreibe-Regeln: Das folgende Beispiel zeigt eine Erweiterung des oben gezeigten Filters für das Geschlecht, die einen Filter und zwei der Ergebnisse als gefilterten Wert anzeigt. Der neu hinzugefügte Filter ist die Schüler, die nicht das Geschlecht M oder F haben, sondern ein U oder X. Durch Umschreiben des U in X werden sowohl X als auch U als Sonstige (X) gruppiert.
Das folgende Beispiel zeigt eine Beispielkonfiguration eines tagbasierten Filters.
Mitgliedertypen (rollenbasierter Zugang)
Die Mitgliedertypen sind die Rollen, die Zugriff auf die definierte Berichtsvorlage haben werden.
Klicken Sie auf die Registerkarte Mitgliedertypen, wird die Liste der definierten Rollen und deren Zugriff auf den Bericht angezeigt.
Die Konfiguration erfordert/unterstützt:
- Mitgliedstyp: Wählen Sie die Mitgliedsart aus der Liste der definierten Arten unter dem Menüpunkt Workflow -> Mitgliedsarten.
- Mitglied anzeigen: Legt fest, ob die für diese Rolle zugewiesene(n) Person(en) am Ende des Berichts angezeigt werden sollen.
- Feedback anzeigen: Legt fest, ob das an dieses Mitglied gesendete Feedback in den Bericht aufgenommen wird.
Das an die Schüler gesendete Feedback wird immer in den Bericht aufgenommen. - Zugang: Definiert den Zugriff auf den Bericht für den Mitgliedstyp (Rolle):
- Keine - Kein Zugang
- Nur Verantwortliche anzeigen - Nur Zugriff für die Person, der diese Rolle in der Auswertung zugewiesen wurde
- Verantwortliche und Kollegen anzeigen - Zugriff auf alle Mitarbeiter, die diese Rolle im System haben.
Das nachstehende Beispiel zeigt eine Beispielkonfiguration von Mitgliedstypen.
Tabellenkopf
Der Tabellenkopf wird verwendet, um eine "generische Tabellenkonfiguration" in der Vorlage zu definieren, die nur für geschlossene Fragen desselben Typs verwendet wird.
Klicken Sie auf die Registerkarte Tabellenkopf, die Liste der definierten Kopfzeilen für den Bericht wird angezeigt.
Die Konfiguration erfordert/unterstützt:
- Bezeichnung: Der in der Kopfzeile des Berichts angezeigte Wert.
- Werte: Die Antwortwerte, die in der durch die Überschrift definierten Spalte zusammengefasst werden.
Das folgende Beispiel zeigt eine Beispielkonfiguration einer Tabellenüberschrift, die eine 5-Punkte-Skala in einen 3-Punkte-Bericht umwandelt.
Filterfragen (die im Bericht angezeigt werden sollen)
Der nächste Schritt besteht darin, die Fragen zu definieren, die im Bericht angezeigt werden sollen. Die Filterfragen werden nur für bestimmte Berichte verwendet, die bestimmte Fragen ausschließen sollen.
Im nächsten Abschnitt wird erläutert, wie Sie die Fragen so konfigurieren, dass sie nach Typ angezeigt werden, d. h. die Filterfragen werden nicht benötigt.
Klicken Sie auf die Registerkarte Fragen filtern, wird die Liste der für den Bericht definierten Fragen angezeigt.
Die folgende Abbildung zeigt die Standardeinstellung, bei der keine Fragen ausgewählt sind.
Wählen Sie die Option "Filterung der Fragen aktivieren", um mit der Konfiguration der unterstützten Fragen zu beginnen und anzugeben, ob die offenen Fragen in der Reihenfolge ihres Auftretens oder gebündelt am Ende des Berichts (lesbar) angezeigt werden sollen.
Die Konfiguration erfordert/unterstützt:
- Aktivieren Sie die Filterung von Fragen: Legen Sie fest, ob das Filtern von Fragen für diese Berichtsvorlage angewendet werden soll.
- Bestellung offener Fragen: Legen Sie die Reihenfolge fest, in der die Fragen im Bericht angezeigt werden sollen:
- In der Reihenfolge - die Fragen werden in der Reihenfolge angezeigt, in der sie in der ausgewählten Liste der Fragen definiert sind
- Lesbar - die Fragen werden zunächst nach Typ gruppiert, um einen leichter zu interpretierenden Bericht zu erhalten. Die Fragen auf der Likert-Skala werden in einer Tabellenübersicht dargestellt, wobei die Fragen mit offenem Text ganz unten stehen und nicht mit den Fragen zur Reihenfolge vermischt sind.
Der letzte Schritt ist die Auswahl der Fragen, die in den Bericht aufgenommen werden sollen.
Klicken Sie auf Erstellen, um mit der Auswahl der Fragen zu beginnen.
Die Filter-/Suchoptionen zum Auffinden der gewünschten Fragen sind:
- Bewertung: Suche nach einer Vorlage, die als Grundlage für die Auswahl der Fragen verwendet werden kann
- Bewertungsvorlage: Wählen Sie eine Bewertungsvorlage aus, um eine Liste der verfügbaren Fragen im Kontext eines bestimmten Bewertungstyps/einer bestimmten Definition zu erhalten, nach der Sie filtern können.
- Tags: Optional können Sie Tags hinzufügen, um die Suche einzuschränken.
- Text: Suche nach Fragen durch Eingabe eines Teils des Fragentextes
Wählen Sie die Fragen aus, die dem Bericht hinzugefügt werden sollen.
Das Ergebnis ist eine Berichtskonfiguration, die nur die definierten/ausgewählten Fragen enthält.
Fragetypen (um nur Fragen eines bestimmten Typs anzuzeigen)
Auf der Registerkarte "Fragetyp" können Sie festlegen, welche Fragetypen im Bericht angezeigt werden und wie sie dargestellt werden.
In diesem Fall werden keine speziellen Fragen hinzugefügt, sondern der Bericht wird auf der Grundlage des Fragetyps erstellt, z. B. nur geschlossene Fragen oder nur Fragen mit Likert-Skala.
Klicken Sie auf die Registerkarte Fragetyp, um die Konfiguration zu öffnen.
Jeder Fragetyp wird angezeigt, es muss nur ausgewählt werden, ob der Typ angezeigt werden soll und wenn ja, wie er angezeigt werden soll.
Die unterstützten Visualisierungsoptionen sind:
- <blank> - question of this type will not be available in the report
- Grafik - Antworten werden grafisch dargestellt
- Histogram - answers are shown in a histogram, including a standard deviation
- Histogram without average - answers are shown in a histogram
- In Tabelle - die Antworten werden in einer Tabellenansicht angezeigt. Für die als "in Tabelle" gekennzeichneten Fragen gelten die auf der Registerkarte "Tabellenkopf" konfigurierten Einstellungen.
- Text - alle Einzelantworten werden als ein einziger Text unter den Fragen angezeigt.
- Textaufzählungen - alle Einzelantworten werden im Bericht separat aufgeführt. Diese Option wird verwendet, um alle Antworten auf eine offene Frage zu melden.
Attribute (definieren zusätzliche Berichtswerte)
Ein Attribut wird verwendet, um Berichtselemente zu einem Bericht hinzuzufügen, die nicht direkt auf den Antworten auf einzelne Fragen basieren.
Attribute können eine Kombination der standardmäßig verfügbaren Optionen sein oder auf sogenannten Metadaten unter Verwendung der definierten Elemente beruhen.
Auf der Registerkarte "Attribute" werden die Attribute festgelegt, die im Bericht angezeigt werden sollen.
Klicken Sie auf die Registerkarte Attributregisterkarten, um die Konfiguration zu öffnen.
Verwenden Sie entweder die Schaltfläche Hinzufügen, um ein neues Attribut zu definieren, das angezeigt werden soll, oder ändern Sie ein bestehendes.
Das anzuzeigende Attribut kann aus einer Liste ausgewählt werden, die die im System konfigurierten Attribute enthält.
Es ist möglich, die folgenden Attribute hinzuzufügen:
- Befragte (%): Berechnung aller Befragten und der fertigen Befragten
- Erfolgsquote Kurs: Erfordert den Austausch eines Tags, das Kursinformationen für die Befragten bereitstellt, um den Prozentsatz zu berechnen, der den Kurs begonnen und beendet hat
- Erfolgsquote Prüfung: Erfordert den Austausch eines Tags, das den Befragten Informationen über die Note liefert, um den Prozentsatz zu berechnen, der die Prüfung begonnen und beendet hat
- Aufmerksamkeitspunkte: Berechnung auf der Grundlage von Fragen, die bei einem zu niedrigen Ergebnis (Benchmark-Wert) als zu beachten markiert werden.
- Durchschnittsnote: : Erfordert den Austausch eines Tags, das den Befragten Informationen zur Berechnung der Durchschnittsnote liefert.
- Anzahl der Anmeldungen: Die Gesamtzahl der Studenten, die mit der Auswertung begonnen haben
- Anmeldung ohne Note (%): Die Anzahl der Schüler, die die Bewertung begonnen haben, ohne eine Note für die Prüfung zu erhalten. Erfordert den Austausch von Noteninformationen.
Im folgenden Beispiel werden dem Bericht drei Attribute hinzugefügt:
- die Anzahl der Befragten, die aufgefordert wurden, die Bewertung auszufüllen
- der Prozentsatz der Befragten, die die Bewertung abgeschlossen haben
- der Prozentsatz der Studierenden, die den Kurs erfolgreich abgeschlossen haben (z. B. mit einer ausreichenden Note)
Exportoptionen für Benutzerberichte
Die Benutzer können die konfigurierten Berichtsvorlagen verwenden, um über ihre Bewertungen zu berichten.
Standardberichte werden auf dem Bildschirm als interaktive Berichte angezeigt, die eine Filterung nach den definierten Tags und gegebenen Antworten ermöglichen.
Die Berichte können auch in verschiedene Formate exportiert werden, so dass der Bericht auch außerhalb von Evaluate verwendet werden kann.
Die Abbildung unten zeigt die verschiedenen Optionen. Neben den Optionen kann der Benutzer wählen, ob eine ZIP-Datei (komprimierte Datei) erstellt werden soll, wenn eine größere Anzahl von Berichten für den Export ausgewählt wurde.
Je nach Anzahl der ausgewählten Berichte wählt Evaluate automatisch ein einzelnes ZIP-Ergebnis (komprimiert) aus und erzwingt es.
Condensed person report
The condensed person report is a new report accessible to all authorised users. The report will provide information on the staff members of a faculty/department and their evaluation results compared to the median and the deviation from the median.
Based on authorisation (access right) and assignment to a faculty a user can retrieve the report. Since the 'report' result is based on right and context the report will be visible and selectable for all users and only after executing the report the result will be generated, either a message 'not allowed' or the 'report with data'.
The report is available in the top-bar menu.
A form appears that allows providing some additional details:
- Template: the reporting template to be used (see later for configuration of the template)
- Filter: the filter to be used for filtering the 'evaluated persons'
- Value: the filter value, e.g.
- Filter = Faculty
- Filter value = Science faculty
- Download: button to download the report result in Excel or CSV format
The result will be a list of staff members that meet the criteria AND the logged in user has rights to access the information for.
The result structure is:
- Person
- Evaluations the person has been evaluated for
- Evaluation result per question defined in the evaluation template
- Evaluations the person has been evaluated for
Configuration steps
1 - Define a role with the report right
The role is optional, but is used to define what right has to be assigned to a role to enable viewing of the report results. The right can be added to a new role, but can also be added to an already existing role.
Open the Workflow menu option and select the Member types sub-menu.
- Select the Periodic evaluations and create a new role Report viewer
- Use the security button to assign the right Access to all reports
Access to all reports
2 - Assign the authorisation
Open the Admin menu option and select the Relations sub-menu.
Select the Periodic evaluations and assign the created rol of Report viewer to the relevant persons.
3 - Define the report template
Open the Templates menu option and select the Reports sub-menu.
Select the Periodic evaluations and define/modify the template for the condensed lecturer report.
The next step is the configuration of the report template. This is just the standard configuration where the questions to be used in the report are defined.
The checkbox Only show your own evaluations has to be checked and defines the condensed report is grouped on a person level and thus the condensed lecturer report.
Specific member report export option
The member report provides 'combined / calculated' average, median and deviant results for the question responses. A specific option is added to the report to export the 'raw answers' that without any calculation. This has been added as a separate button, so the export supports both the calculated results and the export with the raw results.
