close

Analytics, Auswertung, Statistik

AllgemeinAnalytics, Auswertung, Statistik

SSAS Data Mining – Association Rules

Im vorigen Blogeintrag SSAS Data Mining – Clustering wurde die prinzipielle Vorgangsweise mittels SQL Server Analysis Data Mining vorgestellt. Auf die Data Mining Ziele und Interpretation der Ergebnisse wurde jedoch nur sporadisch eingegangen. Deshalb wird dieses Mal der Fokus auf die Charakteristiken des Datensatzes, deren Aufbereitung, sowie die Evaluierung der Resultate gelegt.

 

Datensatz

Der zu analysierende Datensatz enthält Zuordnungen von Benutzern zu Gruppen.

Hier zu erwähnen ist, dass die Gruppenzuordnungen von zwei Systemen mit derselben Benutzerbasis zusammengeführt worden sind. Dementsprechend hoch ist die Anzahl an Gruppen, welche möglicherweise redundant vorhanden sind. Daher ist das Ziel mittels Data Mining zu analysieren, welche Gruppen zusammengeführt werden können. Die Datenstruktur ist jedoch für Data Mining ungeeignet, da die Relationen über mehrere Zeilen verteilt sind. Eine Transformation der Daten in folgende Form ist notwendig.

Für jeden Benutzer gibt es nur noch einen Eintrag, und jede Gruppe wird als Spalte dargestellt.

(mehr …)

mehr lesen
AllgemeinAnalytics, Auswertung, StatistikAzureCloudKünstliche Intelligenz

Microsoft Azure Advanced Analytics und Data Science Tools  (Teil 1.) 

Bei Microsoft zum Hands-On Workshop: Azure Advanced Analytics und Data Science Tools 

Neulich im Microsoft Lab zum Hands-On Termin: Azure Machine Learning Studio und Workbench, Azure (Data Science) Virtual Machine, Microsoft Open R und mehr. Gemeinsam mit meinem Kollegen Michael König bei Microsoft. Die Größe der Community hält sich in Grenzen (9 Teilnehmer inkl. Tutor).

Der Gegenstand: Anwendung von Machine Learning in Data Science und Data Analytics  

Für Data Analytics können nun Machine Learning Systeme in ihrer speziellen Eigenschaft angewendet werden, auf der Basis von Daten selbstständig zu lernen. Data Science ist dabei ein Überbegriff, der Data Analytics beinhaltet. Während man von einem Data Scientist erwarten kann, auf der Basis von Daten Prognosen zu liefern, muss der Datenanalyst aussagekräftige und belastbare Daten aus verschiedenen Datenquellen aggregieren. (mehr …)

mehr lesen
Analytics, Auswertung, Statistik

SSAS Data Mining – Clustering

In diesem Blog-Eintrag wird mit Hilfe von SQL Server Analysis Services (SSAS) eine Clustering Aufgabe vorgestellt. Der Fokus wird hier auf das Erstellen eines Modells auf Basis von Beispieldaten sowie die Evaluierung der Tool Funktionalität und Vorgehensweise gesetzt. Auf die detaillierte Interpretation der Daten und Ergebnisse wird verzichtet, da diese den Umfang sprengen würde.

Die Aufgabe besteht darin Muster im Stromverbrauch eines Haushalts zu erkennen. Für dieses Szenario erstellen wir Cluster anhand von Messwerten. Bei SSAS Data Mining stehen dazu zwei, von Microsoft optimierte, Algorithmen zur Verfügung.

  • k-Means
  • EM-Clustering

(mehr …)

mehr lesen
AllgemeinAnalytics, Auswertung, Statistik

Power BI for mixed reality

Bei der Recherche nach neuen SQL Server Reporting Features liefert leider auch der offizielle Microsoft Blog wenig Neues. Einzig erwähnenswert ist die Eingliederung des Software-Herstellers Forerunner [1], der neue Möglichkeiten bei der Bereitstellung von Standardberichten bieten soll [2].

Interessanterweise wird in einem Spring ’18 Release Overview von Dynamics 365 – der ERP Software von Microsoft – sehr detailliert auf Power BI Erweiterungen eingegangen. Dies jedoch auch sehr gut versteckt auf S. 252 in einem PDF [3].

(mehr …)

mehr lesen
Analytics, Auswertung, Statistik

Microsoft SQL Server Graph Database

Um komplexe Strukturen in einer Datenbank abzubilden, sind eine Vielzahl an Verbindungen notwendig welche mit traditionellen Datenbanksystemen mithilfe von Fremdschlüsseln und Mapping Tabellen oft nur mit großem Aufwand abgebildet werden können. Durch die steigende Komplexität werden dadurch Abfragen sehr umständlich bzw. leidet meist auch die Performance darunter.

Wenn Daten sehr viele Beziehungen untereinander besitzen ist eine Graph Datenbank sehr gut geeignet. Microsoft SQL Server 2017 bietet die Möglichkeit in der gewohnten Datenbankumgebung Daten als Graph abzubilden. (mehr …)

mehr lesen
AllgemeinAnalytics, Auswertung, StatistikThema

RDLC Reports in Visual Studio 2017

Einleitung

Mit Visual Studio 2017 gibt es viele neue Features, die uns als SW-Entwickler das Leben um ein Vielfaches einfacher gestalten.

Leider wurde die Verwendung von lokalen Reports – sog. RDLC Reports – sehr kompliziert gestaltet.

Damit man trotzdem auch mit VS2017 die gewohnten, sehr guten Featuren von RDLC nutzen kann, folgende Anleitung mit Links auf die offiziellen Microsoft Seiten.

Vorgehensweise

Für die Verwendung von RDLC Reports in Visual Studio 2017 in ASP.NET-Projekten gehen Sie wie folgt vor (eine ähnliche Vorgehensweise gilt auch für die Verwendung von RDLC Reports in Windows-Forms-Projekten):

  1. Schließen Sie alle gerade geöffneten Visual Studio-Fenster
  2. Installieren Sie die Visual Studio-Extension “Microsoft Rdlc Report Designer for Visual Studio”:

    Download-Link:
    https://marketplace.visualstudio.com/items?itemName=ProBITools.MicrosoftRdlcReportDesignerforVisualStudio-18001
  3. Installieren Sie die Visual Studio-Extension “Microsoft Reports for Visual Studio”:

    Download-Link:
    https://marketplace.visualstudio.com/items?itemName=ProBITools.MicrosoftReportProjectsforVisualStudio

    Anmerkung:
    Falls die Installation der heruntergeladenen vsix-Dateien (Microsoft.RdlcDesigner.vsix und Microsoft.DataTools.ReportingServices.vsix) nicht funktioniert, können die Extensions auch direkt in Visual Studio über Tools > Extensions and Updates installiert werden:
  4. Starten Sie Visual Studio und erstellen Sie eine ASP.NET Web Application:


    Alternativ dazu können Sie an einem bestehenden Projekt vom Typ ASP.NET Web Application weiterarbeiten.
  5. Fügen Sie das NuGet-Package “Microsoft.ReportingServices.ReportViewerControl.WebForms” hinzu (aktuellste Version zum Zeitpunkt der Erstellung des Blogeintrags: Version 140.1000.523 vom 6. November 2017):




    Im Anschluss an die Installation des NuGet-Packages öffnet sich die Microsoft-Informationsseite “Get started with RVC – Next steps”:
    http://htmlpreview.github.io/?https://github.com/Microsoft/Reporting-Services/blob/master/Docs_14_0/Get-Started-With-RVC.html
  6. Erstellen Sie einen neuen Report:
    • Im Dialog “Add New Item” (Projekt > Add > New Item…) sehen Sie nun unter Visual C# die beiden Einträge “Report” und “Report Wizard”. Wählen Sie “Report” und drücken Sie den Add-Button:
    • Bestätigen Sie den Dialog, der nach dem Hinzufügen erscheint:

      Hinweis: Jede weitere Report-Datei können Sie nun über das Projektmenü Add > Report hinzufügen:
  7. Befüllen Sie den Report:
    • Öffnen Sie die Toolbox und fügen Sie die gewünschten Report Items hinzu, z.B. ein Table-Objekt:
    • Nach dem Hinzufügen müssen Sie das DataSet konfigurieren und dafür zuerst eine Datenverbindung zu einer Datenbank hinzufügen sowie die gewünschten Datenbank-Objekte auswählen:



      Wählen Sie die gewünschten Datenbank-Objekte aus:

      Bestätigen Sie den finalen Dialog mit OK:
    • Wechseln Sie von der Toolbox zum Fenster “Report Data” und fügen Sie die gewünschten Reportdaten zum Report hinzu (Beispiel: befüllen Sie die Tabelle mittels Drag&Drop mit den Daten aus dem Bereich “Report Data”):
  8. Erstellen Sie eine neue WebForm und fügen Sie den erstellten Report zum Formular hinzu (Project > Add > WebForm):
    • Wechseln Sie auf die Designansicht
    • Fügen Sie aus der Toolbox den ScriptManager hinzu (Toolbox > AJAX Extensions > ScriptManager):
    • Fügen Sie aus der Toolbox den ReportViewer hinzu und ändern Sie ggf. seine Größe:

      Falls dieser nicht vorhanden ist, gehen sie wie folgt vor:

      1. Toolbox > General > Choose Items…
      2. Browse: [Solution-Ordner]\packages\Microsoft.ReportingServices.ReportViewerControl.WebForms.140.1000.523\lib\net40\Microsoft.ReportViewer.WebForms.dll auswählen:
    • Im ReportViewer unter “Choose Report” den angelegten Report (*.rdlc-Datei) auswählen:
    • Testen Sie die erstellte WebForm und den hinzugefügten Report mittels IIS Express durch Auswahl des gewünschten Browsers und Drücken des Play-Buttons:

mehr lesen
AllgemeinAnalytics, Auswertung, Statistik

Table-Switching bei High-Availability Staging/Reporting Lösungen

In manchen Szenarien ist eine klassische ETL-Lösung mit mehreren Staging/Harmonisierungs-Ebenen nicht realisierbar.

Häufig ist der Grund dafür der Wunsch nach sehr kurzen Latenzzeiten: Damit ist jene Verzögerungszeit gemeint, um Daten vom Vorsystem ins analytische Reporting zu transferieren.

Bei einem Full-Load werden aber die Daten vorher komplett aus der Zieltabelle gelöscht, um diese danach mit den neuesten Daten aus dem Vorsystem erneut zu befüllen.

Die Latenzzeit zwischen Löschen und fertiger Befüllung ist für das Reporting leider problematisch, da keine Daten verfügbar sind.

Um diese Anforderung so gut wie möglich zu bedienen, kommt die „Table-Switching“-ETL-Methode zum Einsatz.

(mehr …)

mehr lesen
Analytics, Auswertung, Statistik

Was ist Microsoft AI?

Microsoft AI ist eine Sammlung von Services, Bibliotheken & Tools spezialisiert auf den Bereich der künstlichen Intelligenz. Die Plattform beinhaltet einfach zu verwendende, bereits vollständig konfigurierte Services sowie Tools mit denen komplexe, applikationsspezifische Modelle realisiert werden können. Microsoft AI kann in drei große Gruppen unterteilt werden:

Cognitive Services

In dieser Gruppe befinden sich vor allem Services, die die Mensch-Maschine-Kommunikation in verschiedenster Weise ermöglichen. Die Cognitive Services sind einfach zu verwenden und werden über REST Schnittstellen zur Verfügung gestellt. Die Integration kann meist mit sehr wenigen Codezeilen realisiert werden. Außerdem werden auch einige konfigurierbare Services angeboten. Ein Überblick über die verfügbaren Module ist in Abbildung „Verfügbare Module im Überblick“ zu sehen.

Abbildung: Verfügbare Module im Überblick

Azure Machine Learning

Eine Unterkategorie von AI ist das sogenannte Machine Learning. Die Azure Machine Learning Workbench bietet eine umfangreiche Umgebung mit einer Vielzahl an Tools zur Anwendung von gängigen Machine Learning Algorithmen. Außerdem verfügt das Programm über viele unterstützende Funktionen zur Vorbereitung der Daten sowie zum Veröffentlichen der erzeugten Modelle. Die Workbench kann auf dem lokalen Computer installiert werden und muss mit einer Azure Ressource verknüpft sein (siehe Abbildung „Azure Machine Learning“).

Abbildung: Azure Machine Learning

Cognitive Toolkit

Deep Learning wird mit Hilfe des Cognitive Toolkits ermöglicht. Verschiedene Arten von Neuronalen Netzwerken können erstellt, trainiert und getestet werden. Durch eine Vielzahl an Konfigurationsmöglichkeiten kann eine hohe Präzision bei Vorhersagen mittels Neuronalen Netzwerken erreicht werden.

Ausblick

In den kommenden Wochen folgen weitere Blogeinträge zum Thema Microsoft AI, in denen auf ausgewählte Themenbereiche vertiefend eingegangen wird. Unter anderem wird gezeigt, wie mit Hilfe künstlicher Intelligenz ein Bot programmiert werden kann.

mehr lesen
Analytics, Auswertung, Statistik

Microsoft SQL Server Master Data Services (MDM)

Einleitung

Master Data Services – kurz MDM – ist ein Bestandteil der SQL Server Produktpalette seit SQL Server 2008 R2 und hat sich in den letzten Jahren bis 2016 nur marginal weiterentwickelt. Dies lag vorwiegend daran, dass Microsoft den Schwerpunkt auf den Business Intelligence Stack gelegt hatte.

Mit dem Release von SQL Server 2017 wurde MDM grundlegend erneuert: HTML5 und neue Technologien tragen zu Stabilität und Akzeptanz bei.

Am Namen und der damit verbundenen, hohen Erwartungshaltung wurde (leider) nichts geändert: was dem Thema an sich zwar nicht schadet, aber für Erklärungsbedarf sorgt.

(mehr …)

mehr lesen
Analytics, Auswertung, Statistik

SAP HANA und Microsoft BI: a true love-story?

Mit der neuen SAP HANA In Memory Technologie ist nun auch ein einfacher Zugriff auf SAP-Daten möglich.

Dazu gibt es im Microsoft BI Umfeld interessante Möglichkeiten, um an wertvolle ERP-Informationen zu gelangen

1. Zugriff mittels PowerBI Desktop

In der Self-Service-BI Suite „PowerBI Desktop“ ist ein Zugang mit dem neuen SAP HANA Connector möglich.

Zuerst ist es aber erforderlich, die SAP HANA ODBC Treiber für Windows zu installieren. Diese können unter https://support.sap.com/en/my-support/software-downloads.html direkt von SAP bezogen werden. Hier ist eine S-ID Voraussetzung, die man vom unternehmensinternen SAP-Admin erhalten kann.

Sind die ODBC-Treiber installiert, kann mit wenigen Klicks eine Verbindung zum HANA Server aufgebaut werden. Single-Sign-On und Berechtigung im SAP sind hier Voraussetzung.

Ist die Berechtigungshürde gemeistert, kann auf die entsprechenden Entitäten im HANA Datenbankmodell zugegriffen werden. Eine detaillierte Anleitung findet sich unter dem BI Channel von PowerBI https://www.youtube.com/watch?v=Zpbh6UE3pSE

(mehr …)

mehr lesen
1 2
Page 1 of 2