Ist diese Art der Verwendung der Excel 2007-Pivot-Tabelle für BI skalierbar?

1207
Sim

Hintergrund:

  • Für die Analyse müssen wir die Verkaufsdaten im ganzen Land konsolidieren

  • Unsere Internetverbindung / IT-Expertise / IT-Investition ist nicht sehr stark, daher steht eine vollständige BI-Lösung nicht zur Debatte

  • Ich habe mehrere SaaS BI-Lösungen ausprobiert (GoodData, ZohoReports), und obwohl sie gut sind, scheinen sie das, was wir brauchen, nicht voll zu unterstützen

  • Wir schauen uns alle zwei Monate einen Rekord von 2 Millionen an

Mein aktueller Ansatz

  • Unsere (10) Standorte sammeln derzeit Daten aus allen ihren Niederlassungen und konsolidieren sie in einer Excel-Datei mit Pivot-Tabelle und integrieren Quelldaten

  • Im HQ fordere ich 10 Standorte auf, diese Excel-Dateien regelmäßig zurückzuschicken

  • Wir werden diese Excel auf unseren MSSQL-Server importieren

  • Es wird eine Master-Excel-Datei geben, die auch die gleiche Pivot-Tabelle haben wird (die aus der Site-Excel-Datei stammt), und datasource ist der MSSQL-Server

Mehr Details

  • Zum Testen verwende ich derzeit MSSQL 2008 Express auf meinem Laptop

  • Bisher habe ich unsere Transaktionen für die letzten 2 Monate importiert, und in MSSQL gibt es mehr als 2 Millionen Zeilen pro Tabelle (wir verwenden nur eine Tabelle, die unserer gemeinsamen Pivot-Tabellenstruktur entspricht). Die DB-Größe beträgt ~ 600 MB

  • Wenn die Quelldaten in der Master-Excel-Datei nicht enthalten sind, sind es nur <10 MB. Durch das Einschließen der Quelldaten wird die Größe auf 60 MB erhöht (also nahm ich an, dass Office 2007 die Daten automatisch komprimiert?)

  • Ich versuche, das Pivot (Drag-and-Drop-Felder) zu verwenden, und die Leistung ist soweit OK (mein Laptop spezifiziert: C2D T7200, 3 GB RAM, Windows XP)

Meine Frage ist also:

  • Wenn wir die Transaktion für das gesamte Jahr betrachten (ungefähr 15 Millionen Zeilen in MSSQL 2008 Express, 3,6 GB groß), gibt es ein Problem mit 15 Millionen Zeilen in einer Tabelle in SQL Express?

  • Gibt es zu diesem Zeitpunkt ein Leistungsproblem mit der Pivot-Tabelle? Kann es die Quelldaten noch einbetten? (Ich habe google-ed gefunden, aber die maximale Größe der Quelldaten nicht gefunden, die Excel 2007 einbetten kann.)

  • Irgendwelche anderen Vorschläge, wie wir das besser machen können? In Anbetracht der Tatsache, dass wir uns die vollständige BI-Lösung nicht leisten können, können Sie leichtes / budget / SaaS-BI empfehlen, die Sie empfehlen können.

Vielen Dank

0

1 Antwort auf die Frage

0

Es gibt ein Limit von 4 GB für SQLServer Express 2008 (einschließlich Protokolldateien). Es sieht also so aus, als wären Sie anfangs sehr nahe am Limit und ziemlich schnell am Limit. Wenn es sich nur um eine einzelne Tabelle handelt, ziehen Sie möglicherweise SQLite (oder möglicherweise mySQL) in Betracht.

Nach meiner Erfahrung mit Pivot-Tabellen (und Excel im Allgemeinen) funktioniert es bis zu einem gewissen Punkt gut, dann nimmt die Leistung erheblich ab.

Im Allgemeinen denke ich, dass Ihr Ansatz derjenige ist, den ich wählen würde. Anstatt zu versuchen, die gesamte Tabelle zu schwenken, würde ich versuchen, die Daten in der Datenbank durch eine Ansicht vorab zusammenzufassen, selbst wenn ich zwei separate Arbeitsblätter mit zwei verschiedenen Ansichten für zusammengefasste Daten haben müsste (z. B. eine, die bis zu einer Zusammenfassung zusammenfasst) eine tägliche oder stündliche und eine andere, die eine Ebene in einer anderen Schlüsseldimension zusammenfasst (z. B. nach Reihenfolge oder Login oder was auch immer). Dies sollte mehr Arbeit in der Datenbank zurückhalten und die Kalkulationstabelle leichter machen.

Viel Glück!

Hallo, Verwenden Sie die Ansicht, um die in Excel eingehenden Daten zu reduzieren, ist ein guter Vorschlag. Werde es auf jeden Fall ausprobieren. Bezüglich der Beschränkung auf 4 GB können wir uns tatsächlich die Lizenz für die Enterprise Edition leisten. Könnte auch MySQL ausprobieren. Vielen Dank Sim vor 15 Jahren 0