Mehr als die Hälfte der von Unternehmen generierten Daten wird nie genutzt.
Unternehmen sammeln Dark Data aus einer Vielzahl unterschiedlicher Gründe. Oft werden Daten aus rechtlichen Gründen gespeichert, jedoch genauso oft aufgrund der Komplexität der Complience-Richtlinien eines Unternehmens. Das können Spreadsheets sein die gespeichert und vergessen werden, automatisch von Software gesammelte strukturierte Daten oder aber auch unstrukturierte Daten. Viele Unternehmen glauben, dass diese Daten für sie in der Zukunft nützlich sein werden, wenn sie mehr Know-How in Data Analytics akquirieren könnten und mehr Technologie im Business Intelligence Bereich zur Verfügung steht für die notwendigen Prozesse, um die Daten zu verarbeiten.
Keine Organisation ist nicht betroffen. Die geschätzte Menge an kommerzieller Dark Data variiert von 40 bis 90 Prozent je nach Branche. Es ist somit sehr wahrscheinlich, dass der überwiegende Teil der von Unternehmen gesammelten Daten „dunkel“ ist. Laut World Economic Forum generieren Unternehmen jeden Tag 1,3 Billionen Gigabyte dieser „Dark Data“.
Jedoch gilt: Daten allein sind nicht wertvoll. Nur die richtigen Nutzer mit den richtigen Zugängen und notwendigen Informationen können aus diesem Potenzial Nutzen schaffen.
Eine datengesteuerte Unternehmenskultur benötigt somit eine gute Datenorganisation, damit der richtige Mitarbeiter Zugänge zu genau den Daten, die er benötigt, erhält. Dies bedeutet eine große Herausforderung aber auch eine große Chance. Für viele Unternehmen reflektiert die Menge an dunklen Daten den Mangel an Datenstrukturierungsprozessen. Die Fähigkeit einer Organisation, Daten zu sammeln kann die Möglichkeit diese zu analysieren übersteigen. In manchen Fällen weiß die Organisation gar nicht darüber Bescheid, was und wieviel tatsächlich gesammelt wird.
Das unkontrollierte Wachstum von Dark Data stellt eine signifikante Herausforderung in Bezug auf Speicherung, Security und Privacy dat. Unternehmen müssen besonderes Augenmerk auf die Implementierung robuster Data Governance Strukturen setzen, um dieses Risiko effektiv zu minimieren und seine Chancen zu nutzen.
„Nur kleine Datenfragmente der Unternehmen werden in greifbare Ergebnisse umgesetzt. Stellen Sie sich einmal vor, was passieren würde, wenn jeder einzelne Datenpunkt genutzt werden würde. Dann wäre nicht mehr nur von Umsatzsteigerungen die Rede, sondern würden ganze Wirtschaftsbranchen auf den Kopf gestellt", so David Richards, Mitbegründer und CEO von WANdisco.
Das Ziel die Datenkompetenz innerhalb eines Unternehmens zu erhöhen, wird oft von den Kapazitäten der Datawarehouse-Teams beschränkt. Die Datawarehouse-Entwickler finden oft nicht die Zeit jeden potenziellen Datennutzer auf dieselbe Weise zu Unterstützen wie es bei den Data Scientists üblich ist.
Business Intelligence Analysten können Daten, die sie nicht verstehen und deren Data Linage und Meta Data sie nicht kennen, nicht verarbeiten. Das Zurückhalten von Daten für ausgewählte Data Scientists und Engineers ist kein passendes Fundament, um Daten optimal zu Verarbeiten und Performance zu garantieren.
Wichtig ist eine klare Strategie zu formulieren:
· Ziele definieren
· Identifikation der genauen Arten von Dunklen Daten, die analysiert werden sollen.
Somit wird der Prozess konkretisiert und sichergestellt das gezielt Resultate entstehen.
Es lohnt sich in professionelle Software und Technologien zu investieren, die effizient unstrukturierte Daten handhaben können. Machine Learning Algorithmen und Natural Language Processing Techniken können helfen durch Dark Data exakte wertvolle Einblicke zu bekommen.
Datenqualität und Data Governance sollten oberste Priorität genießen. Dies erzielt man durch die Implementierung robuster Prozesse, um Daten zu bereinigen, zu strukturieren und zu speichern, damit sie akkurat sind und aktuelle Complience-Standards entsprechen.
Besonders der „Single Point of Access“, der durch das Zusammenführen entsteht in Kombination mit Automatisierung fördert gezielt die Entwicklungsproduktivität. Eine gut dokumentierte Datenbasis ermöglicht ein „Self-Service System“ und gibt den richtigen Nutzern Zugang zu Datenmodellen.
Entwickler werden so weniger Zeit damit verbringen maßgeschneiderte ETL/ELT Pipelines für einzelne Nutzer zu entwickeln, auch wenn das Datenvolumen und die Komplexität zunimmt. Ein einfaches Interface und simple SQL-basierte Query Tools ermöglichen es den Mitarbeitern Daten aus verschiedenen Bereichen des Unternehmens zu analysieren ohne zusätzliche Ressourcen, wie Unterstützung des Data Teams in Anspruch zu nehmen. Die dadurch entstehende Produktivitätssteigerung entsteht nicht nur durch die Ersparnis des Aufwandes der Bezieher von Daten, sondern auch dadurch, dass die Data Teams nun mehr Zeit haben sich mit komplexeren Anfragen für Analytical Projects zu beschäftigen.
Dark Data ist für ihr Unternehmen ein Thema? Sie benötigen einen erfahrenen Partner bei Ihrem Projekt? Wir beraten Sie gerne!
Comments