-
❌ Tuning von KNIME ❌ Nahtlose Beschleunigung von Datenaufbereitung und Data Analytics mit DSGVO-konformen Daten ❗
KNIME, kurz für Konstanz Information Miner, repräsentiert eine kostenfreie und Open-Source-Datenanalyse-, Berichts- und Datenforschungsumgebung, die auf der Eclipse™-Plattform basiert. Die modulare Datenpipelinkonzeption der KNIME Analytikplattform stellt verschiedene Komponenten für Machine Learning und Data Mining bereit. Ähnlich wie andere Analysetools integriert KNIME ETL-Knoten zur nahtlosen Integration und Aufbereitung von Daten. Dennoch wird auch KNIME, bedingt durch Herausforderungen wie großem Datenvolumen, Vielfalt, Geschwindigkeit und Datenintegrität, vor diverse Anforderungen gestellt – es sei denn, es wird durch IRI Voracity angetrieben! Gegenwärtig ist es möglich, die Datenaufbereitung und -analyse mühelos zu beschleunigen und zu kombinieren – und das in derselben grafischen IDE für Voracity, die ebenfalls auf Eclipse basiert und den Namen IRI Workbench…
-
❌ Snowflake Data Cloud ❌ Umfassende Datenintegration mit Datenbereinigung und verbesserter Datenschutz ❗
Snowflake-ETL und Schutz sensibler Informationen: Optimieren Sie die Effizienz Ihrer Arbeit mit Snowflake durch die Anwendung von IRI CoSort und IRI NextForm für agile Datenintegration, -bereinigung sowie Migration und Replikation. Diese Lösungen bieten eine schnelle und kostengünstige Datenverwaltung, um Herausforderungen wie Datensuche, -profilierung, -klassifizierung, Datenbewegung, und Clustering zu bewältigen. Für die Pflege der Datenqualität empfehlen wir die Nutzung von IRI CoSort zur Vorsortierung von Flat-Files, um den Overhead bei Bulk-Ladungen und Inserts zu minimieren. Dadurch verbessert sich die Leistung von Clustering und häufig ausgeführten Abfragen erheblich. Um Verarbeitungskosten zu reduzieren, bietet IRI CoSort die Möglichkeit, SQL-Transformationen aus der Datenbank auszulagern. Durch die Nutzung von Dateisystem-I/O, Multithreading und der bewährten Datentransformationskraft…
-
❌ Personenbezogene Daten in Bildern ❌ Sensible Daten in Bild- und Foto-Formaten automatisch DSGVO-konform schützen❗
Bildvorverarbeitung für optimale OCR-Ergebnisse: Die Optical Character Recognition (OCR) Software ermöglicht die Texterkennung in digitalen Bildern. Trotz der leistungsfähigen OCR-Technologie gibt es Einschränkungen hinsichtlich der Bildqualität. Idealerweise sollten die Bilder vertikal ausgerichtet, richtig dimensioniert und klar sein. Doch nicht alle Bilder erfüllen diese Kriterien. Daher ist es entscheidend, Vorverarbeitungsmethoden anzuwenden, um die Bilder entsprechend anzupassen und die Qualität der OCR-Ausgabe zu verbessern. In einem Artikel werden drei Vorverarbeitungsmethoden erläutert: Bildskalierung, Binarisierung und Entzerrung. Diese Methoden werden verwendet, um die Bilder für die OCR-Verarbeitung optimal vorzubereiten. Die beigefügte GitHub-Demo zeigt, wie diese Vorverarbeitungsmethoden mit der DarkShield-API für Bild- und Dateiverarbeitung integriert werden können. Das Demoprogramm ermöglicht die Vorverarbeitung einzelner Bilder oder…
-
❌ Datenvisualisierung mit Excel ❌ Datenintegration von Excel-Arbeitsblättern zusammen mit Tabellen, Flat-Files und Streaming-Daten ❗
Umfassende und schnelle Verarbeitung von Tabellenkalkulationsdaten: Neben der Unterstützung für bereits vorhandene strukturierte Datenquellen bietet die IRI-Software nun die Möglichkeit, Daten aus XLS- und XLSX-Dateien rasch und effizient auszulesen und zu verarbeiten. Die IRI-Produktreihe umfasst: IRI CoSort, das sich auf das schnelle Sortieren, Umwandeln und Berichten spezialisiert. IRI NextForm, das sich auf das Mapping, die Migration und die Replikation von Daten konzentriert. IRI RowGen, das die zufällige Auswahl oder Generierung von realistischen Testdaten ermöglicht. IRI FieldShield, das für die Maskierung sensibler Daten entwickelt wurde. IRI Voracity, das alle oben genannten Funktionen bietet und zusätzlich ETL, Datenbereinigung und -aufbereitung für Analysezwecke ermöglicht. Mit diesen Tools können die verarbeiteten Daten in verschiedene…
-
❌ Oracle Datenbank klonen und schützen ❌ Via Commvault klonen und automatische Datenmaskierung für DSGVO-konforme Daten ❗
Sicherheitsorientiertes Datenbank-Klonen leicht gemacht: IRI FieldShield® sorgt dafür, dass sensible Informationen in einer geklonten Datenbank maskiert werden, bevor die Daten für Entwicklungs- und Qualitätskontrollzwecke verwendet werden können! Nachdem Sie eine Oracle-Datenbank geklont haben, können Sie die Commvault-Software nutzen, um unsere Datenmaskierung über ein integriertes Plug-In anzuwenden. Die Integration der Commvault-Software mit unserem IRI FieldShield® ermöglicht dies. Eine detaillierte Anleitung finden Sie in Commvault V11 hier ab Service Pack 15 bis 19 unter dem Titel "Konfiguration der Drittanbieter-Datenmaskierung für Oracle-Datenbankklone". Aber was genau ist FieldShield? IRI FieldShield® ist eine leistungsstarke und kostengünstige Software, die es ermöglicht, personenbezogene Daten (PII) in strukturierten und semistrukturierten Datenquellen, unabhängig von ihrer Größe, zu erkennen und…
-
❌ UniKix BPESort ❌ Beschleunigung von UniKix Mainframe Re-hosting Batch-Sortierung (BPE) ❗
Rehosting von Mainframeanwendungen: Die Migration von Mainframe-Anwendungen und -Datenverarbeitungssystemen zu "offenen Systemen" ist ein bedeutender Schritt für viele Unternehmen. Bei dieser Migration kann es zu verschiedenen Herausforderungen kommen, und eine dieser wichtigen Herausforderungen betrifft die Sortier- und Verarbeitungsschritte, die im Mainframe-Umfeld mittels JCL (Job Control Language) durchgeführt werden. Hier kommt IRI CoSort ins Spiel. IRI CoSort ist eine bewährte Lösung für die Migration von Legacy-Sortiersoftware und die Modernisierung von Anwendungen, die auf dem Mainframe laufen. Eines der Hauptprobleme bei der Migration besteht darin, JCL-Sortierschritte in eine Form zu überführen, die auf offenen Systemen wie Unix oder Windows funktioniert. CoSort bietet eine Lösung für diese Konvertierung und ermöglicht es, die Sortieraufgaben…
-
❌ IBM Informix ❌ Beschleunigung von ETL und erweiterte Datensicherheit für DSGVO-konforme OLTP-Daten ❗
IBM Informix: Datenmanagement und Datensicherheit! IRI Workbench™ ist eine kostenlose grafische Benutzeroberfläche und integrierte Entwicklungsumgebung für IRI-Datenmanagement- und Schutzsoftwareprodukte. Sie ist für Windows, MacOS und Linux verfügbar und bietet schnelleres Datenmanagement und höchste Datensicherheit in einer Konsole. Die Workbench steuert Aufträge mithilfe von IRI CoSort und Hadoop Engines und nutzt die Funktionen von Eclipse™. Der Artikel dokumentiert die Verbindungen, die benötigt werden, um mit 64-bit Informix Dynamic Server (IDS) Tabellenquellen und -zielen in IRI Workbench und 64-bit CoSort-kompatiblen Runtime-Umgebungen zu arbeiten. Diese Schritte ähneln denen für andere RDBMS-Verbindungen, wie MS SQL, Oracle, PostgreSQL, Salesforce, Snowflake und Teradata. End-to-End Datenmanagement umsetzen, Alles innerhalb nur einer Konsole: Datenermittlung, Profilerstellung, Klassifizierung und Metadatendefinition.…
-
❌ Testdaten für TDM ❌ Umfassendes Testdatenmanagement-Framework für DevOps, MLOps und DataOps bereitstellen ❗
Testdatenmanagement: Erzeugen von authentischen Daten! In diesem Artikel wird gezeigt, wie man realitätsnahe Daten synthetisiert, um ein vollständiges Datenbankschema mit referenzieller Integrität in einem einzigen Schritt zu befüllen. IRI RowGen generiert Datensätze in verschiedenen Formaten, darunter Flat-Files, Datenbanktabellen und Berichte. Dies geschieht entweder durch zufällige Erzeugung von Werten in bestimmten Datentypen, Bereichen und Verteilungen oder durch die zufällige Auswahl von Daten aus Nachschlagetabellen oder externen "Set-Dateien". Die Wahl zwischen diesen beiden Methoden kann ad hoc getroffen werden oder basierend auf Spaltenregeln, die über verschiedene Tabellen hinweg gelten. Die Verwendung von Set-Dateien ermöglicht die Erzeugung realistischer Daten für Spalten, die Namen, Orte, Adressen und andere nicht-numerische Werte enthalten. IRI stellt einige…
-
❌ Microsoft Azure Blob Storages ❌ Binary Large Objects (BLOBs) für leistungsfähiges Data Lake ❗
Datenverlust verhindern: PII und andere sensible Daten finden und verschleiern! IRI DarkShield ist ein leistungsstarkes Werkzeug zur Datenmaskierung, das entwickelt wurde, um sensible Informationen in halbstrukturierten und unstrukturierten Dateien sowie Datenbanken aufzuspüren und zu anonymisieren. Es werden zwei robuste Remote Procedure Call (RPC) Application Programming Interfaces (APIs) bereitgestellt: die "Base" DarkShield API und die DarkShield-Files API. Diese APIs ermöglichen die Identifizierung und Schutz sensibler Daten in verschiedenen Quellen, indem sie spezifische Suchmuster und Maskierungsregeln gemäß den Geschäftsvorschriften anwenden. Weitere Informationen zur Erstellung solcher Suchmuster und Maskierungsregeln finden Sie in einem separaten Artikel. Die DarkShield-Base-API wird verwendet, um unstrukturierten Text außerhalb von Dateien zu suchen und zu maskieren. Im Gegensatz…
-
❌ Big Data Wegbereiter ❌ Lösungen zum Verpacken, Schützen und Bereitstellen von Daten für Analysen, ML/AI und DevOps ❗
Big Data 75: Companies Driving Innovation in 2023! Die Zeitschrift Database Trends and Applications (DBTA) hat Innovative Routines International (IRI), Inc. auch bekannt als The CoSort Company, in ihre Liste der "Big Data 75: Companies Driving Innovation in 2023" aufgenommen. Die Liste wurde in der Big Data Quarterly (BDQ)-Ausgabe der DBTA veröffentlicht, um Unternehmen bei der Bewältigung neuer Herausforderungen und eines sich schnell entwickelnden Big-Data-Ökosystems zu unterstützen", indem sie Unternehmen vorstellt, die Innovationen vorantreiben und die Möglichkeiten bei der Erfassung, Speicherung und Gewinnung von Werten aus Daten erweitern". Laut DBTA-Chefredakteurin Stephanie Simone haben "KI-Technologien in diesem Jahr unmittelbar an Zugkraft gewonnen … das Zugpferd, um das man sich hinter…
