Wie schon unter Optimierung Schnittstelle berichtet, konnte der Datenabruf über eine Schnittstelle von etwa 40min auf 3min Verarbeitungsdauer reduziert werden. Die Ursache für die lange Verarbeitungsdauer war die Nutzung einer String-Variable anstelle des StringBuilders in VB.net.
Allerdings waren wir auch der Ansicht, dass da noch viel Zeit verloren geht bei mehr als 260.000 Einzel-Inserts in die Datenbank. Also haben wir uns noch einmal ein halbe Stunde mit der Thematik beschäftigt und eine DataTable erstellt, die die Felder dynamisch ermittelt und die richtigen Datentypen setzt.
Diese wird dann zunächst mit den Daten aus dem Webservice befüllt und dann in 10.000er Blöcken per BulkInsert in die Zieldatenbank übertragen.
Der Effekt war dieser Modifikation besser als erhofft:
Anstelle der 3min geht die Verarbeitung damit nun in etwa 20s. Eine ordentliche Steigerung, wenn man sich die ursprünglichen 40min Verarbeitungszeit vor Augen führt.
So machen Optimierungen Spass!