TechCodeview

Урокът за SSIS предоставя основни и разширени концепции за SQL Server Integration Services. Нашият урок за SSIS е предназначен за начинаещи и професионалисти.

Услуга за интегриране на SQL Server е бърз и гъвкав инструмент за съхранение на данни, използван за извличане, трансформиране и зареждане на данни. Това улеснява зареждането на данни от една база данни в друга база данни, като SQL Server, Oracle, Excel файл и др.

В този урок ще обсъдим следните теми:

• Какво е SSIS
• Какво е интегриране на данни
• Защо SSIS
• Как работи SSIS
• Изисквания за SQL Server Integration Service
• Какво представлява пакетът SSIS
• SSIS задачи
• Пример за задача за поток от данни
• Пример за изпълнение на SQL задача

Какво е SSIS?

• SSIS означава SQL Server Integration Services.
• Това е компонент, наличен в софтуера за база данни на Microsoft SQL Server, използван за изпълнение на широк набор от интеграционни задачи.
• Това е инструмент за съхранение на данни, използван за извличане на данни, зареждане на данните в друга база данни, трансформации като почистване, агрегиране, обединяване на данни и др.
• Инструментът SSIS също така съдържа графични инструменти и функции на работния поток на съветниците за прозорци, като изпращане на имейл съобщения, ftp операции, източници на данни.
• SSIS се използва за изпълнение на широк набор от задачи за трансформация и интеграция. Като цяло инструментът SSIS се използва при миграцията на данни.

SSIS е инструмент, използван главно за изпълнение на две функции:

Интегриране на данни
SSIS извършва интеграция на данни чрез комбиниране на данни от множество източници и предоставя унифицирани данни на потребителите.Работния процес
Работният процес може да се използва за извършване на няколко неща. Понякога трябва да изпълним някои конкретни стъпки или определен път, който се основава или на периода от време, или на параметъра, предаден на пакета, или на данните, поискани от базата данни. Може да се използва за автоматизиране на поддръжката на бази данни на SQL Server и осигурява актуализация на многомерните аналитични данни.

Какво е интегриране на данни?

Интегрирането на данни е процес, който следвате, за да интегрирате данните от множество източници. Данните могат да бъдат или разнородни данни, или хомогенни данни. Данните могат да бъдат структурирани, полуструктурирани или неструктурирани. При интегрирането на данни данните от различни различни източници на данни се интегрират, за да образуват някои значими данни.

Някои методи се използват за постигане на интеграция на данни:

Моделиране на данни:В моделирането на данни първо трябва да създадете модела на данни и да извършите операции върху него.Профилиране на данни:Профилирането на данни е процес, който се използва за проверка на грешките, несъответствията или вариациите в наличните данни. Профилирането на данни гарантира качеството на данните, където качеството на данните се отнася до точността, последователността и пълнотата на данните.

Предимства на интегрирането на данни:

Намалете сложността на данните
Това намалява сложността на данните, което означава, че данните могат да бъдат доставени до всяка система. Интегрирането на данни поддържа сложността, опростените връзки и улеснява доставянето на данните до всяка система.Целостта на данните
Целостта на данните играе основна роля в интегрирането на данните. Той се занимава с почистване и валидиране на данните. Всеки иска висококачествени и стабилни данни, така че за постигане на тази концепция за интегриране на данни се използва. Интегрирането на данни е полезно за премахване на грешки, несъответствия и дублиране.Лесно сътрудничество за данни
Достъпността е част от сътрудничеството за данни. Достъпността означава, че данните могат лесно да се трансформират и хората могат лесно да интегрират данните в проекти, да споделят своите резултати и да поддържат данните актуални.По-интелигентни бизнес решения
Освен това ви позволява да вземате по-интелигентни решения. Интегрираните данни се отнасят до процеса на предаване в рамките на една компания, така че да можем да разберем информацията по-лесно. Интегрираните данни са много по-лесни и информативни.

Защо SSIS?

SSIS се използва поради следните причини:

Данните могат да се зареждат паралелно към много различни дестинации
SSIS се използва за комбиниране на данни от множество източници на данни за генериране на една структура в унифициран изглед. По принцип той отговаря за събирането на данни, извличането на данните от множество източници на данни и обединяването в един източник на данни.Премахва нуждата от твърди програмисти
SSSIS е платформа, която има способността да зарежда голямо количество данни от excel в база данни на SQL Server.Интеграция с други продукти
Инструментът SSSIS осигурява тясна интеграция с други продукти на Microsoft.По-евтино от другите ETL инструменти
Инструментът SSSIS е по-евтин от повечето други инструменти. Може да устои на други базови продукти, тяхната управляемост, бизнес интелигентност и др.Комплексно обработване на грешки в потоците от данни
SSSIS ви позволява да се справите със сложната грешка в рамките на поток от данни. Можете да стартирате и спирате потока от данни въз основа на сериозността на грешката. Можете дори да изпратите имейл до администратора, когато възникне някаква грешка. Когато грешката бъде разрешена, можете да изберете пътя между работния процес.

Как работи SSIS?

Знаем, че SSIS е платформа за две функции, т.е. интегриране на данни и работен процес. Както задачите, трансформациите на данни, така и създаването на работен поток се извършват с помощта на пакета SSIS. SSIS пакетът се състои от три компонента:

Оперативни данни

Оперативните данни са база данни, използвана за интегриране на данните от множество източници на данни за извършване на допълнителни операции върху данните. Това е мястото, където данните се съхраняват за текуща работа, преди да бъдат изпратени до хранилището на данни за съхранение, отчитане или архивиране.

здравей свят с java

ETL

• ETL е най-важният процес в инструмента SSIS. ETL се използва за извличане, трансформиране и зареждане на данните в хранилище за данни.
• ETL е процес, отговорен за извличането на данните от множество източници на данни, трансформирането на данните в полезни данни и след това съхраняването на данните в хранилище за данни. Данните могат да бъдат във всеки формат xml файл, плосък файл или произволен файл на база данни.
• Той също така гарантира, че данните, съхранявани в хранилището на данни, са подходящи, точни, висококачествени и полезни за бизнес потребителите.
• Той може да бъде лесно достъпен, така че хранилището на данни да може да се използва ефективно и ефикасно.
• Той също така помага на организацията да взема решения, базирани на данни, като извлича структурирани и неструктурирани данни от множество източници на данни.

ETL е концепция от три думи, но е разделена на четири фази:

Улавяне: Фазата на улавяне е известна още като фаза на извличане. В тази фаза той избира изходните данни или метаданни и данните могат да бъдат във всеки формат, като например xml файл, плосък файл или произволен файл на база данни.

скраб: В тази фаза се проверяват оригиналните данни. Той проверява данните, независимо дали съдържат грешки или не. Той проверява за грешки или несъответствие на данните, като използва някои техники за изкуствен интелект. Накратко, той проверява дали качеството на продукта е изпълнено или не.

Трансформиране: Това е третата фаза в ETL. Трансформацията е процесът, при който оригиналният формат се преобразува в необходимия формат, който желаете. Трансформацията е моделиране или промяна на данните според изискванията на потребителя. Промените могат да бъдат промяна в броя на колоните или редовете.

Зареждане и индексиране: Четвъртата фаза е Зареждане и индексиране. Той зарежда данните и потвърждава броя на обработените редове. След като зареждането на данните приключи, се използва индексирането. Индексирането ви помага да проследите броя на редовете, които са заредени в хранилището на данни. Индексирането също помага да се идентифицират данните, независимо дали са в правилния формат или не.

Склад за данни

Складът на данни е единно, пълно и последователно хранилище на данни, което е формулирано чрез комбиниране на данни от множество източници на данни.

Разлика между база данни и хранилище за данни

Отговорът може да бъде както да, така и не. И базата данни, и хранилището на данни имат голяма единица данни и подобно физическо представяне, но времето за отговор на сложни заявки в хранилището на данни е по-бързо от базата данни.

Изисквания за SQL Server Integration Services

Следните са изискванията за инсталиране на SQL Server Integration Services:

• Инсталирайте SQL Server
• Инсталирайте инструментите за данни на SQL Server

Следвайте стъпките по-долу, за да инсталирате инструментите за данни на SQL Server:

Етап 1: Кликнете върху връзката https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 за изтегляне на инструментите за данни на SQL Server.

Стъпка 2: Когато щракнете върху връзката по-горе, се появява екранът, показан по-долу:

В горния екран изберете версията на SSDT, която искате да инсталирате.

Стъпка 3: След като изтеглянето приключи, стартирайте изтегления файл. Когато стартирате изтегления файл, се появява екранът, показан по-долу:

Стъпка 4: Кликнете върху бутона Напред.

Стъпка 5: Изберете екземпляра на Visual Studio и инструментите, които искате да инсталирате във Visual Studio 2017.

Стъпка 6: Кликнете върху Инсталирай бутон.

Какво представлява пакетът SSIS?

Пакетът е основен блок, където кодирате в SSIS. Тук кодът не означава, че кодирате на някакъв език за програмиране; това означава развитието, което правите. Разработката се извършва в пакета SSIS. SSIS се използва главно за ETL процеса, а ETL процесът се изпълнява в пакета SSIS.

SSIS пакетът се състои от три части:

Връзки
SSIS пакетът ще има някои връзки и тези връзки се използват за свързване към различни източници на данни.Елементи на контролния поток
Пакетът SSIS се състои от два елемента, т.е. елементи на контролния поток и елементи на потока от данни. Елементите на контролния поток управляват работните процеси. Работен поток означава, че изпълняваме някои задачи на стъпки, така че последователността се извършва чрез контролен поток.Елементи на потока от данни
Елементите на потока от данни извършват трансформации.

SSIS задачи

В SSIS пакета можем да добавим задачите. Задачата е единица работа и ще имаме различни видове задачи, за да изпълняваме различни видове работа. Има различни видове задачи, но ние ще обсъдим най-често срещаните задачи, използвани в SSIS:

Изпълнете SQL задача
Използва се за изпълнение на SQL оператори срещу релационна база данни.Задача за поток от данни
Използва се главно за четене на данни от един или няколко източника на данни, преобразуване на данните и може също да зарежда данните на една или повече дестинации.Задача за обработка на услуги за анализ
Използва се за обработка на обекти от SSAS куб или табличен модел.Изпълнение на пакетна задача
Тази задача се използва за извикване на други пакети в рамките на същия проект. Можете дори да подадете стойностите на променливите към извикания пакет.Изпълнение на процесната задача
Тя ви позволява да стартирате приложение или пакетни скриптове като SQL Server Integration Services. Може да се използва за отваряне на стандартно приложение като Microsoft Excel, Microsoft Word и др. Използва се и за разархивиране на компресирания файл.Задача на файловата система
Може да се използва за извършване на манипулации във файловата система като преместване на файлове, изтриване на файлове, преименуване на файлове, промяна на директория и др.FTP задачи
IFTP задачите се използват за извършване на операции с файлове и папки. Например, ако искате да изпратите или получите файла от FTP сървъра към локалната директория, тогава се използва задачата SSIS FTP.Скрипт Задача
Тази задача ви позволява да напишете .Net кода, който искате да изпълните.Задача за изпращане на имейл
Тази задача се използва за изпращане на имейл. Използва се главно, когато искате да уведомите потребителите относно състоянието на задачата дали е в състояние на изпълнение или е възникнала някаква грешка.

Нека видим някои работещи примери за услуга за интегриране на данни.

Пример за задача за поток от данни

Етап 1: Първо създаваме excel файл в Microsoft Excel. Да предположим, че създам базата данни на учениците в Microsoft Excel и полетата в таблицата на учениците са student_id, student_name, оценки и пол.

Стъпка 2: Отворете визуалното студио (инструменти за данни на SQL Server).

Стъпка 3: Щракнете върху опцията Файл и след това преминете към Нов->Проект.

Стъпка 4: Когато щракнете върху проекта, се появява екранът, който е показан по-долу:

В горния екран щракнете върху услугите за интеграция, които се появяват в най-лявата страна на панела и след това щракнете върху проекта за услуги за интеграция.

Стъпка 5: След като щракнете върху проектът за интеграционни услуги опция, екранът се появява, както е показано по-долу:

Горният екран се състои от пет раздела като контролен поток, поток от данни, параметри, манипулатор на събития и изследовател на пакети. Вече обсъдихме контролния поток и потока от данни, както контролният поток, така и потокът от данни съществуват в пакета SSIS.

стъпка 6: За да импортираме данните, първо трябва да създадем базата данни, в която създаваме таблицата в базата данни на SQL Server. Тъй като знаем, че данните за учениците са налични във файла на Excel и искаме да импортираме данните в базата данни на SQL Server. За да постигнем това, първо трябва да създадем таблицата в SQL Server. Отворете студиото за управление на SQL Server.

Стъпка 7: Създайте студент база данни. Щракнете с десния бутон върху базата данни и след това щракнете върху Нова база данни опция.

Стъпка 8: Въведете името на базата данни в екранната снимка по-долу:

Дадох StudentWarehouse като име на база данни.

Стъпка 9: Кликнете върху Добре бутон.

Стъпка 10: Сега създаваме таблицата в a StudentWarehouse база данни. Щракнете с десния бутон върху таблиците и след това щракнете върху новата таблица.

Стъпка 11: Сега добавяме полетата в таблица като student_id, student_name, оценки и пол. Ние задаваме student_id като първичен ключ, който уникално идентифицира всеки ред.

Горният екран показва, че добавяме четири полета в таблица. След като добавим всички полета в таблица, ние запазваме таблицата, като предоставяме полезно име. Да предположим, че съм предоставил ученика като име на таблица.

Стъпка 12: Върнете се във визуалното студио. Контролният поток съдържа задачата за поток от данни, плъзнете и пуснете задачата за поток от данни в главния прозорец.

мултиплексор две към едно

Стъпка 13: Когато щракнем два пъти върху задачата за поток от данни, контролата автоматично се премества в потока от данни от потока на управление, така че можем да кажем, че потокът от данни е контейнер на потока от данни.

Стъпка 14: Сега можем да извършим трансформациите в Data Flow. Искаме да извлечем данните от файла на Excel, който създадохме по-рано, така че плъзнете и пуснете източника на Excel от другите източници, показващи се в най-лявата страна на панела.

От горния екран наблюдаваме, че червеният кръст се появява вътре в Excel Source, това означава, че компонентът е конфигуриран с Excel Source.

Стъпка 15: За да конфигурирате компонента, щракнете с десния бутон върху източника на Excel и щракнете върху опцията Редактиране, както е показано на екранната снимка по-долу:

Стъпка 16: Попълнете подробностите, показани на екранната снимка по-долу:

Стъпка 17: След като въведете всички подробности, екранът се появява, както е показано по-долу:

Стъпка 18: Кликнете върху източника на Excel.

Горният екран показва две стрелки, червена и синя стрелка. Синята стрелка определя действителните данни, които получаваме от Excel файла, а червената стрелка обозначава грешките, които имаме. Сега трябва да извършим трансформациите и преди да извършим трансформациите, трябва да заредим базата данни.

Стъпка 19: За да заредите базата данни, щракнете върху Други дестинации и след това щракнете върху Дестинацията.

Стъпка 20: След като добавите дестинацията, свържете източника към дестинацията.

Стъпка 21: В горната стъпка забелязахме червения кръст в ADO NET Destination, което означава, че не е конфигуриран с компонент. Щракнете с десния бутон върху дестинацията на ADO NET и след това щракнете върху опцията Редактиране, както е показано на екранната снимка по-долу:

Стъпка 22: Трябва да посочите мениджъра на конфигурацията.

Стъпка 23: Кликнете върху Нов бутон за добавяне на мениджъра на връзките. Когато щракнете върху Нов бутон, се появява екранът, показан по-долу:

Стъпка 24: Добавете името на сървъра и изберете името на базата данни от SQL Server.

Стъпка 25: Кликнете върху бутона OK.

Стъпка 26: Добавете името на таблицата, в която искате да заредите данните.

Стъпка 27: В екрана по-долу картографирайте полето на входния източник към полето на целевия източник.

parseint java

Стъпка 28: След добавяне на картографиране, източникът се свързва с дестинацията, както е показано на екранната снимка по-долу:

Стъпка 29: Кликнете върху Започнете бутон за стартиране на проекта за интеграционни услуги. Когато стартирате проекта, данните се зареждат до местоназначението, т.е. SQL сървър .

Пример за изпълнение на SQL задача

• Следвайте стъпките от стъпка 2 до стъпка 5 от предишния пример.
• Плъзнете и пуснете Изпълнете SQL задача появяващи се в най-левия панел на главния прозорец.

В горния екран забелязваме, че червеният кръст се появява в Execute SQL Task, което означава, че Мениджър на връзките не е конфигуриран с Изпълнете SQL задача . За да го конфигурираме, трябва да добавим Connection Manager.

• За да добавите Мениджър на връзки, щракнете с десния бутон върху Мениджър на връзки и след това щракнете върху Нов мениджър на връзки, както е показано на екранната снимка по-долу:

• Изберете OLEDB като тип Диспечер на връзки и след това щракнете върху Добавете бутон, както е показано на екранната снимка по-долу:

• След като щракнете върху Добавете бутон, екранът се появява, показан на екранната снимка по-долу:

В горния екран наблюдаваме, че връзката за данни на StudentWarehouse базата данни вече е налична, както създадохме в предишната стъпка. Кликнете върху Добре бутон.

• Когато щракнете върху бутона OK, екранът се появява, както е показано по-долу:

В горния екран трябва да въведете подробности като името на вашата задача, описание, SQL оператор (SQL задача, която трябва да изпълните на таблицата).

• Въведох следните подробности в горната екранна снимка:

В горния случай предоставих командата за вмъкване в SQLStatement.

• Кликнете върху Добре бутон.
• Когато конфигурирате компонента с Execute SQL Task, червеният кръст изчезва, както е показано на екранната снимка по-долу:

• Стартирайте проекта, като щракнете върху Започнете .

• Когато щракнете върху Започнете , екранът се появява, както е показано по-долу:

В горния екран отметката показва, че вашата SQL задача е изпълнена успешно. Операторът за вмъкване, който добавихме в предишните стъпки, е изпълнен и данните се добавят в таблицата. т.е. студент1.

• Резултатът от тази задача е показан по-долу

Предпоставка

Преди да научите SSIS, трябва да имате основни познания за SQL Server.

Публика

Нашият урок за SSIS е предназначен да помогне на начинаещи и професионалисти.

проблем

Уверяваме ви, че няма да намерите никакъв проблем в този урок за SSIS. Но ако има грешка или грешка, моля, публикувайте грешката във формата за контакт.