使用SSIS将数据加载到Azure SQL数据仓库

Azure Data Lake Store是一种可扩展的Azure云数据商城。您可以通过Azure数据工厂或Azure SQL数据库将数据移入或移出Azure Data Lake Store，也可以连接各种数据源。另外，您也可以使用Azure Data Lake Store .NET SDK来将内部或本地服务器技术news.webhostin***上的文件脚本上传至Azure Data Lake Store。

Azure Data Lake允许您快速且轻松地存储和读取任何形式的数据，并跨越多个平台和语言来在它上面进行任何类型的处理和分析。而且，它也是批处理、流式传输和交互式分析的理想选择，因为它能为不同的企业数据需求提供统一的存储库。

将文件上传至Data Lake store有很多种方法，比如您可以使用Azure 数据工厂服务、Azure Data Lake Store .NET SDK、Java SDK、Node、REST API等各种方式来完成这一任务。

在本文中，我们将一起探讨如何使用Azure Data Lake Store .NET SDK将文件从本地系统上传到Azure Data Lake store中。

首先需要在Azure中创建一个Data Lake Store才能开展这一过程。

注册Azure应用程序

所有的外部应用程序交互都是由Azure活动目录应用程序实行控制或保护的。 我们将首先为我们的Data Lake解决方案创建一个Azure活动目录应用程序。 您可以进入portal.azure网站，并从左侧导航栏中选择“Azure活动目录”来完成此创建。

请选择Azure活动目录版块中的“应用程序注册”选项，这将为您打开一个带有可注册的应用程序列表以及注册新应用程序选项的窗口。接着，请选择窗口顶部的新应用程序注册按钮。

这将为您打开“创建”新应用程序的窗口。然后，您需要指定应用程序的名称和登录网址，并将应用程序类型选择为“Web应用程序/API’”或“本地”。“本地”这一术语表示该应用程序将被安装在用户设备或计算机中，而“Web应用程序/API’”则意味着身份验证来自于基于Web的应用程序。

由于我们计划使用控制台应用程序来上传文件，所以我们将添加一个虚拟的登录URL，如http： //appname。

在Data Lake Store中授予权限

此AD应用程序将对用户把文件从本地系统上传到Azure Data Lake store的过程进行验证。此应用程序需要获得正确的权限才能在目标资源（即Data Lake store）中执行活动。 我们可以通过在Data Lake Store的权限版块下添加该应用程序，从而为其提供必要的权限。

请导航到Data Lake Store，并选择“数据资源管理器”选项。

请选择Data Lake Store窗口中的“权限”选项。在需要的情况下，您可以选择特定文件夹，并指定文件夹级别的权限。 如果您在复制文件时收到了“禁止”异常警告，这表示您的应用程序不具备足够的权限来完成这一操作。您可以验证root级别上的应用程序权限以修复异常。

请注意Store列表中的“示例”文件夹，因为我们将使用此文件夹来从.NET代码上传文件。

“权限”窗口将为您显示获得授权的用户和应用程序列表，以及每个用户或应用程序获得的特定文件夹的权限类型。 请点击顶部的“添加”选项，为新用户或应用程序授予权限。

从“选择用户或组别”窗口中选定先前创建的应用程序名称，然后点击“确定”。 您可以通过在“选择”框中输入字符来搜索特定的用户或应用程序，然后您就能看到经过筛选后的用户或应用程序了。

您可以从权限列表中为特定的应用程序选择所需的权限。此外，我们可以限制应用程序访问特定的文件夹或子文件夹。 访问权限条目用于控制访问该特定对象的文件和文件夹，而默认权限条目用于控制与子元素相关的访问权限的文件夹。

这样一来您就可在Azure中创建一个Data Lake Store，为实施使用.NET应用程序将文件上传至Azure Data Lake的方案打下夯实的基础。