使用AWS Import Export快速将数据传输到Amazon S3


如果您家中的本地网络上有数百GB甚至数TB的数据,您可能将它们全部存储在计算机,外部硬盘驱动器或NAS(网络附加存储)设备上。备份数据非常重要,但将它们集中在一个地方绝对不是一个好主意。

当我看到我有超过2 TB的照片,视频,备份等存储时,我自己意识到了这一点。在我的本地NAS上。当然它有4个硬盘,如果一个出现故障,我的数据都不会丢失。但是,如果我的房子被烧毁或被淹,那么一切都会随着NAS一起丢失。所以我决定将数据备份到云端。

我查看了Dropbox,SkyDrive,Google Drive,CrashPlan以及Amazon S3和Glacier,然后才决定使用Amazon S3。亚马逊为何好吧,他们有一个很酷的服务,你可以发送一个最大16 TB的外部硬盘驱动器,并将其直接上传到他们的服务器,从而避免了试图通过慢速Internet连接上传数据的巨大问题。

aws

在我的邻居中使用AT& T,我的上传速度达到了1.4 Mbytes / sec。上传我存储在NAS上的2.5 TB数据需要几个月的时间。使用亚马逊导入/导出,您可以支付80美元的服务费,并让他们在一天内为您上传所有数据。我最终制作了一个视频教程,引导您完成从注册Amazon Web Services到打包硬盘并将其发送到亚马逊的整个过程。

这是视频的完整成绩单:

大家好。这是来自在线技术提示的Aseem Kishore。我今天要做一些新事物。我打算在Amazon Web Services Import Export功能上做一个视频教程。那么导入导出功能是什么?好吧,它基本上是一种将大量数据存入Amazon S3存储桶或Glacier文件库的方法。 Amazon S3和Glacier基本上是两种存储选项,您可以使用Amazon进行数据备份和数据存档。那你为什么要在亚马逊上使用这项服务?

好吧,它基本上可以让你很快地将大量数据传输到云中。如果您是像我这样的人,您可能会在计算机或外部硬盘驱动器上本地存储数百GB的照片和视频。尝试将100千兆字节或500千兆字节甚至1千兆字节的数据上传到云端,如果不是数月,则需要花费数周时间才能实现缓慢的上传连接。相反,您可以做的是将数据复制到外部硬盘驱动器上,该硬盘驱动器的大小可达16TB,然后将其运送到亚马逊,然后将它们带到数据中心并将其直接上传到您的存储桶或保险库然后您可以继续从网上访问。

所以要开始,你要做的第一件事就是创建一个亚马逊网络服务帐户。要做到这一点,你将去aws.amazon.com,你将继续点击“注册”按钮。如果您还没有亚马逊帐户,请继续输入您的电子邮件地址,然后选择“我是新用户”。如果您这样做,请继续选择“我是回归用户”,您可以使用当前帐户亚马逊帐户注册Amazon Web Services。

创建Amazon Web Services帐户后,您将不得不下载导入导出工具。这个工具使用起来非常简单。它需要一些配置,我将继续并解释。但你可以在屏幕上看到,有一个下载链接,我将添加到本视频底部的标题中。所以继续下载然后将其解压缩到计算机上的目录中。

现在您已经下载了该工具并将其解压缩,您应该有一个如下所示的目录。此时,我们需要编辑一个名为“AWS Credentials”的文件。它包含两个值,即访问密钥ID和密钥。基本上,这些是亚马逊用于链接到您的帐户的两个值。您可以通过转到以下地址从您的Amazon Web Services帐户获取这两个值。这是aws.amazon.com/securitycredentials。在Security Credentials页面上,您将继续并单击Access Keys。

现在它在这里有点令人困惑。如果您已经使用过Amazon Web Services并且过去已经创建了密钥,那么您将无法在此处看到您的密钥。这是来自亚马逊的一种新界面,为了查看您现有的密钥,您必须单击安全凭证链接,将您带到旧的旧版页面。

如果您刚创建了一个新的帐户,然后您将能够创建新的根密钥。此按钮将处于活动状态。此时,您将获得一个访问密钥ID,您将获得密钥,以便它将为您提供这两个值。如果您已经为Amazon Web Services创建了访问密钥ID,那么这是Legacy Security页面,您可以在其中访问您的密钥。正如你在这里看到的,我有两个访问密钥,如果我想继续查看我的密钥,我可以继续单击Show按钮,然后我可以将这两个值复制到我已经显示的AWS Credentials文件中你早点。所以你想继续粘贴Access ID键并在这里粘贴Secret密钥。

现在,如果你对Access Key ID和Secret Access密钥感到困惑,那没关系。你真的不需要知道它们是什么或以任何方式关心它们。您所要做的就是签名并获取值,然后将它们复制并粘贴到该文件中。

接下来我们要做的就是创建导入作业。现在接下来的两个部分是整个过程中最难的两个部分。为了为Amazon S3创建导入作业,我们将继续创建清单文件。此清单文件基本上包含有关您设备的一些信息。无论您想要存储数据的哪个位置以及您希望将设备运回的位置。

现在好消息是我们不必自己创建此清单文件。它已经为我们创造了,我们只需要继续并填写它。因此,您要继续执行的操作是进入目录以及导入导出工具的位置,然后单击“示例”。在这里,您将继续打开S3导入清单。正如你在这里看到的,我已经完成了我的导入工作的信息。所以让我们继续看一下这一点。

如您所见,您要做的第一件事就是再次键入您的访问密钥ID。您必须摆脱括号,然后继续将其直接粘贴在冒号后面。您要做的下一件事是输入存储桶名称。你将不得不继续创建一个存储桶,我将继续并在此之后显示,但是现在继续输入你想要的任何名称,你的数据将会是什么存储。因此,如果您创建一个名为Back Up的文件夹,而不是您设备上的任何文件夹,那里的任何文件夹或任何内容都将位于该存储桶名称下方。

接下来您要继续使用它并输入您的设备ID。这基本上是外部硬盘驱动器的唯一标识符。这可以是硬盘背面的序列号。如果您没有硬盘驱动器背面的序列号,那么您可以继续做的只是创建自己的序列号或创建标识符。只需将其写在某物上,贴上您可以放在设备上的贴纸,然后在此输入该值即可。它只需要在设备和此文件中是相同的。擦除设备,它已经设置为No,所以你要离开它。你可以离开下一个。服务水平是标准的,你可以离开。回复地址,你要继续填写你的地址就像我在这里做的那样。在原始文件中,有一些可选字段。如果你不打算使用它们,你必须继续删除它们。所以你可以继续删除那些行。

好的,所以我们在填写清单文件后要做的下一步就是将它保存到相应的目录中。为此,我们将继续单击File,Save As,然后我们将返回导入导出Web Services Tool目录。这也是我们之前填写​​的dot属性文件的位置。在这里,您将继续并命名您的文件,“我的导入manifest.txt。 “由于您的另存为类型已经是txt,因此您无需在文件名中键入。继续,然后单击Save。

现在我们已经编辑了AWS Credentials文件并记入了My Import Manifest文件,我们可以继续在Amazon S3中创建一个存储桶。这很简单。您要继续做的是去aws.amazon.com,然后您将继续点击我的帐户控制台,然后点击AWS管理控制台。登录后,您应该获得一个与所有不同的Amazon Web Services一样的屏幕。在这一点上,我们所关心的只是Amazon S3,它位于左下角。单击它,它将继续并加载S3控制台。正如你在这里看到的那样,除了水桶之外,它并没有太大的作用。所以我有两个桶,这是我的synology nas的备份,它是网络类型的存储设备。

你想要做的就是点击Create Bucket,认为你是继续前进,给你的水桶一个桶名。您也可以选择其他地区,但我建议您自动转到它为您填充的区域。存储桶名称只能包含点,并且必须在存储它的整个区域中是唯一的。因此,如果其他人已经拥有该桶名称,那么它将给您一个错误。例如,如果我说,nasbackup,我说创建,它将给我一个错误,请求的存储桶名称不可用。在这种情况下,您可以使用点,这样您就可以放置'点',以及您想要的任何其他内容,然后单击创建,如果这是唯一的,那么它将继续并创建该桶名称。所以你可以继续创建一个存储桶,也就是说我们将存储所有外部硬盘的数据。

此时,您可能想知道还有什么需要做。那么让我们来看看到目前为止我们做了些什么。我们注册了AWS服务。我们已经下载并提取了该工具。我们编辑了文件和编辑器键。我们已经将创建清单文件保存在与凭证文件相同的目录中的导入清单中,我们在Amazon S3上创建了一个存储桶。因此,要完成这项任务还有很多工作要做。

接下来我们要做的是使用Java命令行工具创建作业请求。这有点技术性,这可能是你将要做的最技术性的事情,但实际上并不那么难。现在,为了创建此作业请求,我们必须在命令提示符下运行Java命令。但为了做到这一点,我们必须安装Java开发工具包。这与Java运行时环境不同,后者通常安装在大多数计算机上,但它不允许您在命令提示符下运行Java命令。

为了做到这一点,你会做什么是去谷歌,只是搜索Java SE,这是Java标准版。继续点击这里的第一个链接,这将带您进入此页面。在这里你可以向下滚动,你会看到三个选项,JDK服务器,JRE和JRE。我们这里不需要担心这两个问题。我们将继续下载JDK。在下一页上,继续并单击“接受许可协议”,然后您可以下载符合系统规格的文件。在我的例子中,我下载了Windows 64位可执行文件。

现在您已经安装了Java可执行工具包,我们可以继续运行Java命令,您可以继续查看此命令这里是我在这里强调的文档。顺便说一句,如果您需要访问此文档,最简单的方法是访问Google并搜索“AWS import export docs”。然后继续并单击创建导入作业,然后单击创建您的第一个Amazon S3导入作业,您将被带到此页面。

现在我们可以继续运行命令通过转到命令提示符。为此,我们单击“开始”,键入CMD并按Enter键。现在我们有了一个命令提示符,我们需要进入Amazon导入导出工具所在的目录。在我们的例子中,它位于下载中,然后有一个名为Import Export Web Service Tool的文件夹。因此,为了将目录导航到命令提示符,您输入“cd”,然后我将输入“downloads”,然后我将再次键入“cd”,然后我要去输入“导出导出Web服务工具”,这是目录的名称。现在我在那个目录中,我只是继续复制这个命令并将其粘贴到命令提示符中。

你可能已经注意到在我们刚刚复制和粘贴的命令中,清单文件的名称是My S3 Import Manifest.txt。我认为这是文档的一个问题,因为当我试图以这种方式运行时,我收到一个错误,说该文件必须命名为My Import Manifest.txt。因此,只需移动光标并删除S3部分,您就可以运行该命令。现在我不打算继续执行命令,因为之前已经运行过了。但是当你继续按Enter键时,你应该得到类似的东西,创造的工作,工作ID,AW送货地址和签名文件内容。

签名文件内容基本上是在导入导出Web服务工具调用签名下的根目录中创建的文件。这将在您运行实际命令时创建。如果一切顺利,你可以拿这个文件,你将不得不复制到硬盘的根目录。
我们差不多到了这里。接下来我们要做的是将签名文件复制到硬盘驱动器的根目录。运行Java命令后,我们可以在导入导出Web服务工具目录中找到名为Signature的文件。

第二步到最后一步是打印出装箱单并将其填写完毕。这就是装箱单的样子。这是一个非常简单的文件。您可以继续输入日期,电子邮件帐户ID,联系号码,姓名和电话号码,作业ID以及为设备添加的标识符。您可以在此处找到此文档。

最后一步是简单地打包硬盘并将其发送到亚马逊。你必须要注意几件小事。首先,您需要包括电源和任何电源线以及任何接口电缆,因此如果是USB 2.0,3.0,esata,则需要包含USB电缆或esata电缆。如果没有,他们会继续将它还给你。您还必须填写我之前提到的装箱单并将其放入包装箱内。最后,您将把包裹发送到您从我们运行的创建响应命令获得的地址。

运送时还有两件小事需要注意。首先,您要确保运输标签上有该作业ID。如果没有,他们会把它还给它。因此,您需要确保在运输标签中有作业ID。其次,您还应填写退货送货地址。这与我们在清单文件中放入的退货送货地址不同。如果由于某种原因他们没有处理您的硬盘驱动器,如果出现问题或类似的问题,他们会将硬盘驱动器返回到运输标签上的送货地址。如果他们处理您的硬盘驱动器并且他们能够传输所有数据,他们会将硬盘驱动器返回到您所知道的运输地址。因此,在标签上输入退货地址也很重要。你可以选择你喜欢的任何载体。我选择了UPS。拥有跟踪号码是件好事,他们可以继续为您完成所有这些而不会出现问题。

就是这样。这是几个步骤,第一次这样做确实需要一点时间。但在那之后,它非常快,而且它是将大量数据保存到云中的好方法,亚马逊也很便宜。因此,如果您每天需要存储一天,并且想要将其备份到除家中或外部硬盘驱动器以外的其他位置,那么Amazon Web Services S3是一个很好的选择。

我希望您喜欢本教程在线技术提示。请回来参观。

相关文章:


5.08.2013