在AWS Glue中出错:下载脚本出错。

在运行aws胶水作业时,间歇性地得到以下错误。

错误下载脚本:致命错误。调用HeadObject操作时发生错误(404)。

解决方案:

不知道为什么会断断续续,但这很可能是连接到S3的问题。有几件事需要检查。

  • Glue Jobs运行时有一个… 机构间监测和管理的作用. 你可以检查你的工作细节,看看它目前的设置。你应该确保该角色具有访问S3 bucket的权限,而S3 bucket里有你的工作代码。
  • Glue工作需要一个 VPC端点. 你应该检查确保你已经为你正在使用的VPC正确地创建了一个。
  • 可以配置VPC端点而不将其与任何子网关联。检查你的VPC端点是否正确路由。

下面是用AWS CDK写的一点参考代码,如果对你有帮助的话。

IAM的作用

new iam.Role(this, `GlueJobRole`, {
  assumedBy: new iam.ServicePrincipal(`glue.amazonaws.com`),
  managedPolicies: [
    iam.ManagedPolicy.fromAwsManagedPolicyName(
      `service-role/AWSGlueServiceRole`
    ),
  ],
});

VPC端点

const vpc = ec2.Vpc.fromLookup(this, `VPC`, { vpcId: VPC_ID });

new ec2.GatewayVpcEndpoint(this, `S3VpcEndpoint`, {
  service: ec2.GatewayVpcEndpointAwsService.S3,
  subnets: vpc.publicSubnets,
  vpc,
});

给TA打赏
共{{data.count}}人
人已打赏
未分类

如何将ABI文件中提到的区块链合约集成到android应用中?

2022-9-8 12:39:40

未分类

如何从下面的例子中读取XML元素和属性值?

2022-9-8 12:39:42

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索