aws lakeformation注册s3位置的原因

news/2024/7/20 17:25:26/文章来源:https://blog.csdn.net/sinat_41567654/article/details/139246645

参考资料

  • lakeformation底层数据的访问逻辑

向lakeformation注册s3位置的目的是让lakeformation控制对AWS S3 位置底层数据的访问(以下简称LF)

注册s3位置后可以进行两种授权

  • 数据访问授权(SELECTINSERTDELETE

  • 数据位置授权,在指定s3位置创建和修改元数据(在授权CREATE_TABLE或ALTER之后限制创建的位置)。

数据访问授权

当注册第一个 Amazon S3 路径时,将代表您创建服务相关角色和新的内联策略。Lake Formation 将第一个路径添加到内联策略,并将其附加到服务相关角色

注册位置时可以选择角色,授予该角色对该位置的读/写权限,LF在向集成 AWS 服务提供临时凭证时承担该角色(例如,AWSServiceRoleForLakeFormationDataAccess)

image.png

注册结果如下

image.png

一些例外情景

  • 如果手动删除s3桶,可能出现权限无法删除的问题,需要手动创建s3桶并注册资源,之后重新解注册

  • 由于AWSServiceRoleForLakeFormationDataAccess为服务角色,因此无法修改策略。只能通过api修改,相关api为

    aws lakeformation deregister-resource --resource-arn arn:aws-cn:s3:::lakefowmation
    

具体的策略如下所示

image.png

走lakeformation路径的数据访问者需要lakeformation:GetDataAccess权限

Amazon Athena 要求用户具有该 lakeformation:GetDataAccess 权限。其他集成服务需要其基础执行角色才能具有该 lakeformation:GetDataAccess 权限

如果要对现有的glue data catalog进行管理,需要进行额外配置。推荐开启混合模式同时兼容IAM授权和lakeformation

  • 开启混合访问模式避免现有工作流中断
  • 若要在混合访问模式下共享数据目录数据库和表,需要将跨帐户版本设置更新到版本 4

使用 Lake Formation GetEffectivePermissionsForPath API 操作,可以确定引用 Amazon S3 位置的数据目录资源,以及对这些资源具有权限的委托人。

$ aws lakeformation get-effective-permissions-for-path --resource-arn arn:aws-cn:s3:::zhaojiew-datalake
{"Permissions": [],"NextToken": "eyJoYXZlQ2F0YWxvZ0VudGl0aWVzRXhoYXVzdGVkIjp0cnVlfQ=="
}

如果iam没有lakeformation权限或者表没有schema会出现没有找到column的报错,https://repost.aws/questions/QUkhhW1dHXSc-1yGXt-TR_5A/column-cannot-be-resolved-querying-athena-through-lambda-and-boto3

The error "COLUMN_NOT_FOUND: line 1:8: SELECT * not allowed ..." typically occurs when (1) the user/role does not have sufficient permissions on the table in Lake Formation. (2) the table's classification is UNKNOWN or the table has no column definitions.

如果没有权限会出现s3的access denied报错

image.png

数据位置授权

数据位置权限使主体能够创建和更改指向指定已注册的 Amazon S3 位置的数据目录资源,例如alter和create table

image.png

数据位置授权之前,必须先注册数据位置到LF中。常见的错误包括glue crawler爬表出现lakeformation权限不足,表明没有权限在指定的s3位置创建表。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_1052071.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

这是你要找的可视化开发平台吗?【送源码】

今天着重推荐一款高效的拖拽式低代码数据可视化开发平台 它就是 goView 它将图表或页面元素封装为基础组件,无需编写代码即可制作数据大屏,减少心智负担。 介绍 框架:基于 Vue3 框架编写,使用 hooks 写法抽离部分逻辑&#xf…

springboot 两个相同类型的Bean使用@Resouce加载

问题描述 有两个相同类型的Bean 使用Service等注解注入或者Bean注入启动以后报错: qualifying bean of type com.fasterxml.jackson.databind.ObjectMapper available: expected single matching bean but found 2提示有相同的类型两个。 解决 * 每个Bean Resour…

Excel未响应时强关后,Excel插件消失

目录 我们分析一下插件消失的原因: 针对上面表现出来的2个问题,进行针对性的解决 : 1、不被关进去,是不是就没有后续的一系列的问题了,各自安好 2、保留住自动加载的行为 PS:配置受信任的位置注册列表…

Redis教程(十二):Redis的持久化RDB和AOF

RDB持久化(Redis DataBase) rdb文件保存路径: redis工作目录/dump.rdb,是二进制文件,是redis数据的快照。 RDB规则配置: save 900 1 代表 900秒内进行了1次操作就触发写rdb文件保存 注意: 执行flushall命令&…

10.SpringBoot 统一处理功能

文章目录 1.拦截器1.1在代码中的应用1.1.1定义拦截器1.1.2注册配置拦截器 1.2拦截器的作用1.3拦截器的实现 2.统一数据返回格式2.1 为什么需要统⼀数据返回格式?2.2 统⼀数据返回格式的实现 3.统一异常处理4.SpringBoot专业版创建项目无Java8版本怎么办?…

使用 Python 编程语言进行供应链分析

前言 要分析一家公司的供应链,我们需要供应链不同阶段的数据,如有关采购、制造、运输、库存管理、销售和客户人口统计的数据。我为这项任务找到了一个理想的数据集,其中包括一家时尚和美容初创公司的供应链数据。 1. 相关数据集 让我们导入…

Bug:Linux用户拥有r权限但无法打开文件【Linux权限体系】

Bug:Linux用户拥有r权限但无法打开文件【Linux权限体系】 0 问题描述&解决 问题描述: 通过go编写了一个程序,产生的/var/log/xx日志文件发现普通用户无权限打开 - 查看文件权限发现该文件所有者、所有者组、其他用户均有r权限 - 查看该日…

初识C++ · 模拟实现vector

目录 前言: 1 部分简单函数的实现 2 push_back和pop_back 3 reserve和resize 4 Print_vector 5 insert和erase 6 拷贝构造 7 构造 8 赋值 9 memcpy的问题 10 迭代器失效 前言: 继上文模拟实现了string之后,接着就模拟实现vector&…

模型实战(20)之 yolov8分类模型训练自己的数据集

yolov8分类模型训练自己的数据集 yolov8,一个实时快速的端到端的集检测、分割、分类、姿态识别于一体的视觉算法库/框架本文将给出yolov8 分类模型的数据集制作格式及训练流程 1. 环境搭建 关于虚拟环境的搭建真的是老生常谈了,给出一个简单的搭建流程吧#新建虚拟环境 conda …

[转载]同一台电脑同时使用GitHub和GitLab

原文地址:https://developer.aliyun.com/article/893801 简介: 工作中我们有时可能会在同一台电脑上使用多个git账号,例如:公司的gitLab账号,个人的gitHub账号。怎样才能在使用gitlab与github时,切换成对应…

【亲测有效】发现了适用于Mac用户的ChatGPT客户端登陆方法

项目场景: Mac用户的ChatGPT客户端登陆 问题描述 无法使用 解决方案: 1.下载登陆ChatGPT客户端 https://persistent.oaistatic.com/sidekick/public/C...https://persistent.oaistatic.com/sidekick/public/ChatGPT_Desktop_public_latest.dmg 2.登陆…

PPOCR实践一:环境准备(Anaconda和Pycharm)

一、Anaconda 1、Anaconda是什么? Anaconda是一个开源的Python发行版本,其包含了conda、Python等180多个科学包及其依赖项。它适合数据分析,是一个用于科学计算的Python开发环境,支持Linux、Mac、Windows系统,提供了包…

爬虫逆向实例小记——某数据知识管理网站-DES-ECB模式

aHR0cHM6Ly9rZC5uc2ZjLmNuL2ZpbmFsUHJvamVjdEluaXQ 注意:本文是逆向部分比较少,主要为了流程走通,限于代码搬运工。 第一步:分析页面 此网站经过请求响应,可以看出响应内容为加密内容。 第二步:判断加密类型 在XHR …

【Go语言入门学习笔记】Part3.指针和运算符、以及基本输入

一、前言 仍然好多和C语言类似,计算机的学生应该是很容易入门这一环节,我还在最后的输入中看到了一些些Java输入的影子,而自动的变量类型推断更是有Python那个味道,正可谓几百家之所长了。 二、学习代码 package mainimport (&q…

保留两位小数不四舍五入,10000.55变成10000.54的坑

正解 function moneyFormat(num){ let money num "";//隐式转换为字符串和toString()效果一样//没有小数补齐这个0if(money.indexOf(".")"-1"){moneymoney".00";}else{//有小数截取前二位小数moneymoney.substring(0,money.inde…

Linux(三)

Linux(三) Linux网络配置管理网络基础知识 IP地址A类 由1个字节网络地址3个字节主机地址B类 由2个字节网络地址2个主机地址C类 由3个字节网络地址1个主机地址D类:主要用于组播E类:为将来使用保留 子网掩码子网掩码作用网关DNS服务器 Linux用户管理用户的…

shell脚本【免交互】

目录 1. Here Document 免交互 1.1 Here Document概述 1.2 实验操练 1.3 tee命令 ​1.4 变量替换 ​ 2. expect 免交互 2.2 实验操练 1. Here Document 免交互 1.1 Here Document概述 *使用I/O重定向的方式将命令列表提供给交互式程序或命令,比如 ftp、…

DRKCT复现

Osint 羡慕群友每一天 MISC 签到 扫码关注公众号,回复一下行 (眼神要好, 我做题时没看见有个二维码) 神秘的文字 把代码js运行一下 (用js的原因是前面给的动物代表的字符类似jsfuck代码) 𓅂![]; 𓂀!…

二分例题(D.负重越野,I.路径规划)

这两天的训练赛都有一道二分的题&#xff0c;但是都没往二分上面想&#xff0c;同样不知道怎么二分。 D. Fast and Fat 思路 二分的关键也就是check函数怎么写了&#xff0c;求队伍最大速度&#xff0c;可以分为速度>mid和<mid两部分&#xff0c;再判断&#xff0c;能不…

4-主窗口

4-主窗口 1、简介2 菜单栏、工具栏、状态栏2.1 菜单栏2.2 QAction2.3 工具栏2.4 状态栏 3 混合方式UI设计 1、简介 QMainWindow是一个为用户提供主窗口程序的类&#xff0c;包含一个菜单栏、多个工具栏、多个停靠控件、一个状态栏以及一个中心控件&#xff0c;是许多应用程序&…