【面经】360大数据开发面经

news/2024/5/20 20:10:30/文章来源:https://blog.csdn.net/weixin_45545090/article/details/127277659

30 分钟,不做题。
欢迎点击此处关注公众号,每天分享大数据开发面经

介绍实习项目
会涉及平台开发吗
平时常用的语言

回答了 Java。

Python 用过吗
Java 实现一个单例要注意什么

懒汉式:

public class Singleton {private static Singleton singleton;private Singleton(){}	// 注意要用 privatepublic static Singleton getInstance() {if (singleton == null) {singleton = new Singleton();}return singleton;}}

多线程情况下保证只创建一个对象:

public class Singleton {private static Singleton singleton;private Singleton(){}public static Singleton getInstance() {// 线程A和线程B同时看到singleton = null,如果不为null,则直接返回singletonif (singleton == null) {// 线程A或线程B获得该锁进行初始化synchronized(Singleton.class) {// 其中一个线程进入该分支,另外一个线程则不会进入该分支if (singleton == null) {singleton = new Singleton();}}}return singleton;}
}
数仓分了哪些层次
你的工作是哪一部分
做过实时吗
ES 用来干什么
场景题

问:两个很大的文件,一个文件里存储的 id 和 phone,一个文件里存储的 id 和 name。两个文件里的 id 是对应关系。用大数据的 MR 来处理这两个文件,得到 phone 和 name 的对应关系应该怎么做。

一道常考题,如何用 MapReduce 实现 join 操作。基本原理:

  • map 阶段同时读取两个文件 file1 和 file2;
  • 处理成 key-value 的形式:
    • 对于 file1,key 为 id,value 为 phone;
    • 对于 file2,key 为 id,value 为 name;
  • 为了区分数据来自哪个文件,在 value 中做 tag 标记:
    • 对于 file1,key 为 id,value 为 phone,value 中增加 tag 标记 a;
    • 对于 file2,key 为 id,value 为 name,value 中增加 tag 标记 b;
  • 通过 key 计算 hash 值,reduce 去拉去,相同的 key 一定会进入同一个 reduce 中处理。
  • reduce 中根据 tag 区分是哪一个文件中的数据,将两个文件中的数据做笛卡尔积,此时得到的 key 为 id,value 为 phone,name。

在这里插入图片描述

反问

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.luyixian.cn/news_show_589153.aspx

如若内容造成侵权/违法违规/事实不符,请联系dt猫网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

钢铁行业经销商商城系统:完善钢材管控方案,轻松实现控价和防伪

钢铁工业是全球经济发展的核心,也是现代社会可持续发展的核心。根据数据显示,2020年中国钢材产量为13.25亿吨,同比增长9.96%;生铁产量为8.88亿吨,同比增长9.77%;粗钢产量为10.53亿吨,同比增长5.72%。 图片来源&#xf…

网络编程之TCP模型

1. TCP模型 2. socket 最早的socket和消息队列、共享内存、管道一致,只能实现一台主机多个进程间通信,后期加入了tcp/ip协议,使得支持不同主机的进程间通信 socket本质上是一个编程接口给(API),是对TCP/IP协议的封装…

利用表面肌电信号对手部抓取动作分类的新型卷积网络模型

利用表面肌电信号对手部抓取动作分类的新型卷积网络模型 文章目录利用表面肌电信号对手部抓取动作分类的新型卷积网络模型一.相关研究二.材料和方法2.1 数据集2.2 数据预处理2.3 1D-1D-CNN三.实验结果分析四.相关研究对比参考文献一.相关研究 肌电信号号代表肌肉功能的特征&…

ReentrantLock可重入、可打断、锁超时实现原理

述 前面讲解了ReentrantLock加锁和解锁的原理实现,但是没有阐述它的可重入、可打断以及超时获取锁失败的原理,本文就重点讲解这三种情况。 可重入 可重入是指一个线程如果获取了锁,那么它就是锁的主人,那么它可以再次获取这把锁…

神经网络损失函数不下降,神经网络参数优化算法

1、matlab支持向量机预测数据怎么减小相对误差 采用网格搜索法。基于长短时记忆神经网络算法的支持向量机的预测方法,为了保证支持向量机预测结果的准确性减小相对误差,选用网格搜索法对支持向量机参数进行优化处理。为了减小在预测算法中,由…

如何快速制作一个自己心目中的可视化大屏?

从来没有接触过可视化的软件,也没有什么基础,我应该怎么开始学习可视化呢?遇到过不少朋友问:我从来没有接触过可视化的软件,也没有什么基础,我应该怎么开始学习可视化呢? 其实很简单,现在市面上有很多公司研发的可视化软件/编辑网站已经不再像过去一样要求使用者是专业…

linux下挂载新的磁盘

1、前提条件 虚拟机上已经新增了新的磁盘。 物理机上已经接好了新的硬盘。 2、挂载步骤 查看系统磁盘情况。使用以下命令:(如果没出现新增磁盘,重启系统) fdisk -l可以看到新增的磁盘/dev/sdb下还没有进行分区。 对新增的磁…

我终于读懂了设计模式的七大原则。。。

文章目录💥🐒设计模式的目的🐴什么叫单一职责原则?🐤什么叫接口隔离原则?🐫什么叫做依赖倒转原则?🐑什么是里氏替换原则?🐘什么叫开闭原则&#x…

拒绝项目经理沟通崩溃瞬间,驾驭项目复杂性

如何一句话终结和项目经理的聊天?这还需要凭实力?这不是信手拈来的事,分分钟让项目经理怒气值加满、停止沟通。来整两句:  紧急需要不停歇——深夜10点,客户:“这个新需求明天必须上。”  方案最后都是…

多测师肖sir_高级讲师_第2个月第27讲解jmeter性能硬件指标

jmeter性能硬件指标 一、采集硬件指标的工具nmon 1、基本介绍 nmon,帮助在一个屏幕上显示所有重要的性能优化信息,并动态地对其进行更新。 2、收集那些数据: nmon 工具可以为 AIX 和 Linux 性能专家提供监视和分析性能数据的功能&#xff0c…

枚举

目录枚举枚举的定义枚举的使用枚举的常用方法枚举的构造方法枚举的优缺点枚举与反射用反射能拿到枚举的实例对象吗?为什么枚举实现的单例模式是安全的?(面试问题)枚举 枚举的定义 枚举是在JDK1.5以后引入的。主要用途是:将一组常量组织起来…

TRC丨艾美捷TRC N-去羟乙基达沙替尼说明书

艾美捷TRC N-去羟乙基达沙替尼:达沙替尼的代谢产物。用于治疗癌症和免疫疾病。 艾美捷TRC N-去羟乙基达沙替尼化学性质: 目录号D290000 化学名称N-去羟乙基达沙替尼 同义词N-(2-氯-6-甲基苯基)-2-[[2-甲基-6-(1-哌嗪基)-4-嘧啶基]氨基]-5-噻唑甲酰胺&…

【漏洞复现-骑士cms-代码执行】vulfocus/骑士cms_cve_2020_35339

目录 一、靶场环境 1.1、平台: 1.2、知识: 1.3、描述: 二、漏洞验证 2.1、分析 2.4、解题: 一、靶场环境 1.1、平台: Vulfocus 漏洞威胁分析平台 123.58.224.8:57171 123.58.224.8:36168 ​ 123.58.224.8:36168 ​ 1.2、知…

多线程——synchronized详解

多线程——synchronized详解 “当多个线程同时访问一个对象时,如果不用考虑这些线程在运行时环境下 的调度和交替执行,也不需要进行额外的同步,或者在调用方进行任何其他的协调操作,调用这个对象的行为都可以获得正确的结果&…

2023年中德(CSC-DAAD)博士后奖学金项目开始申报

10月9日,国家留学基金委(CSC)发布了《2023年中德(CSC-DAAD)博士后奖学金项目遴选工作启动》的通知。该项目提供50个博士后奖学金名额,申请受理时间为2022年11月1-30日。知识人网小编将CSC的申报指南全文转载…

osgEarth 三维坐标系和地理坐标系

目录 三维坐标系 地理坐标系 投影坐标系 坐标转换 三维坐标系 三维坐标系以地球球心为原点,三维世界坐标系 x轴正方向由地心指向本初子午线与赤道的交点,y轴正方向由地心指向东经 90 与赤道交点,z轴正方向由地心指向正北。 地理坐标系 地理…

如何在AFO里将一个特性的key和text显示为两列,且显示列名

把一个特性按key 和 text来展示成两列的话,第二列就没有列名了。 本篇是个讨论篇,没有完全解决方案,希望有知道的小伙伴一起讨论下。 如果我给它convert to formula是可以看到了的。但是这样就丢失了所有的下钻功能。 而且不能随query保存啊…

C#中TabControl相关用法

最近在用C#做项目时,用到TabControl这个控件,将学到的东西做个总结: 一、拖一个TabControl控件到窗口上,在控件上点击右键,可以添加选项卡/删除选项卡;或者在属性中找到TabPages,点击进去,可以看…

FastDeploy+英特尔NUC+大疆无人机梦幻联动!推动智慧城市巡检应用落地

智慧城市旨在利用大数据、物联网(IoT)、人工智能和5G等数字技术,提高政府公共服务水平、社会治理效能,推动经济增长,不断增强人民群众的获得感、安全感和幸福感。自十四五规划以来,国家和各大主要城市一直加…

Javascript之DOM与BOM

Web API 是浏览器提供的操作浏览器功能BOM和页面元素DOM的API。 DOM Document Object Model 文档对象模型,一组可以改变网页内容、样式、结构的接口。 文档:页面; 元素:标签; 节点:内容 node 以上都可以…