文章目录 1. 任务说明2. 解决思路3. 准备成绩文件4. 采用交互式实现5. 采用Spark项目实战概述：使用Spark RDD实现分组排行榜任务背景任务目标技术选型实现步骤1. 准备数据2. 数据上传至HDFS3. 启动Spark Shell4. 读取数据生成RDD5. 数据处理6. 计算TopN7. 输出结果8…

引言 时间过的好快，转眼间就要从北邮毕业了，距离上一次月度总结又过去了两个月，故作本次总结。 PS: https://github.com/WeiXiao-Hyy/blog整理了后端开发的知识网络，欢迎Star！ 毕业🎓 6月1号完成了自己的…

C语言是一种通用的、高级的编程语言，其历史可以追溯到20世纪60年代末至70年代初。C语言最初是由丹尼斯里奇（Dennis Ritchie）在贝尔实验室为开发UNIX操作系统而设计的。它继承了许多B语言的特性，而B语言则是由迷糊老师（…

一、Spark运行环境变量问题(了解) 1-pycharm远程开发运行时，执行的是服务器的代码 2-通过本地传递指令到远程服务器运行代码时，会加载对应环境变量数据，加载环境变量文件是用户目录下的.bashrc文件 在/etc/bashrc 1-1 在代码中添加 使用os模块…

Eclipse GDB J-Link 的调试实践 本文介绍如何创建Eclipse的调试配置，如何控制调试过程，如何查看修改各种变量。 对 Eclipse 的要求 所用 Eclipse 应当安装了 Eclipse Embedded CDT 插件。从 https://www.eclipse.org/downloads/packages/ 下载 Ecli…

文章目录 1.缓存穿透2.缓存雪崩3.缓存击穿3.1 互斥锁 1.缓存穿透 解决办法 写入NULL值到Redis缓存，以后就会命中Redis的控制缓存而不会出现请求直接打到数据库的问题！ 代码 2.缓存雪崩 这个概念很好理解，雪崩就是无数的小雪花结构突然因…

我们使用 debug 的目的, 认为就是查看代码的执行过程的。 步骤： 1. 打断点 断点的意义是, debug 运⾏的时候, 代码会在断点处停下来不执行如果是想要查看代码的执行过程, 建议将断点放在第⼀行在代码 和 行号之间 点击,出现的红色圆点 就是断点, 再次点击可以取消 …

1、云上用户存在索引共性问题 无用索引； 重复索引； 索引不是最优； 对索引理解有误等。 2、执行计划 判断索引选择及不同索引执行家伙信息可以通过explain操作获取，MongoDB通过explain来获取SQL执行过程信息，当前…