Make Programming Great Again 系列笔记
内容均来自于b站up:原子能(主页:https://space.bilibili.com/162183)
个人觉得up讲的很不错,都已三连,如果觉得up内容不错的话可以去视频区支持他。
本篇是对视频内容的一个简单记录,用于个人学习,有误之处烦请指正,欢迎交流学习。
To be continue…
Federated_Learning学习记录_2024
To be continue…
大数据入门记录_2024
本文为大数据Overview,基于网上收集的视频和资料。
参考视频:从编年史角度看大数据兴起_bilibili
参考资料:数据分析_报告,今天也有好好学习的博客-CSDN博客
BASE数据链路定义:将各种来源的数据转换处理后送入在线服务中(海量数据批次/实时计算结合)
大数据:⼤数据是如何产生的?什么是埋点?
100TB/5PB时就需要考虑存储、计算速度了,即使是数据库集群MPP架构,也存在拓展性、热点问题
定义:超出传统数据库工具收集、存储、管理和分析能力的数据集
4V特征:规模巨大、生成处理速度快、数据类型多样、价值巨大但密度低
处理场景、数据类型
一文搞懂:离线数据、实时数据究竟该如何选择
什么是全量数据、增量数据?
离线(T + N)
跑全量数据:批处理(数据被收集在一起,形成一个完整的数据集,然后作为一个整体进行处理
架构:考虑冯诺依曼到哈佛架构:运算器为中心到存储为中心 -> 计算节点为中心,移动计算(比如多节点计算再merge)而不是移动数据【前提:数据够多 调度时间<<计算时间】
实时(秒级)
...
搜索引擎学习记录_2024
本文为学习笔记,基于王树森老师的书籍和视频、网上收集的资料做的整理
文档&书籍:【王树森】SearchEngine: 搜索引擎原理
视频地址:推荐系统 - YouTube
参考:wangshusen/RecommenderSystem、solidglue/Recommender_System、datawhalechina/fun-rec
博客:推荐 – chenpaopao、工业界真实的推荐系统-小红书
其实搜索和推荐比较相似,搜索多了个QP,比较大的一部分技术和指标比较相通,搜索比推荐另外搜索排序考虑的因素更多,如相关性、内容质量、时效性、个性化等,而推荐主要考虑个性化ctr
入门入门文档:wangshusen/SearchEngine: 搜索引擎原理
垂直搜索:文档结构化、意图明显
通用搜索:没有结构化,检索难度大、意图难判断
Base用户满意度
相关性:
定义:q 和 d 的关系
客观标准,不取决于用户u;语义上不是字面上;只需 d 命中 q 的一种主要意图
内容质量
TODO:打分模型
EAT:专业性、权威性 ...
FAST-LIO 复现学习记录
FAST-LIO 开源仓库:hku-mars/FAST_LIO
FAST-LIO 是港大MaRS实验室在2021年提出的一个紧耦合迭代扩展卡尔曼滤波高计算效率、高鲁棒性的雷达里程计,使用了紧密耦合的迭代扩展卡尔曼滤波器将 Li DAR 特征点与 IMU 数据融合,以便在发生退化的快速运动、嘈杂或混乱环境中实现稳健导航,解决了许多关键问题:
用于里程计优化的快速迭代卡尔曼滤波器
将IMU和Lidar特征点紧耦合在一起
使用反向传播考虑到了运动补偿
使用并行 KD 树搜索以减少计算
这里更多着眼于实现运行和观察算法效果,具体步骤参考了仓库Readme,内容如下。
环境要求Ubuntu >= 16.04
ROS >= Melodic、PCL >= 1.8、Eigen >= 3.3.4
livox_ros_driver 安装配置教程地址:github.com/Livox-SDK/livox_ros_driver/README
由于 FAST-LIO 必须首先支持 Livox 系列 ...
JSON可视化命令行小工具
Funny JSON Explorer(FJE),是一个JSON文件可视化的命令行界面小工具
运行:fje -f <json file> -s <style> -i <icon family>
源代码库链接:Xxxxic/Funny-JSON-Explorer
123456789101112{ oranges: { 'mandarin': { ├─ oranges clementine: null, │ └─ mandarin tangerine: 'cheap & juicy!' -=> │ ├─ clementine } │ └─ tangerine: cheap &am ...