首页
技术小册
AIGC
面试刷题
技术文章
MAGENTO
云计算
视频课程
源码下载
PDF书籍
「涨薪秘籍」
登录
注册
01 | 二进制:不了解计算机的源头,你学什么编程
02 | 余数:原来取余操作本身就是个哈希函数
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
04 | 数学归纳法:如何用数学归纳提升代码的运行效率?
05 | 递归(上):泛化数学归纳,如何将复杂问题简单化?
06 | 递归(下):分而治之,从归并排序到MapReduce
07 | 排列:如何让计算机学会“田忌赛马”?
08 | 组合:如何让计算机安排世界杯的赛程?
09 | 动态规划(上):如何实现基于编辑距离的查询推荐?
10 | 动态规划(下):如何求得状态转移方程并进行编程实现?
11 | 树的深度优先搜索(上):如何才能高效率地查字典?
12 | 树的深度优先搜索(下):如何才能高效率地查字典?
13 | 树的广度优先搜索(上):人际关系的六度理论是真的吗?
14 | 树的广度优先搜索(下):为什么双向广度优先搜索的效率更高?
15 | 从树到图:如何让计算机学会看地图?
16 | 时间和空间复杂度(上):优化性能是否只是“纸上谈兵”?
17 | 时间和空间复杂度(下):如何使用六个法则进行复杂度分析?
18 | 总结课:数据结构、编程语句和基础算法体现了哪些数学思想?
19 | 概率和统计:编程为什么需要概率和统计?
20 | 概率基础(上):一篇文章帮你理解随机变量、概率分布和期望值
21 | 概率基础(下):联合概率、条件概率和贝叶斯法则,这些概率公式究竟能做什么?
22 | 朴素贝叶斯:如何让计算机学会自动分类?
23 | 文本分类:如何区分特定类型的新闻?
24 | 语言模型:如何使用链式法则和马尔科夫假设简化概率模型?
25 | 马尔科夫模型:从PageRank到语音识别,背后是什么模型在支撑?
26 | 信息熵:如何通过几个问题,测出你对应的武侠人物?
27 | 决策树:信息增益、增益比率和基尼指数的运用
28 | 熵、信息增益和卡方:如何寻找关键特征?
29 | 归一化和标准化:各种特征如何综合才是最合理的?
30 | 统计意义(上):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
31 | 统计意义(下):如何通过显著性检验,判断你的A/B测试结果是不是巧合?
32 | 概率统计篇答疑和总结:为什么会有欠拟合和过拟合?
33 | 线性代数:线性代数到底都讲了些什么?
34 | 向量空间模型:如何让计算机理解现实事物之间的关系?
35 | 文本检索:如何让计算机处理自然语言?
36 | 文本聚类:如何过滤冗余的新闻?
37 | 矩阵(上):如何使用矩阵操作进行PageRank计算?
38 | 矩阵(下):如何使用矩阵操作进行协同过滤推荐?
39 | 线性回归(上):如何使用高斯消元求解线性方程组?
40 | 线性回归(中):如何使用最小二乘法进行直线拟合?
41 | 线性回归(下):如何使用最小二乘法进行效果验证?
42 | PCA主成分分析(上):如何利用协方差矩阵来降维?
43 | PCA主成分分析(下):为什么要计算协方差矩阵的特征值和特征向量?
44 | 奇异值分解:如何挖掘潜在的语义关系?
45 | 线性代数篇答疑和总结:矩阵乘法的几何意义是什么?
46 | 缓存系统:如何通过哈希表和队列实现高效访问?
47 | 搜索引擎(上):如何通过倒排索引和向量空间模型,打造一个简单的搜索引擎?
48 | 搜索引擎(下):如何通过查询的分类,让电商平台的搜索结果更相关?
49 | 推荐系统(上):如何实现基于相似度的协同过滤?
50 | 推荐系统(下):如何通过SVD分析用户和物品的矩阵?
51 | 综合应用篇答疑和总结:如何进行个性化用户画像的设计?
当前位置:
首页>>
技术小册>>
程序员必学数学基础课
小册名称:程序员必学数学基础课
### 02 | 余数:原来取余操作本身就是个哈希函数 在编程与算法的世界中,数学不仅是理论的基础,更是解决实际问题的利器。本章“余数:原来取余操作本身就是个哈希函数”将深入探讨余数(取余操作)这一看似简单的数学概念,揭示其在计算机科学中的深刻应用,特别是作为哈希函数(Hash Function)的基础。哈希函数,作为数据处理、快速检索及信息安全的基石,其性能直接影响到系统的效率和安全性。而取余操作,以其简洁性和高效性,成为了实现哈希函数的一种基本且强大的工具。 #### 一、余数的基本概念 在数学中,余数(或称为模数)是整数除法运算后的剩余部分。对于任意两个整数a和b(b不为0),存在唯一的整数q和r,使得a = bq + r,其中0 ≤ r < |b|。这里的r即为a除以b的余数,而q为商。这一性质,即整数除法的带余除法定理,是余数概念的核心。 在计算机科学中,取余操作(通常表示为`%`或`mod`)是实现余数计算的主要方式。它广泛应用于数组索引、循环控制、错误检测与纠正等多个领域。 #### 二、哈希函数概述 哈希函数是一种将任意长度的输入(如字符串、文件等)通过某种算法映射为固定长度输出(即哈希值)的函数。理想的哈希函数应具有以下特性: 1. **确定性**:相同的输入必然产生相同的输出。 2. **高效性**:计算哈希值的过程应尽可能快速。 3. **均匀分布性**:哈希值应尽可能均匀地分布在输出空间中,以减少哈希冲突。 4. **单向性**(虽非所有哈希函数都必须具备):理想的哈希函数难以从哈希值逆向推导出原始输入。 哈希函数在数据库索引、缓存机制、数据去重、密码存储(通过哈希加盐技术)等方面发挥着至关重要的作用。 #### 三、取余操作与哈希函数的联系 取余操作之所以能成为哈希函数的一种实现方式,主要基于其能够将任意大小的整数映射到有限范围内的特性。这种映射机制与哈希函数的核心需求——将任意长度的输入转换为固定长度的输出——不谋而合。 **示例:简单的哈希表实现** 设想一个简单的哈希表,用于存储键值对,其中键为整数。为了快速定位每个键值对的位置,我们可以使用取余操作来计算键的哈希值,并以此作为数组索引。例如,设哈希表大小为N,对于任意键k,其哈希值(即数组索引)可以通过`h(k) = k % N`计算得出。这种方法简单高效,且能在一定程度上减少哈希冲突(尽管当N的因子过多时,特定类型的键可能会频繁产生相同的哈希值)。 #### 四、取余哈希函数的优化与挑战 虽然取余操作作为哈希函数的基础思想简单且高效,但在实际应用中仍面临诸多挑战。为解决或缓解这些问题,人们提出了多种优化策略: 1. **选择合适的模数**:模数N的选择直接影响哈希函数的性能。理想情况下,N应为质数,以减少因键的某些特性(如周期性)导致的哈希冲突。 2. **哈希冲突解决**:当多个键映射到同一哈希值时,需采用一定的策略解决冲突,如开放寻址法、链地址法等。 3. **动态调整表大小**:随着数据的增加,哈希表的负载因子(已填充槽数与总槽数之比)会逐渐上升,导致哈希冲突增多,性能下降。通过动态调整哈希表的大小(如扩容或缩容),可以有效控制负载因子,保持哈希表的性能。 4. **结合其他哈希函数**:在复杂的应用场景中,单一的取余操作可能无法满足需求。此时,可以将取余操作与其他哈希函数(如位运算、多项式哈希等)结合使用,以构建更加高效、安全的哈希机制。 #### 五、取余哈希函数的应用实例 - **URL短服务**:通过取余操作结合其他哈希策略,将长URL映射为简短的哈希码,实现URL的缩短。 - **缓存系统**:在缓存系统中,利用取余操作作为哈希函数,将缓存对象映射到固定大小的缓存槽中,以提高访问速度。 - **分布式系统**:在分布式系统中,取余操作常用于数据分片,通过将数据的某个属性(如ID)对分片数取余,将数据均匀分配到各个节点上。 - **密码存储**:虽然直接用于密码存储的哈希函数通常更为复杂(如SHA-256),但取余操作的思想(即将任意长度的输入转换为固定长度的输出)在密码学哈希函数的设计中仍有所体现。 #### 六、总结 取余操作,这一看似简单的数学概念,在计算机科学中却扮演着举足轻重的角色。作为哈希函数的一种基本实现方式,它不仅为数据的高效检索、快速存取提供了可能,还深刻影响着现代计算机系统的架构与设计。通过深入理解取余操作的原理及其在哈希函数中的应用,我们可以更好地把握计算机科学的精髓,为解决实际问题提供更加高效、安全的方案。未来,随着计算机技术的不断发展,取余操作及其衍生出的哈希技术将继续在各个领域发挥重要作用,推动科技进步与社会发展。
上一篇:
01 | 二进制:不了解计算机的源头,你学什么编程
下一篇:
03 | 迭代法:不用编程语言的自带函数,你会如何计算平方根?
该分类下的相关小册推荐:
ChatGPT原理与实战:大型语言模型(中)
文心一言:你的百倍增效工作神器
人人都能学AI,66个提问指令,14个AI工具
ChatGPT 从 0 到 1
AI时代项目经理:ChatGPT与项目经理(上)
深度强化学习--算法原理与金融实践(四)
ChatGPT中文教程
人工智能超入门丛书--知识工程
AI时代项目经理:ChatGPT与项目经理(中)
AI时代程序员:ChatGPT与程序员(下)
与AI对话:ChatGPT提示工程揭秘
快速部署大模型:LLM策略与实践(上)