k-means 算法基础原理 本文注重对 k-means 算法的实现作出分析，基础原理不作赘述。 k-means 算法的特点1. k-means 算法的基本概念： k 代表分为几个簇 means 表示寻求新质心点的时候采用求均值的方法 2. k-means 算法的特点： k-means 算法与 knn 算法类似，都是需要“聚类” k-means 算法是无监督学习算法的一种 k-means 算法的实现步骤： 随机选取 K 个对象，并以它们为质心； 计算数据集样本点到质心的距离； 根据样本点距离质心的距离将其分簇（类），距离哪个近，划分到哪个簇（类）； 以簇内所有样本点的均值重新计算质心，，然后重复第二步，直到划分的簇（类）不在变化后停止。 k-means 算法代码实现模块的导入与 K 均值聚类算法类的定义123456789101112131415161718192021222324252627282930313233343536373839404142434445464748import random import numpy as np from matplotlib i ...

KNN 算法基本原理kNN 算法的核心思想是用距离最近的 k 个样本数据的分类来代表目标数据的分类。 用俗话来说就是 “近朱者赤，近墨者黑”，采用距离最近的 k 个样本中占比最高的类别来代表测试数据的类别。 注意 KNN 算法仍然是有监督学习算法的一种 KNN 算法的特点 优点： 监督学习：可以看到，kNN 算法首先需要一个训练样本集，这个集合中含有分类信息，因此它属于监督学习。 通过计算距离来衡量样本之间相似度，算法简单，易于理解和实现。 对异常值不敏感 缺点： 需要设定 k 值，结果会受到 k 值的影响，不同的 k 值，最后得到的分类结果不尽相同。k 一般不超过 20。 计算量大，需要计算样本集中每个样本的距离，才能得到 k 个最近的数据样本。 训练样本集不平衡导致结果不准确问题。当样本集中主要是某个分类，该分类数量太大，导致近邻的 k 个样本总是该类，而不接近目标分类。 KNN 算法的流程 一般情况下，kNN 有如下流程： 收集数据：确定训练样本集合测试数据； 计算测试数据和训练样本集中每个样本数据的距离； 常用的距离计算公式： 欧式距离计算公式：d(x, ...

决策树算法基础原理分析信息的不纯度(决定决策树分支的指标) 不纯度是在决策树中衡量特征分裂优异性的最主要的指标，用于衡量样本在根据某一特征的分类标准分裂后，样本是否被正确分类的准确程度。 主要有 3 种计算方式，分别对应了 3 类决策树： 决策树类别 不纯度计算方式 ID3 信息增益（Information Gain） C4.5 信息增益率（Information Gain Ratio） CART 基尼系数（Gini index） 信息熵的计算信息熵的计算公式为： $ H(D)=-\displaystyle\sum_{i=1}^n p_i log_2 p_i $ 其中$ n $为样本D的类别数，$ p_i $为该样本所占样本总数的比例 信息增益的计算信息增益的计算公式：$ g(D,A)=H(D)-H(D|A) $ 其中，$ H(D|A) $代表在以$ A $为标准分类后的所有样本的信息熵之和 信息增益率信息增益率的计算公式： $$ IGR=\frac{g(D,A)}{H(A)} $$ 其中 $ H(A) $代表 $ A $ 基尼系数基尼 ...

前言：本文旨在对如何使用 numpy 实现逻辑回归拟合的过程做具体分析，有关逻辑回归原理部分不做过多论述。 数据集准备准备用于二分类的数据集,可直接复制到对应的 txt 文件-0.017612 14.053064 0 -1.395634 4.662541 1 -0.752157 6.538620 0 -1.322371 7.152853 0 0.423363 11.054677 0 0.406704 7.067335 1 0.667394 12.741452 0 -2.460150 6.866805 1 0.569411 9.548755 0 -0.026632 10.427743 0 0.850433 6.920334 1 1.347183 13.175500 0 1.1 ...

利用 Numpy 实现简单的机器学习算法 线性回归（Linear Regression） 可能是最流行的机器学习算法。线性回归就是要找一条直线，并且让这条直线尽可能地拟合散点图中的数据点。 前言 线性回归作为高中数学统计题比较重要的内容，先对其原理与推导过程不做详细讨论，重点通过代码来运用 python 模块实现线性回归算法。 线性回归算法的简单介绍线性模型：给定由 d 个属性描述的示例，线性模型试图学得一个通过属性的线性组合来进行预测的函数。 线性回归试图学得一个线性模型以尽可能准确的预测实值输出标记，公式： $ f(x) = w^Tx+b $$ f(x_i) = wx_i + b $，使得 $ f(x_i) ≈ y_i $ 实现线性回归算法的目标与方法我们的任务就是求出 w 和 b，可用均方误差最小化的方法，基于均方误差最小化来进行模型求解的方法称为最小二乘法，在线性回归中，最小二乘法就是试图找到一条直线，使得所有样本数据点到达直线的欧氏距离最小。总距离是所有数据点的垂直距离的平方和。其思想是通过最小化这个平方误差或距离来拟合模型。 代码具体实现过程定义线性回归函数 np. ...

为 hexo 博客添加自定义域名 域名注册方面不做赘述，下面详细讲述利用 cloudflare 中 DNS 解析域名至 hexo 博客站的过程 cloudflare 中域名的解析 注册 cloudflare 账号(过程比较简单就不放图了，推荐使用 gmail 或者 outlook 邮箱) cloudflare 中添加站点 注意此处添加的站点为你所购买的域名 添加站点 注意你需要在域名管理网站中设置好对应的 nameserver, 每个人分配的服务器都不一样，记得到注册域名的网站修改为对应的 nameserver！！！ 填写 DNS 解析域名的地址 将域名添加到 github 中 进入到 github 项目中的 settings 中的 pages 中 此时项目 main 分支里会出现 CNAME 文件，内容为你的域名(如 xxx.com) 最后在本地的博客文件夹中hexo/source文件夹下新建 CNAME 文件，内容也为你所拥有的域名、 最后输入域名博客站就可以正常访问啦！