0:介绍和课程地址

非常不自量力的开始学习机器学习了。

于是记个笔记,防止自己忘光。

课程是吴恩达老师2022年python版的:

01:监督学习和非监督学习

机器学习的两种形式

例如:

给定标记为垃圾邮件/非垃圾邮件的电子邮件,学习垃圾邮件过滤器———监督学习

给定一组新闻文章,将其分组——非监督学习

监督学习需要学习的数据集带有已知标签,而非监督学习则不需要。

02:线性回归模型和代价函数

线性回归模型是机器学习的一种简单模型,它以线性关系来拟合两个变量,例如房间大小和房价之间的关系。

回归模型得到的预测值y^=wx+b与真实值y之间的差表示了预测的准确程度,由此得到代价函数的概念。代价函数的公式为:

代价函数的最小值,就是模型y=wx+b拟合程度最好的地方。在本例中,代价函数J是关于w和b的函数。

如图所示,当J取最小值时,f的拟合程度最好。

03:梯度下降

概述

为了找到代价函数的最小值,可以使用梯度下降的办法。梯度下降在神经网络中的使用非常普遍。在上述案例中,梯度下降即是寻找代价函数J(w,b)的最小值的过程。

事实上,梯度下降是一种可以用来寻找任何函数最小值的算法,不只是线性回归函数。

进行梯度下降的基本思路是:从w和b的某个值开始,不断改变w和b的值,使代价函数J(w,b)减小,直到J稳定在或接近最小值。

实现梯度下降

梯度下降公式——以上述线性回归函数为例