博文

目前显示的是 五月, 2015的博文

Logistic Regression笔记

图片
Logistic functionLogistic function是指满足这样的函数关系的一条曲线$$ y = \frac{1}{1+e^{-x}} , x \in R $$ 它又常被称为S型曲线。它有一个很好的特性是: \( y' = y(1-y) , max(y)=1 \)因为y的最大值是1,所以我们可以把1-y称作y的不饱和度。所以,y的增长速度和y成正比,和y的不饱和度成反比。举个例子,社会学上经常用Logistic function来估算人口增长。假设y是当前人口基数/环境所能容纳的上限。环境所能容纳的人数上限是固定值。显然人口基数越大,出生的孩子也就越多,人口增长也就越快。但是另一方面,人口越接近饱和,增长速度也就越慢。Logistic RegressionLogistic Regression本质上来讲就是利用极大似然法进行参数估计。Logistic Regression是假设某件事情发生的概率满足Logistic function的形式:$$ P(x) = \frac{1}{1+e^{-w \cdot x}} \quad w,x \in R^n $$其中x是特征向量(比如性别、年龄),在回归分析中被称为自变量。w是这些特征所对应的权重,是待估计参数。Logistic Regression的核心是给出Loss函数以及Loss函数的一阶导数的计算方式。即:对每一行训练数据x,都能计算出一个L(x)和L'(x)。前者是一个标量(实数),后者是一个向量。然后把这两个东西交给SGD、BFGS或CG等最优化方向去求解。LR模型本身是极为简单的,难点在后面如何求最优化的部分。Loss函数及其导数的推导过程如果我们引入随机变量y。用y=1代表该事件发生,y=0代表该事件不发生,那么$$ P(Y=y|x) = P(x)^y(1-P(x))^{1-y} = (\frac{1}{1+e^{-w \cdot x}})^y (1-\frac{1}{1+e^{-w \cdot x}})^{1-y} $$如果用\(x_i,y_i\)代表训练集中的第i行数据,把那么这些样本的联合分布概率为$$ \prod_{i=1}^{n}{P(Y=y_i|x_i)} = \prod_{i=1}{P_i^{y_i}(1-P_i)^{1-y_i}} $$\(P_i\)是\(P(Y…

Android M

图片
刚刚把我的9儿子升级到了Android M