3月30日快手广告算法面试题8道

　　1、均方误差作为损失函数，这时所构造出来的损失函数是非凸的，不容易求解，容易得到其局部最优解；而交叉熵的损失函数是凸函数；

　　2、均方误差作为损失函数，求导后，梯度与sigmoid的导数有关，会导致训练慢；而交叉熵的损失函数求导后，梯度就是一个差值，误差大的话更新的就快，误差小的线、说一下Adam优化的优化方式

　　Adam算法即自适应时刻估计方法（Adaptive Moment Estimation），能计算每个参数的自适应学习率。这个方法不仅存储了AdaDelta先前平方梯度的指数衰减平均值，而且保持了先前梯度M(t)的指数衰减平均值，这一点与动量类似。

　　off-policy的方法将收集数据作为RL算法中单独的一个任务，它准备两个策略：行为策略(behavior policy)与目标策略(target policy)。行为策略是专门负责学习数据的获取，具有一定的随机性，总是有一定的概率选出潜在的最优动作。而目标策略借助行为策略收集到的样本以及策略提升方法提升自身性能，并最终成为最优策略。Off-policy是一种灵活的方式，如果能找到一个“聪明的”行为策略，总是能为算法提供最合适的样本，那么算法的效率将会得到提升。on-policy 里面只有一种策略，它既为目标策略又为行为策略。

　　一般会归一化到[-1,1]，因为大部分网络是偏好零对称输入的，神经网路中使用激活函数一般都是ReLU，如果ReLU的输入都是正数，那么它其实就是一个恒等函数，有没有它都一个样，ReLU就失去了意义。如果ReLU的输入都是负数的话，会出现“死区”，即神经元输出都是0，为了避免这个问题，需要令ReLU的输入尽量正负平衡，比如在ReLU前加一个BN。

作者：admin

抖音快手 站点 QQ交谈