blog | 逍遥郡

Time 2021-06-16 20:44:22

Web Name: blog | 逍遥郡

WebSite: http://blog.jqian.net

ID:183595

Keywords:

逍遥,blog,编程,Hack,NLP,机器学习,计算广告

Description:

QR主要考虑query和bidword的文本相关性，目标并非优化RPM/CTR。 索引依赖bidword。但受限于市场信息的缺失和投放管理的成本，广告主有时并不能及时准确地为自己的广告选择出最合适的bidword。 检索出于性能考虑，使用简单规则而不会用复杂的模型。比如BS。传统搜索广告召回仅由query触发，并未考虑用户画像，长期、实时点击偏好等信息。这些个性化signal其实也有助于更好的理解user intention。 解决query过短问题：伪反馈，外部资源，landing page 利用session数据，利用点击二部图(simrank++) MT、SMT、NMT 前一台攒的ITX主机还是六年前配的H67平台i3-2100T，本来是打算做nas的，但后来选择群晖解决方案后，这台主机也基本废置了，只能偶尔办公或下载使用。最近突然迫切想搞台性能稍微高点的电脑，能运行macOS，能利用GPU跑跑程序，所以打算攒台新机器。除此之外偏好小巧点的机身，放在桌上或者脚底也不碍事。因为想攒台小钢炮，所以需要先确定机箱。整个攒机基本花了大半时间在挑选机箱，主要关注MATX和ITX机箱，期望容量别超过20L；一定要窄点，宽度别超过200mm；能插长显卡；风道合理，散热良好。前后选择的机箱有记录的如下：独立变量和不相关变量：协方差为0，表示两变量不相关（没有线性关系）；但不一定互相独立（可能存在非线性关系）。5.2 容量、拟合、过拟合没有免费的午餐定理（no free lunch） 没有普遍优越的机器学习算法。一个看似优越的算法都是在我们根据观察到的数据所给出相应假设的基础上。6.4 结构设计通用近似定理（universal approximation theorem） 前馈神经网络可以任意精度来近似任何一个有限维空间到另一个有限维空间的Borel可测函数。这是使用神经网络表达非线性函数的理论基础。当然这只是理论，实际上最坏的情况下，可能需要指数数量的隐含单元。深层模型比浅层模型的优势：大幅减少隐含单元的数量，提升模型的泛化能力（图6.6）。 阅读GBDT论文，需要理解pesudo-response 阅读LambdaMART论文，从RankNet到LambdaRak，需要理解lambda梯度 阅读Li Hang书LTR for IR NLP，开阔思路 lambda梯度概念 pairwise如何体现 LambdaMART与其它L2R、其它分类模型比较 分类/回归/rank等不同问题、应用现状等 LambdaMART简单代码实现、工具使用 理论的介绍(用例子讲明白，而不是公式一摆完事) 实现代码的走读(可以是开源，也可以是自己的简单实现版本) 应用(找些数据来跑一下，再讲讲实际的应用) 参考文献但是，不同于一次项参数，FM没有直接去估计交互项的参数。因为对观察样本中未出现过的交互特征分量（稀疏数据中很常见），是没法直接去估计相应的参数的。FM的做法是引入辅助向量来表达交互项的参数：\[\v_i= (v_{i1}, v_{i2}, \cdots, v_{ik})^\T \in \R^k, \如果是变长Value，需要设置val_size，指定每组value的长度，length(val_size) == length(key)。struct KVPair { // [key_0, ..., key_n] SArray K key; // constant value size: // [val_00, ..., val_0k, ..., val_n0, ..., val_nk] // dynamic value size: // [val_00, ...val_0,val_size[0], ..., val_n0, ..., val_n,val_size[n] V* val = NULL ; size_t len_val = 0; // length of val std::vector V * val_vec = NULL; // allocator fo vMinibatchScheduler : IterScheduler : DataParScheduler : ps::AppMinibatchServer = IterServer : ps::AppMinibatchWorker : IterWorker : DataParWorker : ps::Appwormhole整个train或test均由H驱动，所有任务由WorkloadPool维护，MinibatchScheduler::Run() 是一个runloop，不断把Workload分配给各个空闲的W计算；W从S拉取需要的模型参数，并计算梯度，再去更新S的模型。MinibatchSche size_t size; // 样本数量 /*! \brief array[size+1], row pointer to beginning of each rows */ const size_t *offset; // 每个样本的偏移位置，搭配index和label使用 /*! \brief array[size] label of each instance */ const real_t *label; // 样本label /*! \brief With weight: array[size] label of each instance, otherwise nullp实现了MPI的主要功能：Allreduce和Broadcast，此外还提供了：容错性（Fault Tolerance）和可恢复性（Recovery）。Allreducehttp://mpitutorial.com/tutorials/mpi-reduce-and-allreduce/Allreduce类似reduce，区别是不指定主线程，而是把reduce结果返回给所有线程。Allreduce相较于mapreduce，通过允许程序员轻松的将模型（这些模型将被复制于每个节点）维护于内存中，使它避免了不必要的map过程、重新分配内存步骤以及迭代器之间的硬盘读写过程。Broadcast比循环Send/Recv数据效率更高，等价于在主线程里Send数据，然后在其他线程里Recv数据。每个节点向上传递自己的值，每个节点执行一次求和操作，直到根节点，这就是Allreduce过程 难以挑选合适的学习率 $\eta$，太小收敛慢，太大容易振荡，甚至不收敛 期望学习率可以随着迭代次数变化 学习率对所有对参数是固定的，如果数据稀疏或特征具备不同的频率，会不合理 对非凸的损失函数（如NN），GD可

TAGS:逍遥 blog 编程 Hack NLP 机器学习 计算广告

<<< Thank you for your visit >>>

记录编程、Hack和自娱自乐的一些玩意。

Hot Websites