icem中的skew要大于多少比较好

在icem(即item cold-start embedding model)中的skew指的是用户和物品的交互矩阵中的nonzero元素分布的倾斜程度。

一个较大的skew意味着用户和物品的交互是“长尾”分布,即大多数用户和物品只有很少的交互,而少数用户和物品拥有绝大多数的交互。这种情况下,icem模型学习到的嵌入向量更有可能表达出这些“重要”的用户和物品,而忽略那些交互很少的用户和物品。

所以,对icem模型来说,skew比较大通常是有利的,理由如下:

1. 可以更好地学习到那些真正影响用户体验的“重要”用户和物品,产生更准确的推荐。

2. 可以更好地利用稀疏的训练集, concentrated 的交互可以提供更强的监督信号。

3. 通常更符合真实场景下的长尾分布,可以学到更实用的嵌入。

总的来说,skew大于2-3是一个比较好的范围。当skew大于5-10时,模型的效果可能更好,但也面临过拟合的风险,需要适当正则化。skew过小,如接近1,则交互矩阵太均匀,难以学习到有意义的嵌入,模型效果可能较差。

所以,简单来说,为icem选择数据集时,skew在2-10之间,越大越好,是比较理想的情况。但skew太大也需要注意过拟合问题,采取正则化手段。skew太小时,模型效果可能较差,Dataset 的选择也需要考虑。

总之,icem模型在较大的skew下表现更佳,但skew过大或过小都需要适当考虑和处理。选择一个skew在2-10之间的训练集,可以让icem达到比较好的效果。