首页 / SEO book / 内容与站内优化 / TF-IDF 词频与逆文档频率

什么是 TF-IDF

TF-IDF 词频与逆文档频率内容与站内优化

TF-IDF 是一种统计度量方法,用于评估某个词在文档中的相对重要性。

什么是 TF-IDF?

TF-IDF(term frequency-inverse document frequency,即词频-逆文档频率)是自然语言处理与信息检索中的一种技术,通过衡量文档中每个词或术语的重要性,评估文档与某个搜索查询的相关程度。

TF-IDF 的概念最早由剑桥大学研究者 Karen Spärck Jones 和 Stephen Robertson 于 20 世纪 70 年代提出。他们提出用词频与逆文档频率判断文档中各个词的相关性,此后该方法成为信息检索与自然语言处理领域的一项基础技术。

其基本思路是:依据某个术语在文档中出现的频繁程度(词频)及其在语料库所有文档中的稀有程度(逆文档频率),为该术语赋予权重。

TF-IDF 的简化公式为:

TF-IDF(term, document) = TF(term, document) x IDF(term)

其中 TF(term, document) 为该术语在文档中的出现频率,IDF(term) 为该术语的逆文档频率,计算方式如下:

IDF(term) = log(N / DF(term))

其中 N 为语料库中文档总数,DF(term) 为包含该术语的文档数量。

换言之,若某个术语在一篇文档中频繁出现,而在语料库其他文档中都很罕见,则该术语在这篇文档中的 TF-IDF 得分就很高。

TF-IDF 为什么重要?

TF-IDF 的重要性在于,它是信息检索中最早使用的技术之一,为更先进的现代处理方法奠定了基础。

如今,TF-IDF 在许多数字图书馆、数据库和档案系统中仍被广泛用于检索相关文档。

常见问题

TF-IDF 是 Google 的排名因素吗?

不是。TF-IDF 并非 Google 的直接排名因素。

它过去是一种有用的指标,但如今搜索引擎采用了许多更先进的信息检索技术。仅靠 TF-IDF 过于简单,也容易被操纵。

你能针对 TF-IDF 优化网页吗?

不能。无法针对 TF-IDF 优化页面,那样做意味着在整篇文档中反复重复同一关键词,也就是关键词堆砌。

相反,应专注于创作高质量、有信息量的内容,自然且结合语境地使用相关关键词。