关于python编写提取网址制定内容的算法

发布网友发布时间：2022-04-18 08:43

共2个回答

懂视网时间：2022-04-18 13:05

抓取单个网站网页内容时通常采用正则匹配的方式，但不同网站之间结构千奇百怪，很难用统一的正则表达式进行匹配。《基于行块分布函数的通用网页正文抽取算法》的作者总结了一般从网页中提取文章正文的方法，提出基于行块分布的正文抽取算法，并给出了 PHP 、Java 等实现。这一算法的主要原理基于两点：1、正文区密度：在去除HTML中所有tag之后，正文区字符密度更高，较少出现多行空白；2、行块长度：非正文区域的内容一般单独标签（行块）中较短。算法步骤如下：

1、去除所有tag，包括样式、Js脚本内容等，但保留原有的换行符

2、将网页内容按行分割，定义行块 $block_i$ 为第 $[i, i + blockSize]$ 行文本之和并给出行块长度基于行号的分布函数：

3、正文出现在最长的行块，截取两边至行块长度为 0 的范围：

4、如果需要提取正文区域出现的图片，只需要在第一步去除tag时保留<img>标签的内容：

热心网友时间：2022-04-18 10:13

- 在linux下编程实现了局部敏感哈希算法
[LSH.zip] - 利用LSH算法在图片数据库中搜索与目标图片最相似的图片.hash思想在图像检索种的应用。追问额，大神我不太懂，我主要是想提取贴吧的主贴内容和回复以及日期，不涉及到图片的提取能不能详细讲解下，谢谢