添加根据链接采集全文

src/main/java/com/zhiwei/toutiao/parse/TouTiaoArticleParse.java

@@ -20,6 +20,7 @@ import java.util.HashMap;
 import java.util.List;
 import java.util.Map;
 
+import org.apache.commons.lang3.StringUtils;
 import org.apache.logging.log4j.LogManager;
 import org.apache.logging.log4j.Logger;
 
@@ -29,6 +30,7 @@ import com.zhiwei.crawler.core.HttpBoot;
 import com.zhiwei.crawler.core.RequestUtils;
 import com.zhiwei.crawler.proxy.ProxyHolder;
 import com.zhiwei.tools.timeparse.TimeParse;
+import com.zhiwei.tools.tools.ZhiWeiTools;
 import com.zhiwei.toutiao.bean.Signature;
 import com.zhiwei.toutiao.bean.TouTiaoArticle;
 import com.zhiwei.toutiao.util.Tools;
@@ -502,6 +504,30 @@ public class TouTiaoArticleParse {
 
 		return map;
 	}
+	
+	/**
+	 * 根据链接获取全文
+	 * @param url
+	 * @param proxy
+	 * @return
+	 */
+	public static String getContent(String url,Proxy proxy) {
+		String htmlBody = downloadHtml(url, proxy, null);
+		if(!StringUtils.isBlank(htmlBody)) {
+			if(htmlBody.contains("content:")) {
+				String content = htmlBody.split(" content: '")[1].split("',")[0];
+				return ZhiWeiTools.delHTMLTag(content);
+			}
+		}
+		return null;
+	}
+	
+	
+	
+	
+	
+	
+	
 
 	
 	private static String downloadHtml(String url, Proxy proxy, Map<String,String> headMap) {