① 如何用python分析网站日志
#coding:utf-8
#file: FileSplit.py
import os,os.path,time
def FileSplit(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
number = 100000 #每个小文件中保存100000条数据
dataLine = sFile.readline()
tempData = [] #缓存列表
fileNum = 1
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
for row in range(number):
tempData.append(dataLine) #将一行数据添加到列表中
dataLine = sFile.readline()
if not dataLine :
break
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + str(fileNum) + ".txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tempData) #将列表保存到文件中
tFile.close()
tempData = [] #清空缓存列表
print(tFilename + " 创建于: " + str(time.ctime()))
fileNum += 1 #文件编号
sFile.close()
if __name__ == "__main__" :
FileSplit("access.log","access")
#coding:utf-8
#file: Map.py
import os,os.path,re
def Map(sourceFile, targetFolder):
sFile = open(sourceFile, 'r')
dataLine = sFile.readline()
tempData = {} #缓存列表
if not os.path.isdir(targetFolder): #如果目标目录不存在，则创建
os.mkdir(targetFolder)
while dataLine: #有数据
p_re = re.compile(r'(GET|POST)\s(.*?)\sHTTP/1.[01]',re.IGNORECASE) #用正则表达式解析数据
match = p_re.findall(dataLine)
if match:
visitUrl = match[0][1]
if visitUrl in tempData:
tempData[visitUrl] += 1
else:
tempData[visitUrl] = 1
dataLine = sFile.readline() #读入下一行数据
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')
tFilename = os.path.join(targetFolder,os.path.split(sourceFile)[1] + "_map.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Map("access\\access.log1.txt","access")
Map("access\\access.log2.txt","access")
Map("access\\access.log3.txt","access")
#coding:utf-8
#file: Rece.py
import os,os.path,re
def Rece(sourceFolder, targetFile):
tempData = {} #缓存列表
p_re = re.compile(r'(.*?)(\d{1,}$)',re.IGNORECASE) #用正则表达式解析数据
for root,dirs,files in os.walk(sourceFolder):
for fil in files:
if fil.endswith('_map.txt'): #是rece文件
sFile = open(os.path.abspath(os.path.join(root,fil)), 'r')
dataLine = sFile.readline()
while dataLine: #有数据
subdata = p_re.findall(dataLine) #用空格分割数据
#print(subdata[0][0]," ",subdata[0][1])
if subdata[0][0] in tempData:
tempData[subdata[0][0]] += int(subdata[0][1])
else:
tempData[subdata[0][0]] = int(subdata[0][1])
dataLine = sFile.readline() #读入下一行数据
sFile.close()
tList = []
for key,value in sorted(tempData.items(),key = lambda k:k[1],reverse = True):
tList.append(key + " " + str(value) + '\n')
tFilename = os.path.join(sourceFolder,targetFile + "_rece.txt")
tFile = open(tFilename, 'a+') #创建小文件
tFile.writelines(tList) #将列表保存到文件中
tFile.close()
if __name__ == "__main__" :
Rece("access","access")
② 如何用python实现世纪佳缘的模拟登陆
1)打开【世纪佳缘】app，点击右上角的【...】。 2)点击【注销登录】，然后点击【退出】就可以啦。
③ 如何用python解析一个网页并提取其内容
用程序模拟访问网页获得网页内容的话就用urllib和urllib2来模拟请求
若是要截取网页中的部分内容，那就先获得全部html内容，然后直接用re根据html标签来匹配分段，然后获取
④ 如何用python爬取视频网站的数据
1.模拟客户端数据采集，分析http返回结果，清洗需要的数据，入库。
2.根据已有数据进行计算，实现增长率之类的数据计算。
3.实时性很难做，你当然可以不停的采数据回来，做个伪实时系统，但需要考虑这些网站是否做了客户端访问次数的限制，你需要考虑在采集器达到访问次数上限之前所采集的数据能否满足你的要求，否则就要被封IP了。
⑤ 如何用python解析网页并获得网页真实的源码
Python 2.7版本的话 代码如下：
#!/usr/bin/env python
# -*- coding:utf8 -*-
import urllib
import urllib2
import string
import re
addr1 = 某个网址的地址（string format）
response1 = urllib.urlopen(addr1)
text1 = response1.read()
response1.close()
text1就是网页的源代码，可以print出来看。UTF8的代码是为了确保能正确抓取中文。
⑥ 如何用Python做情感分析
可以使用snownlp包，也可以用nltk 和 scikit-learn 结合，或者自己写算法实现。
简单话就是情感词典的匹配，想提高效果的需要考虑特征之间的搭配，语法顺序等，可以查询搜索相关的入门例子和算法详细了解。
⑦ 如何用 Python 爬取社交网络
从数据库中拿出用户id列表，批量爬取一批用户id的微博数据，然后保存相应的内容到数据库中。可以动态爬取，每天开个定时启动任务，自动会爬取数据有无更新，有更新则更新数据库。
如需要爬取单个用户，注释掉那部分代码即可。
我没有用Scrapy框架，手写的，解析并不复杂，用的BS4，注意要手动登录，获取cookie。
微博反爬策略还是比较强的，用API的方式限制真的太多了，完全做不到想要什么就爬什么。
PC端的数据比较难分析，它把数据放到script标签块中，用浏览器去渲染出来的，直接抓是拿不到的，要分析script标签块。
最好爬的一种就是移动端网页，http://weibo.cn，数据格式简单，限制也少。
⑧ 如何用Python编网站
随着人工智能时代呼声渐起，Python凭借其入门简单、应用广泛的优势成为很多想要入行互联网行业的人们的首选编程语言。如果你想学一门语言，可以从语言的适用性、学习的难易程度、企业主的要求几个方面考虑。从这几个角度看，学习Python都没有什么可挑剔的。
如果你想要专业的学习Python开发，更多需要的是付出时间和精力，一般在2w左右，时间在4-6个月左右。可以根据自己的实际需求去实地看一下，先好好试听之后，再选择适合自己的。只要努力学到真东西，前途自然不会差。
⑨ 如何学习python用于做网站数据抓取以及大数据分析
数据抓取和数据分析是Python的应用领域，学习Python都可以做这些工作的，同时还可以从事人工智能、科学运算、游戏开发等领域。
学习Python可以自学也可以报名培训班学习，自学的话周期比较长，容易半途而废，报名培训班学习的话，学习周期一般在六个月之中，从入门到精通，更加贴合企业的需求，您可以根据自己的情况来决定。
同时在学习Python过程中需要自己付出努力和时间，没事干多敲敲代码、多练习、多交流。