PYTHON
【python案例】按序统计文本中单词出现的个数
加入一个文本中有数几段话，几千个英文单词，现在我们要来统计其中的因为跟单词出现的个数。 用python很容易实现。 第一步 打开文件，读取所有内容。 这里我们用 1 2 3 4 #打开文件 f = open(filename, ‘rb’) # 读取全部内容 s = […]
【python案例】批量修改目录内的图片尺寸
假如我们有个目录内的图片有几十张，想把这些图片放到iphone5中做桌面，但是原来的图片分辨率太大，现在需要将这些图片分辨率改成我们需要的尺寸。 这种方案主要有两步需要注意的。 第一步，查找文件。 查找目录内的文件，然后批量去修改尺寸。 这里我们提供了两种简单的方法去查找文件。 […]
【python案例】将生成的优惠券放入到redis中
我们已经将生成的优惠券放入到mysql中，我们这次要将优惠券放入到redis中。 逻辑都是一样的，主要是插入的代码不一样，python连接redis真是简单到爆。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 2 […]
【python案例】将生成的优惠券放入到mysql中
上一篇文章中，我们将生成的优惠券txt中，现在我们想保存到mysql中。 【python案例】批量生成可逆转的优惠券 以前我们写mysql直接用的是MySQLdb方法，这次我们来尝试用用orm方法。 这里我们选用了sqlalchemy，因为比较熟悉lavarel，sqlalche […]
【python案例】批量生成可逆转的优惠券
我们再做电商的时候，经常要生成优惠券这些的东西。 要简单点，随便随机一些不重复的字符串就可以了。 但是有时候我们需要根据单个产品来生产优惠券，又可以根据优惠券找出这个产品ID。 这就是我们所说的可逆转的解码和编码。 首先我们来看看代码。 1 2 3 4 5 6 7 8 9 10 […]
【python案例】运用PIL在图片加上数字水印的方法
很多时候我们需要在图像上面加上水印，在php上面写这个问题要花大段的代码，但是python只需要几行代码。 首先看看我们的原图。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 #!/usr/bin/python # -*- coding: u […]
【python案例】将mysql数据库内容分割为小CSV文件
上次写了将csv文件分割成小文件，但是csv中对源文件不好操作，所以我将源文件csv导入到mysql中，然后将mysql中的数据分割成小文件。 【python案例】将大CSV文件分割为小CSV文件 分割的处理逻辑是一样的，不一样的是循环读取出excel文件。 1 2 3 4 5 […]
【python案例】将大CSV文件分割为小CSV文件
我们上次写的爬虫生成csv有十多兆，大概有3万条数据，但是我只需要用100条数据，需要用三百次不重复。 在网上在了一些csv分割软件，都分割出来的有问题，详情里面如果有逗号，则会看成一个字段。 后面用php写，linux下还好，能够分割出来，windows下一直卡死，这里推荐一个 […]
清除scrapy爬虫满屏的打印信息的问题
Scrapy 提供了 log 功能。可以通过 scrapy.log 模块使用。 在运行scrapy crawl aimks时，屏幕上满屏的打印信息，实在是不好找错误信息。 我查了下scrapy的log服务，他默认开启的是debug模式。 log 服务必须通过显式调用 scrapy […]
scrapy在不同的Request之间传递数据的办法
有一次，我在采集淘宝数据的时候，发现我需要在列表页抓一些数据，也需要在详情页抓一些数据，有时候我也需要在详情的js代码源码中再抓取一些数据。 这就涉及到不同的request之间传递数据的方法了。 一个用户完整的信息要在多个Request中获取，需要在请求之间传递参数。 直到该用户 […]