您的位置:首页 > 运维架构 > Shell

shell中txt转EXCEL

2016-01-17 10:43 543 查看
工作中,常常需要将HIVE数据库或者HDFS中文件通过EXCEL格式,通过邮箱发给业务人员。但是,SHELL又不能直接将txt文件转换为EXCEL可读的格式,因此编写了以下两类python脚本:

一,将txt文档转换为xls格式(EXCEL2010提示:兼容模式):

注意,该代码需要下载xlwt包。(由于写的时间太长了,大家就自行下载安装包吧)

import sys

import os.path

import os

import xlwt

print “txt2xls.py test.txt test.xls”

inputpath =str(sys.argv[1])
outputpath=str(sys.argv[2])

f=open(inputpath)
wb=xlwt.Workbook()
ws1 = wb.add_sheet("Sheet1")
i=0
for line in f.readlines():
j=0
for item in line.split('\t'):
try:
item=item.strip().decode('utf-8')
except UnicodeDecodeError:
print i,j,item
ws1.write(i,j,"NULL")
else:
ws1.write(i,j,item)
j=j+1
i=i+1

f.close()
wb.save(outputpath)


二, 在一些场景中,必须保存为xlsx格式,即EXCEL2007以上的格式,

注意:该码依赖openpyxl模块

* 相关网站:http://openpyxl.readthedocs.org/en/latest/index.html

* openpyxl 地址:https://bitbucket.org/openpyxl/openpyxl/get/2.2.1.tar.bz2

* jdcal 下载地址: https://pypi.python.org/pypi/jdcal/

其中,openpyxl 依赖于jdcal ,故在安装过程中应优先安装jdcal--解压缩到某目录,
cd到该目录,运行"python setup.py install"。 然后安装openpyxl,方法相同。

另外,Python的标准库中,文件对象提供了三个“读”方法: read()、.readline()
和.readlines()。每种方法可以接受一个变量以限制每次读取的数据量,但它们通常不
使用变量。 .read() 每次读取整个文件,它通常用于将文件内容放到一个字符串变量
却是不必要的,并且如果文件大于可用内存,则不可能实现这种处理。

readline() 和 readlines()之间的差异是后者一次读取整个文件,像 .read()一样。
.readlines()自动将文件内容分析成一个行的列表,该列表可以由 Python 的 for... in ...
结构进行处理。另一方面,readline()每次只读取一行,通常比 .readlines()慢得多。
仅当没有足够内存可以一次读取整个文件时,才应该使用.readline()。


代码如下:

from openpyxl.workbook import Workbook

from openpyxl.reader.excel import load_workbook

from openpyxl.styles import PatternFill, Border, Side, Alignment, Protection, Font

import re

from openpyxl.writer.excel import ExcelWriter

import xlrd

import sys

import os

print “python txt2xlsx.py test.txt test.xlsx”

#根据输入移除已经存在的目标文件
patch_file_name = sys.argv[1]
patch_goal_name=sys.argv[2]
print patch_file_name
print patch_goal_name
os.remove(patch_goal_name)

#创建目标文件,在再目标文件中创建sheet,名字为goal
wb = Workbook()
ws = wb.active
ws.title="goal"
wb.save(patch_goal_name)

#打开文件
patch_file=open(patch_file_name)        #get data patch text
wb=load_workbook(patch_goal_name)          #open excel to write
sheetnames = wb.get_sheet_names()
ws = wb.get_sheet_by_name("goal")                    #get sheet

#根据打开文件逐行扫描写入
i=1
for line in patch_file.readlines():
j=1
for item in line.split('\t'):
try:
item=item.strip().decode('utf-8')
except UnicodeDecodeError:
print i,j,item
ws.cell(row=i,column=j).value = "NULL"
#ws1.write(i,j,"NULL")
else:
ws.cell(row=i,column=j).value = item
#ws1.write(i,j,item)
j=j+1
i=i+1

#关闭输入数据流,并保存写入文件
patch_file.close()
wb.save(patch_goal_name)
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  python 数据库 shell