选择一个文件夹下所有txt文件的几列数据
2017-03-28 13:56
316 查看
有时我们会遇到这样的业务需求,比如我们有很多数据文件,里面有很多数据项,一列表示一个数据项,并且不同文件数据项的排列顺序也是随机的。但是我们只需用到其中的几列数据,并且我们需要我们用到的几列数据按照既定的顺序排列,如下图:
这是一个txt文件,里面有9列,但是我只需要其中的DEPTH,AZIM,DEV三列,对于这样的需求,如果有几百个这样的文件,就必须编程来实现了,下面是源代码:
import os
import pandas as pd
import numpy as np
def sortList():
#需要提取的几列数据的索引值
states = ['DEPTH', 'AZIM', 'DEV']
#输入文件夹,也就是需要处理文件所在文件夹
path = u"E:\input"
#输出文件夹
output = "E:\output"
#获得文件夹的路径,文件夹中的文件夹名,文件夹中的文件名
for (dirpath, dirname, filenames) in os.walk(path):
for filename in filenames:
#获得文件夹下所有文件的绝对路径
filelist = os.path.join(dirpath, filename)
print filelist
#把文件读为DataFrame数据
data = pd.read_fwf(filelist)
#选取其中的几列
result = data[states]
#把选取的数据按照原有文件名存在指定文件夹下
result.to_csv(output + "//" + filename, index=False, sep='\t')
sortList()
这是一个txt文件,里面有9列,但是我只需要其中的DEPTH,AZIM,DEV三列,对于这样的需求,如果有几百个这样的文件,就必须编程来实现了,下面是源代码:
import os
import pandas as pd
import numpy as np
def sortList():
#需要提取的几列数据的索引值
states = ['DEPTH', 'AZIM', 'DEV']
#输入文件夹,也就是需要处理文件所在文件夹
path = u"E:\input"
#输出文件夹
output = "E:\output"
#获得文件夹的路径,文件夹中的文件夹名,文件夹中的文件名
for (dirpath, dirname, filenames) in os.walk(path):
for filename in filenames:
#获得文件夹下所有文件的绝对路径
filelist = os.path.join(dirpath, filename)
print filelist
#把文件读为DataFrame数据
data = pd.read_fwf(filelist)
#选取其中的几列
result = data[states]
#把选取的数据按照原有文件名存在指定文件夹下
result.to_csv(output + "//" + filename, index=False, sep='\t')
sortList()
相关文章推荐
- 用R语言实现选取一个文件夹下所有txt文件的几列数据
- C#控制台控制台将一个文件夹中的所有txt文件中的数据读取出来
- C#控制台控制台将一个文件夹中的所有txt文件中的数据读取出来
- 批处理,用一个exe处理一个文件夹下的所有txt文件
- 把一个文件夹下面所有txt文件导入notes
- 用DOS把一个文件夹下的所有文件名打印到txt文件里
- 从键盘输入接收一个文件夹路径,打印出该文件夹下所有的.txt文件名(后缀名文件)
- 将文本文件中的数据读取到一个二维数组中,求出这些数据的中位数,然后求所有数据与中位数的差值的绝对值和,并求出和的最小值,最后把程序运行的结果写到一个txt文件中
- Python实现合并同一个文件夹下所有txt文件的方法示例
- python实现将文件夹内所有txt文件合并成一个文件
- 将一个文件夹下的所有文件后缀改成.txt
- 把一个文件夹下面所有txt文件导入notes
- C++ 如何将一个文件夹中的所有文件(.txt或者.log)内容整合到一个文件(.txt或者.log)当中
- 读取一个文件夹下所有的txt文件,并保存到一个txt文本中
- 利用存储过程读指定文件夹里所有txt文件,将数据插入数据库中
- c#实现将一个文件夹中的所有文件复制到另一个文件夹,并在新文件夹中创建一个txt文件记录copy的文件综述以及文件名称
- python实现将文件夹内所有txt文件合并成一个文件
- 对于一个文件夹中的所有txt文件进行遍历的程序
- 统计一个文件夹下的所有文件并放入到一个txt中,并删除一些格式的文件,这个方法扩展,自己修改
- 在网上找了一个读取文件夹下面的所有文件到txt的code 已验证