数据预处理—打乱训练数据顺序
2018-01-16 19:51
295 查看
改变二维数组的一维顺序
import numpy as np
a = np.array([[1,2,3],[4,5,6],[7,8,9]])
lable = np.arange(3)
permutation = np.random.permutation(lable.shape[0])
data = a[permutation,:]或读取文件时定义函数 :
import numpy as np
a = np.array([[1,2,3],[4,5,6],[7,8,9]])
lable = np.arange(3)
permutation = np.random.permutation(lable.shape[0])
data = a[permutation,:]或读取文件时定义函数 :
def open_data(fname, ratio_train): """Input: direc: location of the UCR archive ratio_train: ratio to split training and testset dataset: name of the dataset in the UCR archive""" # (390,177) data_train = np.loadtxt(fname+'/'+fname+'_TRAIN', delimiter=',') # (391,177) data_test_val = np.loadtxt(fname+'/'+fname+'_TEST', delimiter=',') # data shape=(781,177) data = np.concatenate((data_train, data_test_val), axis=0) N, D = data.shape ind_cut = int(ratio_train * N) ind = np.random.permutation(N) # ind从0到N-1的乱序数据 # 返回ind_cut前的数据做作为训练集,ind_cut后的数据作为测试集 return data[ind[:ind_cut], 1:], data[ind[ind_cut:], 1:], data[ind[:ind_cut], 0], data[ind[ind_cut:], 0]
X_train, X_val, y_train, y_val = open_data(direc,ratio_train)
相关文章推荐
- 180304 Keras+Sklearn打乱数据顺序 and 按比例分割训练+测试数据
- 关于siamese network训练时,按同样的顺序打乱输入X1,X2以及对应的标签Y(Python实现)
- Python下的数据处理和机器学习,对数据在线及本地获取、解析、预处理和训练、预测、交叉验证、可视化
- 解决绑定数据后列顺序打乱问题
- caffe 中如何打乱训练数据
- (编程训练)再回首,数据结构——顺序表上的编程训练
- 如何打乱训练样本和测试样本的顺序
- js中将数据打乱顺序
- 神经网络训练中图像数据预处理的一些方式(一)
- 利用tensorflow训练自己的图片数据(1)——预处理
- 利用tensorflow训练自己的图片数据(1)——预处理
- 斯坦福cs231n学习笔记(8)------神经网络训练细节(数据预处理、权重初始化)
- 关于python 在神经网络训练图像数据预处理时使用的transpose
- [python] numpy 三行代码打乱训练数据(保持label和data的对应关系不变)
- BP网络的训练函数、数据预处理和后处理函数
- R语言|数据预处理--2因子类型:训练测试集数据
- Python下的数据处理和机器学习,对数据在线及本地获取、解析、预处理和训练、预测、交叉验证、可视化
- Python 深度学习模型训练数据预处理 批文件重命名 os.listdir方法 os.rename方法 file.spilt方法
- 打乱list集合数据顺序,达到随机显示的目的
- Android训练课程(Android Training) - 使用Volley传输网络数据(Transmitting Network Data Using Volley)