高效读入数据的一种方法sasfile
2011-05-01 11:52
405 查看
首先,sasfile statement语法为
SASFILE <libref.>member-name<.member-type> <(password-option(s))> OPEN | LOAD | CLOSE ;
该语句提高效率的原理是将数据一次性读入缓存内,避免了data步中反复地对数据读取或关闭,也减少了input/output操作。
需要特别注意的是,如果数据太大,打到缓存无法容纳的程度,该语句不再适合,容易造成sas崩溃等不良后果。
sasfile应用见下例:
libname yugao 'c:/books';
data yugao.test;
do i=1 to 1000000;
nums=i;
chars='abcde';
output;
end;
run;
*****数据读入存储空间*****;
sasfile yugao.test.data load;
***** set依观察值连续读入*****;
data _null_;
set yugao.test;
run;
***** 随机读取*****;
data _null_;
n=round(ranuni(1) * 1000000);
set yugao.test point=n;
if _N_=10000 then stop;
run;
***** 有条件读取*****;
data _null_;
set yugao.test;
where nums > 500000;
run;
***** 释放内存 *****;
sasfile yugao.test.data close;
参考:
http://support.sas.com/documentation/cdl/en/lrdict/64316/HTML/default/viewer.htm#a001500739.htm
http://support.sas.com/kb/24/958.html
SASFILE <libref.>member-name<.member-type> <(password-option(s))> OPEN | LOAD | CLOSE ;
该语句提高效率的原理是将数据一次性读入缓存内,避免了data步中反复地对数据读取或关闭,也减少了input/output操作。
需要特别注意的是,如果数据太大,打到缓存无法容纳的程度,该语句不再适合,容易造成sas崩溃等不良后果。
sasfile应用见下例:
libname yugao 'c:/books';
data yugao.test;
do i=1 to 1000000;
nums=i;
chars='abcde';
output;
end;
run;
*****数据读入存储空间*****;
sasfile yugao.test.data load;
***** set依观察值连续读入*****;
data _null_;
set yugao.test;
run;
***** 随机读取*****;
data _null_;
n=round(ranuni(1) * 1000000);
set yugao.test point=n;
if _N_=10000 then stop;
run;
***** 有条件读取*****;
data _null_;
set yugao.test;
where nums > 500000;
run;
***** 释放内存 *****;
sasfile yugao.test.data close;
参考:
http://support.sas.com/documentation/cdl/en/lrdict/64316/HTML/default/viewer.htm#a001500739.htm
http://support.sas.com/kb/24/958.html
相关文章推荐
- 删除重复数据的一种高效的方法
- ORACLE删除重复数据的一种高效的方法(转)
- 删除重复数据的一种高效的方法
- 删除重复数据的一种高效的方法
- 大规模高能效图遍历: 一种高效的数据密集型超级计算方法
- SAS技巧-将输出数据转向到内存的一种方法
- ORACLE删除重复数据的一种高效的方法
- 一种大规模网络流式数据缓存写入的方法
- Asp.Net一种更加优雅的数据绑定方法
- [JAVA]Java导出Excel数据的一种方法(完美实现,包含表格线)
- 另外一种高效地判断奇数和偶数的方法
- 一种理想的在关系数据库中存储树型结构数据的方法
- 一种即时通信数据传输方法、客户端、服务器及系统
- Java 高效读取大数据文件—最优方法
- 高效删除Oracle数据库中重复数据的方法
- java用重定向方法从文件中读入或写入数据
- 一种基于重载的高效c#上图片添加文字图形图片的方法
- Sql 学习记录 一种删除重复数据的方法
- 一种从数据流中按位 读取数据的方法
- jQuery Ajax 调用 ASP.NET WebServices + (POST)->JSON 数据传递,一种开发高效的模式