Python标准模块--linecache

1.模块简介

linecache主要用于缓存文件内容，如果下次继续读取该文件，则不需要打开文件，直接在缓存中获取该文件内容。

2.模块使用

模块的基本方法有getline，clearcache，getlines，checkcache；

方法getline主要用于获取指定行的内容；

方法clearcache主要用于清空缓存；

方法getlines主要用于从缓存中获取文件所有的行，如果缓存中没有该文件内容，则更新缓存，如果更新缓存失败（例如文件太大），则返回空列表；

方法checkcache主要用于删除超时的缓存；

example，

import linecache
import os

# 小文件名称
smallFileName = "BrowseQueryResult.txt"
# 大文件名称
bigFileName = "PaperID_mapping_to_AffiliationsID.txt"

# 获取小文件第一行
samllLine1 = linecache.getline(smallFileName,1)
print "small file line 1:" + samllLine1.decode("gb2312")
# 获取小文件所有数据
cacheSmall = linecache.getlines(smallFileName)
print "samll file length = %d"%(len(cacheSmall))
print "small file size = %d KB"%(os.path.getsize(smallFileName) * 1.0 / (1024))

# 获取大文件所有数据
cacheBig = linecache.getlines(bigFileName)
print "big file length = %d"%(len(cacheBig))
print "big file size = %d MB"%(os.path.getsize(bigFileName) * 1.0 / ( 1024* 1024))

linecache.clearcache()

控制台输出，可以发现，当系统配置低的时候，linecache.getlines获取大文件时，会失败，这时候得到的是一个空列表，通过os.path.getsize可以观察到文件的大小。

small file line 1:教育技术学视野下的未来课堂研究        1769    教育|199||教育技术|53||教育技术学|22||未来课堂|13||技术|12||教育技术学视野下的未来课堂研究|7||课堂教学模式|5||云计算|5||教学模式|5||课堂
|5||发展性教学|4||信息化教学模式|4||教育技术 并含 技能|4||颠倒课堂|4||课堂教学|4||在线教育|4||未来教室|4||课堂互动|4||计算机|3||思维导图|3||智慧教室|3||信息化教学|3||教育技术 技能|3||教育技术学视野下
的未来课堂|3||毕业论文|3||电子书包|3||合作学习|2||互联网|2||评价|2||提高远程教学交互实效的教学教法研究|2||教育技术研究方法|2||沉积物磷|2||数学 自主探究|2||教育技术技能|2||学习空间设计|2||教育技术发展|
2||电子商务|2||数字化校园|2||信息技术支持下的教育教学模式研究|2||情报 技术|2||末来课堂|2||模糊数学|2||绿色建筑|2||数学|2||心理学|2||物流|2||泛在学习|2||财务管理|2||未来|2||信息技术|2

samll file length = 100
small file size = 103 KB
big file length = 0
big file size = 3219 MB

3.源码分析

linecache源码所在路径为Python-2.7.10\Lib\linecache.py，

源码如下，

"""Cache lines from files.

This is intended to read lines from modules imported -- hence if a filename
is not found, it will look down the module search path for a file by
that name.
"""

import sys
import os

__all__ = ["getline", "clearcache", "checkcache"]

# 获取指定行的内容
def getline(filename, lineno, module_globals=None):
# 利用getlines获取所有行
lines = getlines(filename, module_globals)
# 如果指定行在文件总行数范围之内，则返回相应的该行的数据
if 1 <= lineno <= len(lines):
return lines[lineno-1]
else:
return ''

# cache的数据格式为cache[filename] = size, mtime, lines, fullname
# filename为文件名
# size为文件大小
# mtime为文件修改时间
# lines为文件所有的数据
# fullname为文件的全名
cache = {} # The cache

# 清空缓存
def clearcache():
"""Clear the cache entirely."""
# 引入全局变量cache
global cache
# 将cache设置为空
cache = {}

# 从缓存中获取文件所有的行，如果缓存中没有该文件内容，则更新缓存，如果更新缓存失败（例如文件太大），则返回空列表
def getlines(filename, module_globals=None):
"""Get the lines for a file from the cache.
Update the cache if it doesn't contain an entry for this file already."""

# 如果文件名在cache中，则返回cache中该文件的全部数据
if filename in cache:
return cache[filename][2]

# 否则，更新cache
try:
return updatecache(filename, module_globals)
# 如果更新cache时，发生内存错误，则返回空列表
except MemoryError:
clearcache()
return []

# 删除超时的缓存cache
def checkcache(filename=None):
"""Discard cache entries that are out of date.
(This is not checked upon each call!)"""

if filename is None:
filenames = cache.keys()
else:
if filename in cache:
filenames = [filename]
else:
return

for filename in filenames:
size, mtime, lines, fullname = cache[filename]
if mtime is None:
continue   # no-op for files loaded via a __loader__
# 获取cache中文件的修改时间
try:
stat = os.stat(fullname)
# auguries出错，则将cache中的该文件内容删除
except os.error:
del cache[filename]
continue
# 如果文件大小和修改时间均不相等，则将cache中的该文件内容删除
if size != stat.st_size or mtime != stat.st_mtime:
del cache[filename]

# 更新缓存
def updatecache(filename, module_globals=None):
"""Update a cache entry and return its list of lines.
If something's wrong, print a message, discard the cache entry,
and return an empty list."""

# 如果文件名在缓存cache中，将cache中的该文件内容删除
if filename in cache:
del cache[filename]
# 如果文件名不合法，则返回空列表
if not filename or (filename.startswith('<') and filename.endswith('>')):
return []

# 将文件名设置为文件名全称
fullname = filename
# 获取该文件名全称的状态
try:
stat = os.stat(fullname)
# 如果出错，则将文件名设置为基本文件名
except OSError:
basename = filename

# Try for a __loader__, if available
if module_globals and '__loader__' in module_globals:
name = module_globals.get('__name__')
loader = module_globals['__loader__']
get_source = getattr(loader, 'get_source', None)

if name and get_source:
try:
data = get_source(name)
except (ImportError, IOError):
pass
else:
if data is None:
# No luck, the PEP302 loader cannot find the source
# for this module.
return []
cache[filename] = (
len(data), None,
[line+'\n' for line in data.splitlines()], fullname
)
return cache[filename][2]

# Try looking through the module search path, which is only useful
# when handling a relative filename.
if os.path.isabs(filename):
return []

# 从系统路径中获取目录路径
for dirname in sys.path:
# When using imputil, sys.path may contain things other than
# strings; ignore them when it happens.
try:
fullname = os.path.join(dirname, basename)
except (TypeError, AttributeError):
# Not sufficiently string-like to do anything useful with.
continue
try:
stat = os.stat(fullname)
break
except os.error:
pass
else:
return []
# 通过file.readlines()读取文件的所有内容
try:
with open(fullname, 'rU') as fp:
lines = fp.readlines()
# 读取失败，则返回空列表
except IOError:
return []
if lines and not lines[-1].endswith('\n'):
lines[-1] += '\n'
size, mtime = stat.st_size, stat.st_mtime
# 以filename为key，(size, mtime, lines, fullname)为value
cache[filename] = size, mtime, lines, fullname
return lines