Java中流的分割

       流的分割是由StreamTokenizer类实现的。该类把一个流的内容划分成若干个token单位，一次可以读写一个token。token是文本分析算法可识别的最小单位（如单词、符号等）。一个StreamTokenizer对象可用于分析任何文本文件。它可以识别标记符、数字、引号周围的字符串以及各种注释形式。

        尽管StreamTokenizer并不是从InputStream 或 OutputStream衍生的，但它只随同InputStream工作，所以恰当地包括在库的IO部分。StreamTokenizer类用于将任何InputStream分割为一系列“记号（Token）”。这些记号实际是一些断开的文本块，中间用我们选择的任何东西分割。例如，记号可以是单词，中间用空白（空格）以及标点符号分隔。

        下面的代码片段。使用了StreamTokenizer，用于计算各个单词在文本文件中重复出现的次数。

private FileInputStream file;
private StreamTokenizer st;
private Hashtable counts = new Hashtable();
public test(String f) throws FileNotFoundException{
try{
file = new FileInputStream(f);
//创建StreamTokennizer
st = new StreamTokenizer(file);
//分割符
st.ordinaryChar('.');
st.ordinaryChar('-');
}catch(FileNotFoundException e){
System.out.println("无法读取文件" + f);
throw e;
}
}

        在上面的程序中，为打开文件，使用了FileInputStream。而且为了将文件转换成单词，从FileInputStream中创建了一个StreamTokenizer。在StreamTokenizer中，存在一个默认的分隔符列表，这里可用一系列方法加入更多的分隔符。在这里，使用ordinaryChar（）指出“该字符没有特别重要的意义”，所以解释器不会把它当作自己创建的任何单词的一部分。例如，st.ordinaryChar（‘.’）表示小数点不会成为解析出来的单词的一部分。