话单数据采集简单了解

话单数据采集的要求

1.支持定时从其它系统采集话单文件。采集协议需要支持(FTP、SSH FTP)；

2.采集周期支持可配置、默认为5分钟；

3.采集后需要将服务器上的话单文件删除或者备份，避免重复采集；

4.支持采集指定类型的话单文件，类型及文件名前缀可配置；

5.支持断网后自动重连；

6.支持配置多个采集点；

7.支持脱机采集；

8.采集的文件类型有二进制码文件，ASCII文件，有话单类型，账单类型；

9.采集时先生成临时文件, 需确认采集文件是否完整，采集完成之后改为正式名称; 如果采集异常,下次需要重新采集；

实现方式：

1.简单的FTP方式，FTP远程机器，得到远程机器目录的所有文件，并且每个文件对应的大小，然后根据这些文件名，一个个GET到本地。获取本地文件大小，与之前获取的大小进行比较，判断采集的文件是否完整。获取文件的序列号，与之前记录的序列号进行比较，看文件是否跳号。并且把采集的信息记录到日志表，方便查询。

2.先获取远程的文件列表信息，包括有几个文件，每个文件大小等信息，然后根据这些信息进行FTP文件，后面逻辑与第一点一样。

3.先发一个采集的请求给远程机器，远程机器应答后，如果可以采集，返回采集的相关信息，进行采集处理

4.本地机器数据库存放有需要采集的文件，已经序列号，大小等信息，根据这些信息，直接采集。

性能要求：

采集点至少支撑20网元。一分钟采集文件数要达到500.