关于ICE传输文件大小的限制跟踪

一、问题背景

项目遇到升级包上传过程中，出现文件上传失败的问题，这里本地通过测试，查找是否存在文件上限导致失败的问题。

二、问题跟踪

1.经测试，当上传文件小于等于1048516字节时（约0.9999M)时，均未出现文件传输问题。

2.当使用1M大小文件传输时，出现如下异常，传输失败。



3.源码分析

IceInternal\Instance.java



可以看到，默认情况下，未设置最大文件大小，则默认为1M。

从错误打印中看到，实际当数据为1M时，检测大于1M，是因为有填充。

三、解决方法

调整文件大小上限

在Server和Client端初始化前同时做如下设置：

InitializationData initializationData = new InitializationData();
initializationData.properties = Ice.Util.createProperties();
initializationData.properties.setProperty("Ice.MessageSizeMax", "1024");
ic = Ice.Util.initialize(initializationData);

经测试，100M上传亦无问题。

根据3中代码中可以看到，最大支持1.99G文件大小，但是因为本地机器内存剩余不足2G，无法测试。测试了1G大小文件无问题。

四、附录

1. Upload.ice

module Demo {
sequence<byte> RPCFile;
interface Upload {
void transfer(RPCFile f, int len);
};
};

如上图，执行slice2java Upload.ice会在当前目录下生成Demo目录，



2.构建测试代码：

①pom.xml引入jar:

<properties>
<ice.version>3.4.1</ice.version>
</properties>
<dependencies>
<!-- ice -->
<dependency>
<groupId>com.zeroc</groupId>
<artifactId>ice</artifactId>
<version>${ice.version}</version>
</dependency>
</dependencies>

②Server.java

package com.test.t;
import Ice.InitializationData;
/**
* Created by qiangdong on 2017/10/20.
*/
public class Server {
public static void main(String[] args) {
int status = 0;
//Communicator实例，是ice Runtime的主句柄
Ice.Communicator ic = null;
try {
// 调用Ice.Util.Initialize()初始化Ice Runtime
InitializationData initializationData = new InitializationData();
initializationData.properties = Ice.Util.createProperties();
initializationData.properties.setProperty("Ice.MessageSizeMax", "1024");
ic = Ice.Util.initialize(initializationData);
//初使化连接，args可以传一些初使化参数，如连接超时时间，初使化客户连接池的数量等
//ic = Ice.Util.initialize(args);
//创建名为SimplePrinterAdapter的适配器，并要求适配器使用缺省的协议(TCP/IP侦听端口为10000的请求)
Ice.ObjectAdapter adapter = ic.createObjectAdapterWithEndpoints("SimpleUploaderAdapter", "default -h localhost -p 10000");
//实例化一个PrinterI对象，为Printer接口创建一个服务对象
Ice.Object object = new FileUploadI();
//将服务单元增加到适配器中，并给服务对象指定名称为SimplePrinter，该名称用于唯一确定一个服务单元
adapter.add(object, Ice.Util.stringToIdentity("SimpleUploader"));
//激活适配器，这样做的好处是可以等到所有资源就位后再触发
adapter.activate();
//让服务在退出之前，一直持续对请求的监听
ic.waitForShutdown();
} catch (Ice.LocalException e) {
e.printStackTrace();
status = 1;
} catch (Exception e) {
System.err.println(e.getMessage());
status = 1;
}
if (ic != null) {
try {
ic.destroy();
} catch (Exception e) {
System.err.println(e.getMessage());
status = 1;
}
}
System.exit(status);
}
}

③FileUploadI.java

package com.test.t;
import Ice.Current;
import com.test.a.Demo._UploadDisp;

import java.io.*;

/**
* Created by qiangdong on 2017/10/20.
*/
public class FileUploadI extends _UploadDisp {

@Override
public void transfer(byte[] f, int len, Current __current) {
String path = "d:\\test11.rar";
try {
long begintime = System.currentTimeMillis();
FileOutputStream fos = new FileOutputStream(path, true);
fos.write(f, 0, len);
fos.close();
System.out.println(System.currentTimeMillis() - begintime);
} catch (IOException e) {
e.printStackTrace();
}
}
}

④Client.java

package com.test.t;

import Ice.InitializationData;
import com.test.a.Demo.UploadPrx;
import com.test.a.Demo.UploadPrxHelper;

import java.io.File;
import java.io.FileInputStream;

/**
* Created by qiangdong on 2017/10/20.
*/
public class Client {
public static void main(String[] args) {
int status = 0;
Ice.Communicator ic = null;
try {
//初使化
InitializationData initializationData = new InitializationData();
initializationData.properties = Ice.Util.createProperties();
initializationData.properties.setProperty("Ice.MessageSizeMax", "1024");
ic = Ice.Util.initialize(initializationData);
//传入远程服务单元的名称、网络协议、IP及端口，获取Printer的远程代理，这里使用的stringToProxy方式
Ice.ObjectPrx base = ic.stringToProxy("SimpleUploader:default -h localhost -p 10000");
//通过checkedCast向下转换，获取Printer接口的远程，并同时检测根据传入的名称获取的服务单元是否Printer的代理接口，如果不是则返回null对象
UploadPrx uploadPtx = UploadPrxHelper.checkedCast(base);
if (uploadPtx == null)
throw new Error("Invalid proxy");
//把Hello World传给服务端，让服务端打印出来，因为这个方法最终会在服务端上执行
File file = new File("d:\\vappInspector.jar");
if (file.exists()) {
long beginTime = System.currentTimeMillis();
FileInputStream fis = new FileInputStream(file);
byte[] buff = new byte[1048516];
int len;
while ((len = fis.read(buff)) != -1) {
uploadPtx.transfer(buff, len);
}
fis.close();
System.out.println("client total time: " + (System.currentTimeMillis() - beginTime));
}
} catch (Ice.LocalException e) {
e.printStackTrace();
status = 1;
} catch (Exception e) {
System.err.println(e.getMessage());
status = 1;
}
if (ic != null) {
try {
ic.destroy();
} catch (Exception e) {
System.err.println(e.getMessage());
status = 1;
}
}
System.exit(status);
}
}