在apache箭头中可以并行创建向量(不同线程)吗?我假设由于writer中的setPosition(...)调用,向量中条目的创建顺序无关紧要。但是,当我尝试在并行线程中执行此操作时,我遇到了错误。当我按顺序执行时,它工作正常。我正在为每个字段使用带有子编写器的ComplexWriterImpl。 实际错误是: java.lang.IllegalStateException:引用计数应> = 1以访问ArrowBuf 我很想知道,是否设计了通过箭头(在Java中)的编写器创建矢量的目的是使乱序和并行线程成为…

2020年2月18日 0条评论 40点热度 阅读全文

我的箭头编写器从CSV文件中读取数据对于小于1 GB的数据可以很好地工作,但是卡在这个限制附近(编写代码似乎阻塞了)。我为进程(-Xmx12g)分配了足够的内存,数据大小约为1.2GB。具有较少行和约0.4 GB的类似结构文件,使用相同代码即可正常工作。 我只是想知道,如果apache箭头当前对创建的矢量有某些限制,还是对行数有限制。 解决方案如下: 最好弄清楚它到底是怎么失败的(我假设您正在看到异常)。但是要解决这个问题。 当前,包含向量的每个Buffer都有2GB的限制。此外,所有箭头向量当前都使用int索引,…

2019年7月22日 0条评论 30点热度 阅读全文