SQLite Blob读写的局限性 博客分类: DB2|PostgreSQL|SQLite|Others
程序员文章站
2024-03-22 14:52:10
...
在使用SQLite在Windows Mobile上的大容量BLOB读写时,遇到一个OOM的问题,让我们都觉得不可思议:
executeStmt(db, stmt, "create table foo(id integer not null primary key, content blob null, content2 blob null)");
sqlite3_stmt* stmt2 = NULL;
executeStmt(db, stmt, "insert into foo(id) values(10)");
sqlite3_stmt* stmt3 = NULL;
executeStmt(db, stmt3, "update foo set content=zeroblob(10*1024*1024) where rowid=10");
sqlite3_stmt* stmt4 = NULL;
executeStmt(db, stmt4, "update foo set content2=zeroblob(1024) where rowid=10"); // OOM here
不过是0单列的0填充而已,怎么会OOM呢?
我直接给它的作者D. Richard Hipp和他的team发邮件询问,得到的答复是:
每次更新,sqlite都会读取该行的数据,加载到内存里。难怪,第一列可是要10M内存。
Richard建议:使用incremental BLOB I/O mechanism机制进行读写。
可是这个机制局限性依然明显:
e.g.
first write, 20K, then append 10K. If we want to append it, we need to zeroblob 30K first. Otherwise, sqlite_blob_write will fail to write the chunk.
???
他的答复是:
Unfortunately, no; there is no way to increase the size of a row without allocating memory sufficient to hold the entire row.
除非要更改sqlite的文件格式。一旦更改,将会打破与以前sqlite文件的兼容性。那是不可容忍的。
看来,使用小内存逐步更改blob字段,在目前来看不太现实。
executeStmt(db, stmt, "create table foo(id integer not null primary key, content blob null, content2 blob null)");
sqlite3_stmt* stmt2 = NULL;
executeStmt(db, stmt, "insert into foo(id) values(10)");
sqlite3_stmt* stmt3 = NULL;
executeStmt(db, stmt3, "update foo set content=zeroblob(10*1024*1024) where rowid=10");
sqlite3_stmt* stmt4 = NULL;
executeStmt(db, stmt4, "update foo set content2=zeroblob(1024) where rowid=10"); // OOM here
不过是0单列的0填充而已,怎么会OOM呢?
我直接给它的作者D. Richard Hipp和他的team发邮件询问,得到的答复是:
每次更新,sqlite都会读取该行的数据,加载到内存里。难怪,第一列可是要10M内存。
Richard建议:使用incremental BLOB I/O mechanism机制进行读写。
可是这个机制局限性依然明显:
e.g.
first write, 20K, then append 10K. If we want to append it, we need to zeroblob 30K first. Otherwise, sqlite_blob_write will fail to write the chunk.
???
他的答复是:
Unfortunately, no; there is no way to increase the size of a row without allocating memory sufficient to hold the entire row.
除非要更改sqlite的文件格式。一旦更改,将会打破与以前sqlite文件的兼容性。那是不可容忍的。
看来,使用小内存逐步更改blob字段,在目前来看不太现实。
推荐阅读
-
Oracle中JDBC对BLOB和CLOB读取的专用处理和通用处理 博客分类: Oracle JDBCOracleSQLF#
-
被dwr折磨死了 博客分类: java DWRphprpcFlexFlashPHP
-
Re: 辐射影响生育---未 生育者 乱入 博客分类: my blog 数据结构
-
DBCP连接池的最简单应用(用于ORACLE数据库) 博客分类: Oracle[Java|C++|C#|Python]Database General
-
丛林下的冰河 丛林中的猛兽 Re: 生命就是这样充满幻觉,始终有希望,也始终无望---- 莲花读后感 博客分类: my blog 生活音乐旅游工作
-
如何将HSQLDB数据库传输到客户端? 博客分类: iBatis HSQLDB
-
Oracle备份与恢复案例 博客分类: DataBase OracleSQLSQL ServerOSthread
-
SQLite指南(6)-处理database is locked的方法 博客分类: DB2|PostgreSQL|SQLite|Others
-
Oracle的几位创始人 博客分类: Oracle
-
用POI HSSF处理EXCEL表格 博客分类: J2SE ExcelApacheServletJSPBean