谨慎 mongodb 关于数字操作可能导致类型及精度变化
1.问题描述
最近有一个需求,更新mongo数据库中 原料 集合的某字段价格,更新后,程序报错了,说长度过长了,需要truncation。
主要错误信息如下:
formatexception: an error occurred while deserializing the xxxxxxxprice property of class xxxxxxxxxxxxxxxxxxxx: truncation resulted in data loss.
调试发现,价格这个数据来自于sql server数据库,是decimal(18,4),数据落到mongodb中也是decimal类型。dba通过mongodb客户端工具更新后,更新的文档中的价格字段由decimal类型变成了double类型。
此时问题就出现了:
(1):double类型为15位,原来小数点后面是四位小数,现在不一定了。
(2):精确度变化,导致部分数据失真。
问题出现,我们有必要认认真真学习总结下mongodb中的数字类型以及其余mongo shell等常见客户端工具。
在mongodb中,关于数值的类型有:
type | alias | notes |
double | “double” | |
32-bit integer | “int” | |
64-bit integer | “long” | |
decimal128 | “decimal” | new in version 3.4 |
2. 数字默认为double 类型
mongo shell 客户端默认将数字看成浮点数。
例如,
db.testnumber.find({t1:12345})
查看新插入的数据,
可以看到,数字变成了double 类型。
上面的数据插入是在mongo shell 中 验证的,其实在 nosqlbooster 工具 中,默认也是将数字当成double类型。
3 numberlong 类型
如果想保留为int类型(64-bit integer),需要显式地通过封装函数numberlong(),其接受的参数应为string类型。
例如,插入一笔数据
db.testnumber.insertone( { _id: 10, calc: numberlong("2090845886852") } )
查看插入的数据
mongo shell 客户端查询,显式如下:
我们再来验证下通过mongo shell 工具如何对这一类型进行更新的:
db.collection.updateone( { _id: 10 }, { $set: { calc: numberlong("25555550") } } )
显式指定 封装函数numberlong()。
查看更新后的数据,
我们再来验证下 long 类型上的 $inc 操作($inc操作符将一个字段的值增加或者减少指定的数值)
db.testnumber.updateone( { _id: 10 }, ... { $inc: { calc: numberlong(5) } } )
更新后,查询
上面的例子中,显式地指定了int64 类型(通过numberlong()函数),执行前后都是int64。如果不指定呢?不指定就是默认的double类型。
继续测试,在原来的基础上再加5.
db.testnumber.updateone( { _id: 10 }, ... { $inc: { calc: 5 } } )
查看显示,
数值的类型由int64 变成了 double 类型。
4.32-bit integer (int) 类型
和64-bit integer(long)差不多,不同的是,其转换函数由numberlong()变成了 numberint()
,其接受的参数,也当成string类型来处理。
例如:
db.testnumber.insert({ts:numberint("246")})
查看插入的数据:
数据类型为int32.
5.numberdecimal
decimal 这个数据类型是在mongo 3.4 才开始引入的。新增decimal数值类型主要是为了记录、处理货币数据 ,例如 财经数据、税率数据等。有时候,一些科学计算也采用decimal类型。
因为mongo shell默认将数字当成double类型,所以也是需要显式的转换函数numberdecimal(),其接受参数是string值。
例如:
db.testnumber.insert({ts:numberdecimal("1000.55")})
查询显示:
我们前面,强调说,参数接受类型是string,如何是数字(默认是double类型)也可以,但是有精度丢失的风险,会把数字变成15位(小数点不计算在内)。
例如
db.testnumber.insert({ts:numberdecimal(1000.88)})
查看
{ "_id" : objectid("5d5a38fa3e8964310aa46f83"), "ts" : numberdecimal("1000.88000000000") }
再插入一笔
db.testnumber.insert({ts:numberdecimal(1000000000.88)})
查询这一笔数据
{ "_id" : objectid("5d5a39103e8964310aa46f84"), "ts" : numberdecimal("1000000000.88000") }
再插入一笔
db.testnumber.insert({ts:numberdecimal(10000000000000.88)})
查询变成了
{ "_id" : objectid("5d5a3e343e8964310aa46f86"), "ts" : numberdecimal("10000000000000.9") }
再如
需要注意的是:如果将数字类型数据作为参数传递给numberdecimal(),只能出现在mongo shell工具中,在其他工具中可能报错。
例如在工具 nosqlbooster 中就报错。
{ "message" : "numberdecimal param must be string.", "stack" : "script:1:29" }
测试案例如下:
6.mongo shell 操作decima类型
如果在mongo shell 操作decimal,需特别小心,其数据类型和精度有可能变化。
case 1
decimal 类型 + decimal 类型
case 2
decimal 类型 + long 类型
case 3
decimal 类型+ int 类型
case 4
decimal 类型 + 数值 类型,即加数是默认的double类型
case 5
如果将两个decimal字段相减,会是什么样子呢?我们先在mongo shell 段进行测试。
测试数据:
{ "_id" : objectid("5d5a50ebbd9dcf1c9b374e11"), "ts1" : numberdecimal("32222.21111"), "ts2" : numberdecimal("11222.21111"), "tst" : numberdecimal("2211.11111") } { "_id" : objectid("5d5a50f5bd9dcf1c9b374e12"), "ts1" : numberdecimal("22222.21111"), "ts2" : numberdecimal("22222.21111"), "tst" : numberdecimal("11111.11111") }
相减操作,将tst字段设置为ts1 和 ts2的差值。
db.testnumber.find({}).foreach(function(item){ item.tst = item.ts1 - item.ts2 ;db.testnumber.save(item) })
查询相减后的结果:
{ "_id" : objectid("5d5a50ebbd9dcf1c9b374e11"), "ts1" : numberdecimal("32222.21111"), "ts2" : numberdecimal("11222.21111"), "tst" : nan } { "_id" : objectid("5d5a50f5bd9dcf1c9b374e12"), "ts1" : numberdecimal("22222.21111"), "ts2" : numberdecimal("22222.21111"), "tst" : nan }
此时出现了nan类型。
nan
(not a number)属性代表一个“不是数字”的值。这个特殊的值是因为运算不能执行而导致的,不能执行的原因要么是因为其中的运算对象之一非数字(例如, "abc" / 4
),要么是因为运算的结果非数字(例如,除数为零)。
虽然 nan
意味着“不是数字”,但是它的类型是 number
case 6
相加(+)操作,在mongo shell 中验证:
db.testnumber.find({}).foreach(function(item){ item.tst = item.ts1 + item.ts2 ;db.testnumber.save(item) })
此时类似string拼凑。
case 7
相减操作如果发生在其他客户端工具,例如 nosqlbooster 工具,效果怎么样呢?
执行相减命令
db.testnumber.find({}).foreach(function(item){ item.tst = item.ts1 - item.ts2 ;db.testnumber.save(item) })
结果截图
可知:在客户端工具 nosqlbooster 中,两个decimal类型数据的差值是double类型。
case 8
在工具nosqlbooster 上执行相加的命令
db.testnumber.find({}).foreach(function(item){ item.tst = item.ts1 + item.ts2 ;db.testnumber.save(item) })
查询结果
在客户端工具 nosqlbooster 中,两个decimal类型数据的 和 也是double类型。
case 7、case 8表明 在 客户端工具 nosqlbooster 中 ,加减两个decimal类型数据,其结果变成了double类型。这不是我们想要的结果,极端情况,数字精确度还会变化。
case 9
最后,我们看一个数据失真的case
准备测试数据
db.testnumber.insert({ ts1 : numberdecimal("1747.872"),ts2 : numberdecimal("51.408"),tst : numberdecimal("123"))})
执行更新(在nosqlbooster 执行的)
db.testnumber.find({}).foreach(function(item){ item.tst = item.ts1 - item.ts2 ;db.testnumber.save(item) })
更新后的数据
{ "_id" : objectid("5d5b922744b6e6393c6c7693"), "ts1" : numberdecimal("1747.872"), "ts2" : numberdecimal("51.408"), "tst" : 1696.4640000000002 }
tst 字段,变成了double类型,且计算后的结果是不准确的。
7.保持decimal 字段类型及精度的尝试
那么有没有其他写法,可以保证更新前后数据类型不变并且不会失真呢?
7.1先寻找保持数据类型不变的方法
如果是 nosqlbooster 工具,将要更新的字段保留为numberdecimal,其操作命令如下:
db.testnumber.find({}).foreach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":numberdecimal(string(item.ts1 - item.ts2))}})})
查看更新的结果
但是这个命令是不可以在 mongo shell 段执行的,测试如下:
在mongo shell执行如下命令:
db.testnumber.find({}).foreach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":numberdecimal(string(item.ts1 - item.ts2))}})})
更新结果如下:
上面的数据类型虽然是decimal,但是数字是nan。所以不能更新执行。
7.2 数据不失真问题
还是使用上面第6 部分的case 数据。
测试前的数据
db.testnumber.insert({ ts1 : numberdecimal("1747.872"),ts2 : numberdecimal("51.408"),tst : numberdecimal("123"))})
执行更新(在nosqlbooster 执行的)
db.testnumber.find({}).foreach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":numberdecimal(string(item.ts1 - item.ts2))}})})
更新后的数据
{ "_id" : objectid("5d5b922744b6e6393c6c7693"), "ts1" : numberdecimal("1747.872"), "ts2" : numberdecimal("51.408"), "tst" : numberdecimal("1696.4640000000002") }
tst 字段,已经变成了decimal类型,但计算后的结果是不准确的。
我们在开篇讲过,原来的数据都是保存了decimal(18,4)的格式,所以,如果在mongo 命令上添加四舍五入的函数 tofixed(n) , n为要保留的小数位数。
db.testnumber.find({}).foreach(function(item){ db.testnumber.update({"_id":item._id},{$set:{"tst":numberdecimal(string((item.ts1 - item.ts2).tofixed(4)))}})})
查询结果
{ "_id" : objectid("5d5b922744b6e6393c6c7693"), "ts1" : numberdecimal("1747.872"), "ts2" : numberdecimal("51.408"), "tst" : numberdecimal("1696.4640") }
这个结果才是我们真正想要的结果。
8.不同数字类型下的比较 查询
测试案例所需数据
db.testnumno.insert({ "_id" : 1, "val" : numberdecimal( "9.99" ), "description" : "decimal" }) db.testnumno.insert({ "_id" : 2, "val" : 9.99, "description" : "double" }) db.testnumno.insert({ "_id" : 3, "val" : 10, "description" : "double" }) db.testnumno.insert({ "_id" : 4, "val" : numberlong(10), "description" : "long" }) db.testnumno.insert({ "_id" : 5, "val" : numberdecimal( "10.0" ), "description" : "decimal" })
case 1
执行查询
db.testnumno.find({ "val": 9.99 })
返回结果
{ "_id" : 2, "val" : 9.99, "description" : "double" }
直接输入数字,默认是double类型,在算法表示上 double 类型的9.99 和 decimal 类型的9.99 是不相等的。查询结果只有一条数据。
case 2
执行查询
db.testnumno.find({ "val": numberdecimal( "9.99" ) })
返回结果
{ "_id" : 1, "val" : numberdecimal("9.99"), "description" : "decimal" }
返回一条结果的原因和case 1 相同。
case 3
执行查询
db.testnumno.find({ val: 10 })
返回结果
{ "_id" : 3, "val" : 10, "description" : "double" } { "_id" : 4, "val" : numberlong(10), "description" : "long" } { "_id" : 5, "val" : numberdecimal("10.0"), "description" : "decimal" }
case 4
执行查询
db.testnumno.find({ val: numberdecimal( "10" ) })
返回结果
{ "_id" : 3, "val" : 10, "description" : "double" } { "_id" : 4, "val" : numberlong(10), "description" : "long" } { "_id" : 5, "val" : numberdecimal("10.0"), "description" : "decimal" }
case 5
执行查询
db.testnumno.find({ val: numberdecimal( "10.0" ) })
返回结果
{ "_id" : 3, "val" : 10, "description" : "double" } { "_id" : 4, "val" : numberlong(10), "description" : "long" } { "_id" : 5, "val" : numberdecimal("10.0"), "description" : "decimal" }
case 3、case 4 、case 5 表明,在表达整数时,doubel 、decimal 、long 三者在算法表达上相等。
以上 5 个case 在mongo shell、nosqlbooster 演示结果一样。
参考文献:
https://docs.microsoft.com/en-us/dotnet/api/system.double?redirectedfrom=msdn&view=netframework-4.8
本文版权归作者所有,未经作者同意不得转载,谢谢配合!!!