Couchbase学习
介绍
couchbase的关键有两点:延后写入和松散存储。延后写入,顾名思义,couchbase在对数据进行增删时会先体现在内存中,而不会立刻体现在硬盘上,从内存的修改到硬盘的修改这一步骤是由couchbase自动完成,等待执行的硬盘操作会以write queue的形式排队等待执行,也正是通过这个方法,硬盘的I/O效率在write queue满之前是不会影响couchbase的吞吐效率的,而write queue的长度是可以设置的。松散存储也很好理解,在关系型数据库中,要先建库建表,最后插数据,而在couchbase中bucket就相当于库,没有表的存在,直接就插数据了。关系型数据库依赖表来进行条件查询,couchbase一开始没有具备表功能的结构,所以是无法执行条件查询的,但是通过view则可以手动添加所需要的关系,view的设置是非常复杂的一部分。总之couchbase的一般逻辑是建bucket——>插入数据——>建立View。正是因为关系可以后天建立,才使得不必预先规划数据应具备的关系,随用随建即可。当然,对couchbase而言插入数据其实是插入json格式的文件。couchbase的精髓就在于依赖内存最大化降低硬盘I/O对吞吐量的负面影响。
NuGet 添加
CouchbaseNetClient
配置文件
<configSections> <sectionGroup name="couchbaseClients"> <section name="couchbase" type="Couchbase.Configuration.Client.Providers.CouchbaseClientSection, Couchbase"/> </sectionGroup> </configSections> <couchbaseClients> <couchbase> <servers> <add uri="http://localhost:8091"></add> </servers> <buckets> <add name="default" password="" useSsl="false"> <connectionPool name="custom" maxSize="10" minSize="5" waitTimeout="5000" shutdownTimeout="3000"></connectionPool> </add> </buckets> </couchbase> </couchbaseClients>
C#代码例子
ClusterHelper.Initialize(); var cluster = ClusterHelper.Get(); using (var bucket = cluster.OpenBucket("default")) { //创建文档 for (int i = 1; i < 10000; i++) { var testChild = new { FirstName = "张三", Age = i > 100 ? i % 100 : i, Gender = i % 2 == 0 ? "女" : "男" }; string strGUID = "document_id_00" + i.ToString(); var doc = new Document<dynamic> { Id = strGUID, Content = testChild }; //没有数据新增,有数据更新 bucket.Upsert(doc); } // 根据ID查询数据 var resultDoc = bucket.Get<string>("document_id_001"); //根据View查询数据 组合key List<object> startKey = new List<object>() { "GetNan", 20 }; List<object> endKey = new List<object>() { "GetNv", 22 }; var view = bucket.CreateQuery("document_id", "Test").StartKey(startKey).EndKey(endKey); var query = await bucket.QueryAsync<dynamic>(view); //根据View查询数据 key var view1 = bucket.CreateQuery("document_id", "Test2").StartKey(0).EndKey(100); var query1 = await bucket.QueryAsync<dynamic>(view1); }
Couchbase中View介绍
emit中第一个参数为key,第二个参数是返回值,组合key用[]括起来,doc为自己建的文档,meta默认的,有四个参数id等。简单来说就是emit中就是key,value
function (doc, meta) { emit(doc.age, doc); if(doc.gender=="男") { emit(["GetNan",doc.age],doc); } if(doc.gender=="女") { emit(["GetNv",doc.age],doc); } }
emit(["GetNv",doc.age],null);返回值为null的解释
1. index 會很大
2. couchbase在forum裡的技術說不要emit doc
3. 返回index是單線程, 自己寫拿取doc可以拼行
4. 我们称key-value生成的为primary index,id-key生成的为back index。
5. 如果用doc的话可能会引发类型为“System.OutOfMemoryException”的异常。
本地Couchbase 4.1文档
1. 下载java jdk
2. 配置环境变量
3. clone https://github.com/couchbase/docs-cb4/
4. clone https://github.com/couchbaselabs/dita-ot-2.1.1
5. 打开cmd窗口,进入dita-ot-2.1.1的bin目录,输入“dita -version”命令。如果显示“DITA-OT version 2.1.1”,则表示环境搭建OK。
6. dita -f html5 -i d:/GitProject/docs-cb4/content/cb-docs.ditamap -o d:/couchbaseDoc/output/
其中-f表示发布文档保存格式,-i表示待发布的文档的* ditamap 文件,-o 表示发布结果保存路径
7. 打开d:/couchbaseDoc/output/index.html 即可查看文档
创建indexex ([`]这不是双引号也不是带引号是数字【1】左边的的)
1. 常见index
CREATE INDEX `beer-sample-type-index` ON `beer-sample`(type) USING GSI WITH {"defer_build":true};
2. 查询是否创建成功
SELECT * FROM system:indexes WHERE name="beer-sample-type-index";
3. build index
BUILD INDEX ON `beer-sample`(`beer-sample-type-index`) USING GSI;
4. 查询数据
SELECT * FROM `beer-sample` WHERE type="beer-sample-type-index";