欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

动态构造任意复杂的 Linq Where 表达式

程序员文章站 2023-08-25 13:11:10
前言 Linq 是 C# 中一个非常好用的集合处理库,用好了能帮我们简化大量又臭又长的嵌套循环,使处理逻辑清晰可见。EF 查询主要也是依赖 Linq。但是 Linq 相对 sql 也存在一些缺点,最主要的就是动态构造查询的难度。sql 只需要简单进行字符串拼接,操作难度很低(当然出错也相当容易),而 ......

前言

       linq 是 c# 中一个非常好用的集合处理库,用好了能帮我们简化大量又臭又长的嵌套循环,使处理逻辑清晰可见。ef 查询主要也是依赖 linq。但是 linq 相对 sql 也存在一些缺点,最主要的就是动态构造查询的难度。sql 只需要简单进行字符串拼接,操作难度很低(当然出错也相当容易),而 linq 表达式由于对强类型表达式树的依赖,动态构造查询表达式基本相当于手写 ast(抽象语法树),可以说难度暴增。

       ast 已经进入编译原理的领域,对计算机系统的了解程度需求比一般 crud 写业务代码高了几个量级,也导致很多人觉得 ef 不好用,为了写个动态查询要学编译原理这个代价还是挺高的。后来也有一些类似 dynamiclinq 的类库能用表达式字符串写动态查询。

       本着学习精神,研究了一段时间,写了一个在我的想象力范围内,可以动态构造任意复杂的 where 表达式的辅助类。这个辅助类的过滤条件使用了 jqgrid 的高级查询的数据结构,这是我第一个知道能生成复杂嵌套查询,并且查询数据使用 json 方便解析的 js 表格插件。可以无缝根据 jqgrid 的高级查询生成 where 表达式。

正文

实现

       jqgrid 高级查询数据结构定义,用来反序列化:

 1     public class jqgridparameter
 2     {
 3         /// <summary>
 4         /// 是否搜索,本来应该是bool,true
 5         /// </summary>
 6         public string _search { get; set; }
 7         /// <summary>
 8         /// 请求发送次数,方便服务器处理重复请求
 9         /// </summary>
10         public long nd { get; set; }
11         /// <summary>
12         /// 当页数据条数
13         /// </summary>
14         public int rows { get; set; }
15         /// <summary>
16         /// 页码
17         /// </summary>
18         public int page { get; set; }
19         /// <summary>
20         /// 排序列,多列排序时为排序列名+空格+排序方式,多个列之间用逗号隔开。例:id asc,name desc
21         /// </summary>
22         public string sidx { get; set; }
23         /// <summary>
24         /// 分离后的排序列
25         /// </summary>
26         public string[][] sidx => sidx.split(", ").select(s => s.split(" ")).toarray();
27         /// <summary>
28         /// 排序方式:asc、desc
29         /// </summary>
30         public string sord { get; set; }
31         /// <summary>
32         /// 高级搜索条件json
33         /// </summary>
34         public string filters { get; set; }
35 
36         /// <summary>
37         /// 序列化的高级搜索对象
38         /// </summary>
39         public jqgridsearchrulegroup filterobject => filters.isnullorwhitespace()
40             ? new jqgridsearchrulegroup { rules = new[] { new jqgridsearchrule { op = searchoper, data = searchstring, field = searchfield } } }
41             : jsonserializer.deserialize<jqgridsearchrulegroup>(filters ?? string.empty);
42 
43         /// <summary>
44         /// 简单搜索字段
45         /// </summary>
46         public string searchfield { get; set; }
47         /// <summary>
48         /// 简单搜索关键字
49         /// </summary>
50         public string searchstring { get; set; }
51         /// <summary>
52         /// 简单搜索操作
53         /// </summary>
54         public string searchoper { get; set; }
55 
56     }
57 
58     /// <summary>
59     /// 高级搜索条件组
60     /// </summary>
61     public class jqgridsearchrulegroup
62     {
63         /// <summary>
64         /// 条件组合方式:and、or
65         /// </summary>
66         public string groupop { get; set; }
67         /// <summary>
68         /// 搜索条件集合
69         /// </summary>
70         public jqgridsearchrule[] rules { get; set; }
71         /// <summary>
72         /// 搜索条件组集合
73         /// </summary>
74         public jqgridsearchrulegroup[] groups { get; set; }
75     }
76 
77     /// <summary>
78     /// 高级搜索条件
79     /// </summary>
80     public class jqgridsearchrule
81     {
82         /// <summary>
83         /// 搜索字段
84         /// </summary>
85         public string field { get; set; }
86         /// <summary>
87         /// 搜索字段的大驼峰命名
88         /// </summary>
89         public string pascalfield => field?.length > 0 ? field.substring(0, 1).toupper() + field.substring(1) : field;
90         /// <summary>
91         /// 搜索操作
92         /// </summary>
93         public string op { get; set; }
94         /// <summary>
95         /// 搜索关键字
96         /// </summary>
97         public string data { get; set; }
98     }

       where 条件生成器,代码有点多,有点复杂。不过注释也很多,稍微耐心点应该不难看懂:

  1     /// <summary>
  2     /// jqgrid搜索表达式扩展
  3     /// </summary>
  4     public static class jqgridsearchextensions
  5     {
  6         //前端的(不)属于条件搜索需要传递一个json数组的字符串作为参数
  7         //为了避免在搜索字符串的时候分隔符是搜索内容的一部分导致搜索关键字出错
  8         //无论定义什么分隔符都不能完全避免这种尴尬的情况,所以使用标准的json以绝后患
  9         /// <summary>
 10         /// 根据搜索条件构造where表达式,支持jqgrid高级搜索
 11         /// </summary>
 12         /// <typeparam name="t">搜索的对象类型</typeparam>
 13         /// <param name="rulegroup">jqgrid搜索条件组</param>
 14         /// <param name="propertymap">属性映射,把搜索规则的名称映射到属性名称,如果属性是复杂类型,使用点号可以继续访问内部属性</param>
 15         /// <returns>where表达式</returns>
 16         public static expression<func<t, bool>> buildwhere<t>(jqgridsearchrulegroup rulegroup, idictionary<string, string> propertymap)
 17         {
 18             parameterexpression parameter = expression.parameter(typeof(t), "searchobject");
 19 
 20             return expression.lambda<func<t, bool>>(buildgroupexpression<t>(rulegroup, parameter, propertymap), parameter);
 21         }
 22 
 23         /// <summary>
 24         /// 构造搜索条件组的表达式(一个组中可能包含若干子条件组)
 25         /// </summary>
 26         /// <typeparam name="t">搜索的对象类型</typeparam>
 27         /// <param name="group">条件组</param>
 28         /// <param name="parameter">参数表达式</param>
 29         /// <param name="propertymap">属性映射</param>
 30         /// <returns>返回bool的条件组的表达式</returns>
 31         private static expression buildgroupexpression<t>(jqgridsearchrulegroup group, parameterexpression parameter, idictionary<string, string> propertymap)
 32         {
 33             list<expression> expressions = new list<expression>();
 34             foreach (var rule in group.rules ?? new jqgridsearchrule[0])
 35             {
 36                 expressions.add(buildruleexpression<t>(rule, parameter, propertymap));
 37             }
 38 
 39             foreach (var subgroup in group.groups ?? new jqgridsearchrulegroup[0])
 40             {
 41                 expressions.add(buildgroupexpression<t>(subgroup, parameter, propertymap));
 42             }
 43 
 44             if (expressions.count == 0)
 45             {
 46                 throw new invalidoperationexception("构造where子句异常,生成了0个比较条件表达式。");
 47             }
 48 
 49             if (expressions.count == 1)
 50             {
 51                 return expressions[0];
 52             }
 53 
 54             var expression = expressions[0];
 55             switch (group.groupop)
 56             {
 57                 case "and":
 58                     foreach (var exp in expressions.skip(1))
 59                     {
 60                         expression = expression.andalso(expression, exp);
 61                     }
 62                     break;
 63                 case "or":
 64                     foreach (var exp in expressions.skip(1))
 65                     {
 66                         expression = expression.orelse(expression, exp);
 67                     }
 68                     break;
 69                 default:
 70                     throw new invalidoperationexception($"不支持创建{group.groupop}类型的逻辑运算表达式");
 71             }
 72 
 73             return expression;
 74         }
 75 
 76         private static readonly string[] specialruleops = {"in", "ni", "nu", "nn"};
 77 
 78         /// <summary>
 79         /// 构造条件表达式
 80         /// </summary>
 81         /// <typeparam name="t">搜索的对象类型</typeparam>
 82         /// <param name="rule">条件</param>
 83         /// <param name="parameter">参数</param>
 84         /// <param name="propertymap">属性映射</param>
 85         /// <returns>返回bool的条件表达式</returns>
 86         private static expression buildruleexpression<t>(jqgridsearchrule rule, parameterexpression parameter,
 87             idictionary<string, string> propertymap)
 88         {
 89             expression l;
 90 
 91             string[] names = null;
 92             //如果实体属性名称和前端名称不一致,或者属性是一个自定义类型,需要继续访问其内部属性,使用点号分隔
 93             if (propertymap?.containskey(rule.field) == true)
 94             {
 95                 names = propertymap[rule.field].split('.', stringsplitoptions.removeemptyentries);
 96                 l = expression.property(parameter, names[0]);
 97                 foreach (var name in names.skip(1))
 98                 {
 99                     l = expression.property(l, name);
100                 }
101             }
102             else
103             {
104                 l = expression.property(parameter, rule.pascalfield);
105             }
106 
107             expression r = null; //值表达式
108             expression e; //返回bool的各种比较表达式
109 
110             //属于和不属于比较是多值比较,需要调用contains方法,而不是调用比较操作符
111             //为空和不为空的右值为常量null,不需要构造
112             var specialruleops = specialruleops;
113 
114             var isnullable = false;
115             var pt = typeof(t);
116             if(names != null)
117             {
118                 foreach(var name in names)
119                 {
120                     pt = pt.getproperty(name).propertytype;
121                 }
122             }
123             else
124             {
125                 pt = pt.getproperty(rule.pascalfield).propertytype;
126             }
127 
128             //如果属性类型是可空值类型,取出内部类型
129             if (pt.isderivedfrom(typeof(nullable<>)))
130             {
131                 isnullable = true;
132                 pt = pt.generictypearguments[0];
133             }
134 
135             //根据属性类型创建要比较的常量值表达式(也就是r)
136             if (!specialruleops.contains(rule.op))
137             {
138                 switch (pt)
139                 {
140                     case type ct when ct == typeof(bool):
141                         r = buildconstantexpression(rule, bool.parse);
142                         break;
143 
144                     #region 文字
145 
146                     case type ct when ct == typeof(char):
147                         r = buildconstantexpression(rule, str => str[0]);
148                         break;
149                     case type ct when ct == typeof(string):
150                         r = buildconstantexpression(rule, str => str);
151                         break;
152 
153                     #endregion
154 
155                     #region 有符号整数
156 
157                     case type ct when ct == typeof(sbyte):
158                         r = buildconstantexpression(rule, sbyte.parse);
159                         break;
160                     case type ct when ct == typeof(short):
161                         r = buildconstantexpression(rule, short.parse);
162                         break;
163                     case type ct when ct == typeof(int):
164                         r = buildconstantexpression(rule, int.parse);
165                         break;
166                     case type ct when ct == typeof(long):
167                         r = buildconstantexpression(rule, long.parse);
168                         break;
169 
170                     #endregion
171 
172                     #region 无符号整数
173 
174                     case type ct when ct == typeof(byte):
175                         r = buildconstantexpression(rule, byte.parse);
176                         break;
177                     case type ct when ct == typeof(ushort):
178                         r = buildconstantexpression(rule, ushort.parse);
179                         break;
180                     case type ct when ct == typeof(uint):
181                         r = buildconstantexpression(rule, uint.parse);
182                         break;
183                     case type ct when ct == typeof(ulong):
184                         r = buildconstantexpression(rule, ulong.parse);
185                         break;
186 
187                     #endregion
188 
189                     #region 小数
190 
191                     case type ct when ct == typeof(float):
192                         r = buildconstantexpression(rule, float.parse);
193                         break;
194                     case type ct when ct == typeof(double):
195                         r = buildconstantexpression(rule, double.parse);
196                         break;
197                     case type ct when ct == typeof(decimal):
198                         r = buildconstantexpression(rule, decimal.parse);
199                         break;
200 
201                     #endregion
202 
203                     #region 其它常用类型
204 
205                     case type ct when ct == typeof(datetime):
206                         r = buildconstantexpression(rule, datetime.parse);
207                         break;
208                     case type ct when ct == typeof(datetimeoffset):
209                         r = buildconstantexpression(rule, datetimeoffset.parse);
210                         break;
211                     case type ct when ct == typeof(guid):
212                         r = buildconstantexpression(rule, guid.parse);
213                         break;
214                     case type ct when ct.isenum:
215                         r = expression.constant(rule.data.toenumobject(ct));
216                         break;
217 
218                     #endregion
219 
220                     default:
221                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的数据表达式");
222                 }
223             }
224 
225             if (r != null && pt.isvaluetype && isnullable)
226             {
227                 var gt = typeof(nullable<>).makegenerictype(pt);
228                 r = expression.convert(r, gt);
229             }
230 
231             switch (rule.op)
232             {
233                 case "eq": //等于
234                     e = expression.equal(l, r);
235                     break;
236                 case "ne": //不等于
237                     e = expression.notequal(l, r);
238                     break;
239                 case "lt": //小于
240                     e = expression.lessthan(l, r);
241                     break;
242                 case "le": //小于等于
243                     e = expression.lessthanorequal(l, r);
244                     break;
245                 case "gt": //大于
246                     e = expression.greaterthan(l, r);
247                     break;
248                 case "ge": //大于等于
249                     e = expression.greaterthanorequal(l, r);
250                     break;
251                 case "bw": //开头是(字符串)
252                     if (pt == typeof(string))
253                     {
254                         e = expression.call(l, pt.getmethod(nameof(string.startswith), new[] {typeof(string)}), r);
255                     }
256                     else
257                     {
258                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的开始于表达式");
259                     }
260 
261                     break;
262                 case "bn": //开头不是(字符串)
263                     if (pt == typeof(string))
264                     {
265                         e = expression.not(expression.call(l, pt.getmethod(nameof(string.startswith), new[] {typeof(string)}), r));
266                     }
267                     else
268                     {
269                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的不开始于表达式");
270                     }
271 
272                     break;
273                 case "ew": //结尾是(字符串)
274                     if (pt == typeof(string))
275                     {
276                         e = expression.call(l, pt.getmethod(nameof(string.endswith), new[] {typeof(string)}), r);
277                     }
278                     else
279                     {
280                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的结束于表达式");
281                     }
282 
283                     break;
284                 case "en": //结尾不是(字符串)
285                     if (pt == typeof(string))
286                     {
287                         e = expression.not(expression.call(l, pt.getmethod(nameof(string.endswith), new[] {typeof(string)}), r));
288                     }
289                     else
290                     {
291                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的不结束于表达式");
292                     }
293 
294                     break;
295                 case "cn": //包含(字符串)
296                     if (pt == typeof(string))
297                     {
298                         e = expression.call(l, pt.getmethod(nameof(string.contains), new[] {typeof(string)}), r);
299                     }
300                     else
301                     {
302                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的包含表达式");
303                     }
304 
305                     break;
306                 case "nc": //不包含(字符串)
307                     if (pt == typeof(string))
308                     {
309                         e = expression.not(expression.call(l, pt.getmethod(nameof(string.contains), new[] {typeof(string)}), r));
310                     }
311                     else
312                     {
313                         throw new invalidoperationexception($"不支持创建{pt.fullname}类型的包含表达式");
314                     }
315 
316                     break;
317                 case "in": //属于(是候选值列表之一)
318                     e = buildcontainsexpression(rule, l, pt);
319                     break;
320                 case "ni": //不属于(不是候选值列表之一)
321                     e = expression.not(buildcontainsexpression(rule, l, pt));
322                     break;
323                 case "nu": //为空
324                     r = expression.constant(null);
325                     e = expression.equal(l, r);
326                     break;
327                 case "nn": //不为空
328                     r = expression.constant(null);
329                     e = expression.not(expression.equal(l, r));
330                     break;
331                 case "bt": //区间
332                     throw new notimplementedexception($"尚未实现创建{rule.op}类型的比较表达式");
333                 default:
334                     throw new invalidoperationexception($"不支持创建{rule.op}类型的比较表达式");
335             }
336 
337             return e;
338 
339             static expression buildconstantexpression<tvalue>(jqgridsearchrule jrule, func<string, tvalue> valueconvertor)
340             {
341                 var rv = valueconvertor(jrule.data);
342                 return expression.constant(rv);
343             }
344         }
345 
346         /// <summary>
347         /// 构造contains调用表达式
348         /// </summary>
349         /// <param name="rule">条件</param>
350         /// <param name="parameter">参数</param>
351         /// <param name="parametertype">参数类型</param>
352         /// <returns>contains调用表达式</returns>
353         private static expression buildcontainsexpression(jqgridsearchrule rule, expression parameter, type parametertype)
354         {
355             expression e = null;
356 
357             var genmethod = typeof(queryable).getmethods()
358                 .single(m => m.name == nameof(queryable.contains) && m.getparameters().length == 2);
359 
360             var jsonarray = jsonserializer.deserialize<string[]>(rule.data);
361 
362             switch (parametertype)
363             {
364                 #region 文字
365 
366                 case type ct when ct == typeof(char):
367                     if (jsonarray.any(o => o.length != 1)) {throw new invalidoperationexception("字符型的候选列表中存在错误的候选项");}
368                     e = callcontains(parameter, jsonarray, str => str[0], genmethod, ct);
369                     break;
370                 case type ct when ct == typeof(string):
371                     e = callcontains(parameter, jsonarray, str => str, genmethod, ct);
372                     break;
373 
374                 #endregion
375 
376                 #region 有符号整数
377 
378                 case type ct when ct == typeof(sbyte):
379                     e = callcontains(parameter, jsonarray, sbyte.parse, genmethod, ct);
380                     break;
381                 case type ct when ct == typeof(short):
382                     e = callcontains(parameter, jsonarray, short.parse, genmethod, ct);
383                     break;
384                 case type ct when ct == typeof(int):
385                     e = callcontains(parameter, jsonarray, int.parse, genmethod, ct);
386                     break;
387                 case type ct when ct == typeof(long):
388                     e = callcontains(parameter, jsonarray, long.parse, genmethod, ct);
389                     break;
390 
391                 #endregion
392 
393                 #region 无符号整数
394 
395                 case type ct when ct == typeof(byte):
396                     e = callcontains(parameter, jsonarray, byte.parse, genmethod, ct);
397                     break;
398                 case type ct when ct == typeof(ushort):
399                     e = callcontains(parameter, jsonarray, ushort.parse, genmethod, ct);
400                     break;
401                 case type ct when ct == typeof(uint):
402                     e = callcontains(parameter, jsonarray, uint.parse, genmethod, ct);
403                     break;
404                 case type ct when ct == typeof(ulong):
405                     e = callcontains(parameter, jsonarray, ulong.parse, genmethod, ct);
406                     break;
407 
408                 #endregion
409 
410                 #region 小数
411 
412                 case type ct when ct == typeof(float):
413                     e = callcontains(parameter, jsonarray, float.parse, genmethod, ct);
414                     break;
415                 case type ct when ct == typeof(double):
416                     e = callcontains(parameter, jsonarray, double.parse, genmethod, ct);
417                     break;
418                 case type ct when ct == typeof(decimal):
419                     e = callcontains(parameter, jsonarray, decimal.parse, genmethod, ct);
420                     break;
421 
422                 #endregion
423 
424                 #region 其它常用类型
425 
426                 case type ct when ct == typeof(datetime):
427                     e = callcontains(parameter, jsonarray, datetime.parse, genmethod, ct);
428                     break;
429                 case type ct when ct == typeof(datetimeoffset):
430                     e = callcontains(parameter, jsonarray, datetimeoffset.parse, genmethod, ct);
431                     break;
432                 case type ct when ct == typeof(guid):
433                     e = callcontains(parameter, jsonarray, guid.parse, genmethod, ct);
434                     break;
435                 case type ct when ct.isenum:
436                     e = callcontains(expression.convert(parameter, typeof(object)), jsonarray, enumstring => enumstring.toenumobject(ct), genmethod, ct);
437                     break;
438 
439                     #endregion
440             }
441 
442             return e;
443 
444             static methodcallexpression callcontains<t>(expression pa, string[] jarray, func<string, t> selector, methodinfo genericmethod, type type)
445             {
446                 var data = jarray.select(selector).toarray().asqueryable();
447                 var method = genericmethod.makegenericmethod(type);
448 
449                 return expression.call(null, method, new[] { expression.constant(data), pa });
450             }
451         }
452     }

使用

       此处是在 razor page 中使用,内部使用的其他辅助类和前端页面代码就不贴了,有兴趣的可以在我的文章末尾找到 github 项目链接:

 1         public async task<iactionresult> ongetuserlistasync([fromquery]jqgridparameter jqgridparameter)
 2         {
 3             var usersquery = _usermanager.users.asnotracking();
 4             if (jqgridparameter._search == "true")
 5             {
 6                 usersquery = usersquery.where(buildwhere<applicationuser>(jqgridparameter.filterobject, null));
 7             }
 8 
 9             var users = usersquery.include(u => u.userroles).theninclude(ur => ur.role).orderby(u => u.insertorder)
10                 .skip((jqgridparameter.page - 1) * jqgridparameter.rows).take(jqgridparameter.rows).tolist();
11             var usercount = usersquery.count();
12             var pagecount = ceiling((double) usercount / jqgridparameter.rows);
13             return new jsonresult(
14                 new
15                 {
16                     rows //数据集合
17                         = users.select(u => new
18                         {
19                             u.username,
20                             u.gender,
21                             u.email,
22                             u.phonenumber,
23                             u.emailconfirmed,
24                             u.phonenumberconfirmed,
25                             u.creationtime,
26                             u.creatorid,
27                             u.active,
28                             u.lastmodificationtime,
29                             u.lastmodifierid,
30                             u.insertorder,
31                             u.concurrencystamp,
32                             //以下为jqgrid中必须的字段
33                             u.id //记录的唯一标识,可在插件中配置为其它字段,但是必须能作为记录的唯一标识用,不能重复
34                         }),
35                     total = pagecount, //总页数
36                     page = jqgridparameter.page, //当前页码
37                     records = usercount //总记录数
38                 }
39             );
40         }

       启动项目后访问 /identity/manage/users/index 可以尝试使用。

结语

       通过这次实践,深入了解了很多表达式树的相关知识,表达式树在编译流程中还算是高级结构了,耐点心还是能看懂,il 才是真的晕,比原生汇编也好不到哪里去。c# 确实很有意思,入门简单,内部却深邃无比,在小白和大神手上完全是两种语言。java 在 java 8 时增加了 stream 和 lambda 表达式功能,一看就是在对标 linq,不过那名字取的真是一言难尽,看代码写代码感觉如鲠在喉,相当不爽。由于 stream 体系缺少表达式树,这种动态构造查询表达式的功能从一开始就不可能支持。再加上 java 没有匿名类型,没有对象初始化器,每次用 stream 就难受的一批,中间过程的数据结构也要专门写类,每个中间类还要独占一个文件,简直晕死。抄都抄不及格!

       c# 引入 var 关键字核心是为匿名类型服务,毕竟是编译器自动生成的类型,写代码的时候根本没有名字,不用 var 用什么?简化变量初始化代码只是顺带的。结果 java 又抄一半,还是最不打紧的一半,简化变量初始化代码。真不知道搞 java 的那帮人在想些什么。

 

       转载请完整保留以下内容并在显眼位置标注,未经授权删除以下内容进行转载盗用的,保留追究法律责任的权利!

  本文地址:https://www.cnblogs.com/coredx/p/12423929.html

  完整源代码:github

  里面有各种小东西,这只是其中之一,不嫌弃的话可以star一下。