C# LINQ学习笔记三：LINQ to OBJECT之操作字符串

    本笔记摘抄自：，记录一下学习过程以备后续查用。

    一、统计单词在字符串中出现的次数

    请注意，若要执行计数，请先调用split方法来创建词数组。split方法存在性能开销，如果对字符串执行的唯一操作是计数词，则应考虑改用matches或

indexof方法。

    class program
    {
        static void main(string[] args)
        {
            #region linq 统计单词在字符串中出现的次数
            const string text = @"historically, the world of data and the world of objects" +
                                @" have not been well integrated. programmers work in c# or visual basic" +
                                @" and also in sql or xquery. on the one side are concepts such as classes," +
                                @" objects, fields, inheritance, and .net framework apis. on the other side" +
                                @" are tables, columns, rows, nodes, and separate languages for dealing with" +
                                @" them. data types often require translation between the two worlds; there are" +
                                @" different standard functions. because the object world has no notion of query, a" +
                                @" query can only be represented as a string without compile-time type checking or" +
                                @" intellisense support in the ide. transferring data from sql tables or xml trees to" +
                                @" objects in memory is often tedious and error-prone.";
            const string searchword = "data";

            //字符串转换成数组
            var source = text.split(new[] { '.', '?', '!', ' ', ';', ':', ',' }, stringsplitoptions.removeemptyentries);

            //创建查询，并忽略大小写比较。
            var query = from word in source
                             where string.equals(word, searchword, stringcomparison.invariantcultureignorecase)
                             select word;

            //统计匹配数量
            var wordcount = query.count();
            console.writeline($"{wordcount} occurrences(s) of the search word \"{searchword}\" were found.");
            console.read();
            #endregion
        }
    }

    运行结果如下：

    二、查询包含指定一组单词的句子

    此示例演示如何查找文本文件中包含指定一组单词中每个单词匹配项的句子。虽然在此示例中搜索条件数组是硬编码的，但也可以在运行时动态填充此

数组。

    class program
    {
        static void main(string[] args)
        {
            #region linq 查询包含指定一组单词的句子
            const string text = @"historically, the world of data and the world of objects " +
                                @"have not been well integrated. programmers work in c# or visual basic " +
                                @"and also in sql or xquery. on the one side are concepts such as classes, " +
                                @"objects, fields, inheritance, and .net framework apis. on the other side " +
                                @"are tables, columns, rows, nodes, and separate languages for dealing with " +
                                @"them. data types often require translation between the two worlds; there are " +
                                @"different standard functions. because the object world has no notion of query, a " +
                                @"query can only be represented as a string without compile-time type checking or " +
                                @"intellisense support in the ide. transferring data from sql tables or xml trees to " +
                                @"objects in memory is often tedious and error-prone.";

            //将文本块切割成数组
            var sentences = text.split('.', '?', '!');

            //定义搜索条件，此列表可以在运行时动态添加。
            string[] wordstomatch = { "historically", "data", "integrated" };

            var query = from sentence in sentences
                        let t = sentence.split(new char[] { '.', '?', '!', ' ', ';', ':', ',' }, stringsplitoptions.removeemptyentries)
                        where t.distinct().intersect(wordstomatch).count() == wordstomatch.length   //去重，取交集后的数量对比。
                        select sentence;

            foreach (var sentence in query)
            {
                console.writeline(sentence);
            }
            console.read();
            #endregion
        }
    }

    运行结果如下：

    查询运行时首先将文本拆分成句子，然后将句子拆分成包含每个单词的字符串数组。对于每个这样的数组，distinct<tsource> 方法移除所有重复的单词，

然后查询对单词数组和wordstomatch数组执行intersect<tsource>操作。如果交集的计数与wordstomatch数组的计数相同，则在单词中找到了所有的单词，

然后返回原始句子。

    在对split的调用中，使用标点符号作为分隔符，以从字符串中移除标点符号。如果您没有这样做，则假如您有一个字符串“historically,”，该字符串不会

与wordstomatch数组中的“historically”相匹配。根据源文本中标点的类型，您可能必须使用其他分隔符。

    三、在字符串中查询字符

    因为string类实现泛型ienumerable<t>接口，所以可以将任何字符串作为字符序列进行查询。但是，这不是linq的常见用法。若要执行复杂的模式匹配操

作，请使用regex类。

    下面的示例查询一个字符串以确定它包含的数字的数目。

    class program
    {
        static void main(string[] args)
        {
            #region linq 在字符串中查询字符
            const string source = "abcde99f-j74-12-89a";

            //只选择数字的字符 
            var digits = from character in source
                         where char.isdigit(character)
                         select character;
            console.write("digit:");
            foreach (var digit in digits)
            {
                console.write($"{digit} ");
            }
            console.writeline();

            //选择第一个"-"之前的所有字符
            var query = source.takewhile(x => x != '-');
            foreach (var character in query)
            {
                console.write(character);
            }

            console.read();
            #endregion
        }
    }

    运行结果如下：

    四、正则表达式结合linq查询

    此示例演示如何使用regex类创建正则表达式以便在文本字符串中进行更复杂的匹配。使用linq查询可以方便地对您要用正则表达式搜索的文件进行准确

筛选以及对结果进行加工。

    class program
    {
        static void main(string[] args)
        {
            #region linq 正则表达式结合linq查询
            //请根据不同版本的vs进行路径修改
            const string floder = @"c:\program files (x86)\microsoft visual studio\";
            var fileinfoes = getfiles(floder);
            //创建正则表达式来寻找所有的"visual"
            var searchterm = new regex(@"http://(www.w3.org|www.npmjs.org)");

            //搜索每一个“.html”文件
            //通过where找到匹配项
            //注意：select中的变量要求显示声明其类型，因为matchcollection不是泛型ienumerable集合。
            var query = from fileinfo in fileinfoes
                        where fileinfo.extension == ".html"
                        let text = file.readalltext(fileinfo.fullname)
                        let matches = searchterm.matches(text)
                        where matches.count > 0
                        select new
                        {
                            name = fileinfo.fullname,
                            matchvalue = from match match in matches select match.value
                        };

            console.writeline($"the term \"{searchterm}\" was found in:");
            console.writeline();
            foreach (var q in query)
            {
                //修剪匹配找到的文件中的路径
                console.writeline($"name==>{q.name.substring(floder.length - 1)}");
                //输出找到的匹配值
                foreach (var v in q.matchvalue)
                {
                    console.writeline($"matchvalue==>{v}");
                }
                //输出空白行
                console.writeline();
            }
            console.read();
            #endregion
        }

        /// <summary>
        /// 获取指定路径的文件信息
        /// </summary>
        /// <param name="path"></param>
        /// <returns></returns>
        private static ilist<fileinfo> getfiles(string path)
        {
            var files = directory.getfiles(path, "*.*", searchoption.alldirectories);

            return files.select(file => new fileinfo(file)).tolist();
        }
    }

    运行结果如下：

    五、查找两个集合间的差异

    此示例演示如何使用linq对两个字符串列表进行比较，并输出那些位于text1.txt中但不在text2.txt中的行。

bankov, peter
holm, michael
garcia, hugo
potra, cristina
noriega, fabricio
aw, kam foo
beebe, ann
toyoshima, tim
guy, wey yuan
garcia, debra

liu, jinghao
bankov, peter
holm, michael
garcia, hugo
beebe, ann
gilchrist, beth
myrcha, jacek
giakoumakis, leo
mclin, nkenge
el yassir, mehdi

    class program
    {
        static void main(string[] args)
        {
            #region linq 查找两个集合间的差异
            //创建数据源
            var text1 = file.readalllines(@"..\..\text1.txt");
            var text2 = file.readalllines(@"..\..\text2.txt");

            //创建查询，这里必须使用方法语法。
            var query = text1.except(text2);

            //执行查询
            console.writeline("the following lines are in text1.txt but not text2.txt");
            foreach (var name in query)
            {
                console.writeline(name);
            }
            console.read();
            #endregion
        }
    }

    运行结果如下：

    注：某些类型的查询操作（如 except<tsource>、distinct<tsource>、union<tsource> 和 concat<tsource>）只能用基于方法的语法表示。

    六、排序或过滤任意单词或字段的文本数据

    下面的示例演示如何按结构化文本（如逗号分隔值）行中的任意字段对该文本行进行排序，可在运行时动态指定该字段。

    假定scores.csv中的字段表示学生的id号，后面跟着四个测验分数。

111, 97, 92, 81, 60
112, 75, 84, 91, 39
113, 88, 94, 65, 91
114, 97, 89, 85, 82
115, 35, 72, 91, 70
116, 99, 86, 90, 94
117, 93, 92, 80, 87
118, 92, 90, 83, 78
119, 68, 79, 88, 92
120, 99, 82, 81, 79
121, 96, 85, 91, 60
122, 94, 92, 91, 91

    class program
    {
        static void main(string[] args)
        {
            #region linq 排序或过滤任意单词或字段的文本数据
            //创建数据源
            var scores = file.readalllines(@"..\..\scores.csv");
            //可以改为0~4的任意值
            const int sortindex = 1;
            //演示从方法返回查询变量，非查询结果。
            foreach (var score in splitsortquery(scores, sortindex))
            {
                console.writeline(score);
            }
            console.read();
            #endregion
        }

        /// <summary>
        /// 分割字符串排序
        /// </summary>
        /// <param name="scores"></param>
        /// <param name="num"></param>
        /// <returns></returns>
        private static ienumerable<string> splitsortquery(ienumerable<string> scores, int num)
        {
            var query = from line in scores
                        let fields = line.split(',')
                        orderby fields[num] descending
                        select line;
            return query;
        }
    }

    运行结果如下：

    七、对一个分割的文件的字段重新排序

    逗号分隔值 (csv) 文件是一种文本文件，通常用于存储电子表格数据或其他由行和列表示的表格数据。通过使用split方法分隔字段，可以非常轻松地使用

linq来查询和操作csv文件。事实上，可以使用此技术来重新排列任何结构化文本行部分。此技术不局限于csv文件。

    在下面的示例中，假定有三列分别代表学生的“姓氏”、“名字”和“id”，这些字段基于学生的姓氏按字母顺序排列。查询生成一个新序列，其中首先出现的是

id列，后面的第二列组合了学生的名字和姓氏。根据id字段重新排列各行，结果保存到新文件，但不修改原始数据。

adams,terry,120
fakhouri,fadi,116
feng,hanying,117
garcia,cesar,114
garcia,debra,115
garcia,hugo,118
mortensen,sven,113
o'donnell,claire,112
omelchenko,svetlana,111
tucker,lance,119
tucker,michael,122
zabokritski,eugene,121

    class program
    {
        static void main(string[] args)
        {
            #region linq 对一个分割的文件的字段重新排序
            //数据源
            var lines = file.readalllines(@"..\..\spread.csv");
            //将旧数据的第2列的字段放到第一位，逆向结合第0列和第1列的字段。
            var query = from line in lines
                        let t = line.split(',')
                        orderby t[2]
                        select $"{t[2]} {t[1]} {t[0]}";

            foreach (var item in query)
            {
                console.writeline(item);
            }
            console.read();
            #endregion
        }
    }

    运行结果如下：

    八、组合和比较字符串集合

    此示例演示如何合并包含文本行的文件，然后排序结果。具体来说，此示例演示如何对两组文本行执行简单的串联、联合和交集。

    注：text1.txt及text2.txt与五、的一致。

    class program
    {
        static void main(string[] args)
        {
            #region linq 组合和比较字符串集合
            var text1 = file.readalllines(@"..\..\text1.txt");
            var text2 = file.readalllines(@"..\..\text2.txt");

            //简单连接并排序，重复保存。 
            var concatquery = text1.concat(text2).orderby(x => x);
            outputqueryresult(concatquery, "simple concatenate and sort,duplicates are preserved:");

            //基于默认字符串比较器连接，并删除重名。 
            var unionquery = text1.union(text2).orderby(x => x);
            outputqueryresult(unionquery, "union removes duplicate names:");

            //查找在两个文件中出现的名称 
            var intersectquery = text1.intersect(text2).orderby(x => x);
            outputqueryresult(intersectquery, "merge based on intersect:");

            //在每个列表中找到匹配的字段，使用concat将两个结果合并，然后使用默认的字符串比较器进行排序。
            const string namematch = "garcia";
            var matchquery1 = from name in text1
                              let t = name.split(',')
                              where t[0] == namematch
                              select name;
            var matchquery2 = from name in text2
                              let t = name.split(',')
                              where t[0] == namematch
                              select name;
            var temp = matchquery1.concat(matchquery2).orderby(x => x);
            outputqueryresult(temp, $"concat based on partial name match \"{namematch}\":");

            console.read();
            #endregion
        }

        /// <summary>
        /// 输出查询结果
        /// </summary>
        /// <param name="querys"></param>
        /// <param name="title"></param>
        private static void outputqueryresult(ienumerable<string> querys, string title)
        {
            console.writeline(environment.newline + title);
            foreach (var query in querys)
            {
                console.writeline(query);
            }
            console.writeline($"total {querys.count()} names in list.");
        }
    }

    运行结果如下：

    九、从多个源中填充对象集合

    不要尝试将内存中的数据或文件系统中的数据与仍在数据库中的数据相联接。此种跨域联接会生成未定义的结果，因为数据库查询和其他类型的源定义联

接运算的方式可能不同。另外，如果数据库中的数据量足够大，则存在此类运算引发内存不足异常的风险。若要将数据库数据与内存中的数据相联接，请首

先对数据库查询调用tolist或toarray，然后对返回的集合执行联接。

    class program
    {
        static void main(string[] args)
        {
            #region linq 从多个源中填充对象集合
            //spread.csv每行包含姓氏、名字和身份证号，以逗号分隔。例如，omelchenko,svetlana,111
            var names = file.readalllines(@"..\..\spread.csv");
            //scores.csv每行包括身份证号码和四个测试评分，以逗号分隔。例如，111，97，92，81，60 
            var scores = file.readalllines(@"..\..\scores.csv");

            //使用一个匿名的类型合并数据源。
            //注：动态创建一个int的考试成绩成员列表。
            //跳过分割字符串中的第一项，因为它是学生的身份证，不是一个考试成绩。
            var students = from name in names
                           let t1 = name.split(',')
                           from score in scores
                           let t2 = score.split(',')
                           where t1[2] == t2[0]
                           select new
                           {
                               firstname = t1[0],
                               lastname = t1[1],
                               id = convert.toint32(t1[2]),
                               examscores = (from score in t2.skip(1) select convert.toint32(score)).tolist()
                           };

            foreach (var student in students)
            {
                console.writeline($"the average score of {student.firstname} {student.lastname} is {student.examscores.average()}.");
            }
            console.read();
            #endregion
        }
    }

    运行结果如下：

    十、使用group将一个文件拆分成多个文件

    此示例演示一种进行以下操作的方法：合并两个文件的内容，然后创建一组以新方式组织数据的新文件。

    注：text1.txt及text2.txt与五、的一致。

    class program
    {
        static void main(string[] args)
        {
            #region linq 使用group将一个文件拆分成多个文件
            var text1 = file.readalllines(@"..\..\text1.txt");
            var text2 = file.readalllines(@"..\..\text2.txt");

            //并集：连接并删除重复的名字
            var mergequery = text1.union(text2);
            //根据姓氏的首字母对姓名进行分组
            var query = from name in mergequery
                        let t = name.split(',')
                        group name by t[0][0] into g
                        orderby g.key
                        select g;

            //注意嵌套的 foreach 循环
            foreach (var g in query)
            {
                var filename = @"testfile_" + g.key + ".txt";
                console.writeline(g.key + ":");

                //写入文件
                using (var sw = new streamwriter(filename))
                {
                    foreach (var name in g)
                    {
                        sw.writeline(name);
                        console.writeline(" " + name);
                    }
                }
            }
            console.read();
            #endregion
        }
    }

    运行结果如下：

    十一、向不同的文件中加入内容

    此示例演示如何联接两个逗号分隔文件中的数据，这两个文件共享一个用作匹配键的共同值。如果您必须将两个电子表格的数据或一个电子表格和一个其

他格式的文件的数据组合为一个新文件，则此技术很有用，还可以修改此示例以适合任意种类的结构化文本。

    class program
    {
        static void main(string[] args)
        {
            #region linq 向不同的文件中加入内容
            var names = file.readalllines(@"..\..\spread.csv");
            var scores = file.readalllines(@"..\..\scores.csv");

            //该查询基于id连接两个不同的电子表格
            var query = from name in names
                        let t1 = name.split(',')
                        from score in scores
                        let t2 = score.split(',')
                        where t1[2] == t2[0]
                        orderby t1[0]
                        select $"{t1[0]},{t2[1]},{t2[2]},{t2[3]},{t2[4]}";

            //输出
            outputqueryresult(query, "merge two spreadsheets:");
            console.read();
            #endregion
        }

        /// <summary>
        /// 输出查询结果
        /// </summary>
        /// <param name="querys"></param>
        /// <param name="title"></param>
        private static void outputqueryresult(ienumerable<string> querys, string title)
        {
            console.writeline(environment.newline + title);
            foreach (var query in querys)
            {
                console.writeline(query);
            }
            console.writeline($"total {querys.count()} names in list.");
        }
    }

    运行结果如下：

    十二、计算一个csv文本文件中的列值

    此示例演示如何对.csv文件的列执行诸如sum、average、min和max等聚合计算，此示例可以应用于其他类型的结构化文本。

    class program
    {
        static void main(string[] args)
        {
            #region linq 计算一个csv文本文件中的列值
            var scores = file.readalllines(@"..\..\scores.csv");

            //指定要计算的列
            const int examnum = 3;

            //+1表示跳过第一列
            //统计单列
            singlecolumn(scores, examnum + 1);

            console.writeline();

            //统计多列
            multicolumns(scores);

            console.read();
            #endregion
        }

        /// <summary>
        /// 统计单列
        /// </summary>
        /// <param name="lines"></param>
        /// <param name="examnum"></param>
        private static void singlecolumn(ienumerable<string> lines, int examnum)
        {
            console.writeline("single column query:");

            //查询步骤：
            //1.分割字符串
            //2.对要计算的列的值转换为int
            var query = from line in lines
                        let t = line.split(',')
                        select convert.toint32(t[examnum]);

            //对指定的列进行统计
            var average = query.average();
            var max = query.max();
            var min = query.min();

            console.writeline($"exam #{examnum}: average:{average:##.##} high score:{max} low score:{min}");
        }

        /// <summary>
        /// 统计多列
        /// </summary>
        /// <param name="lines"></param>
        private static void multicolumns(ienumerable<string> lines)
        {
            console.writeline("multi column query:");

            //查询步骤：
            //1.分割字符串
            //2.跳过id列（第一列）
            //3.将当前行的每个评分都转换成int，并选择整个序列作为一行结果。 
            var query1 = from line in lines
                         let t1 = line.split(',')
                         let t2 = t1.skip(1)
                         select (from t in t2 select convert.toint32(t));

            //执行查询并缓存结果以提高性能
            var results = query1.tolist();
            //找出结果的列数
            var count = results[0].count();

            //执行统计
            for (var i = 0; i < count; i++)
            {
                var query2 = from result in results
                             select result.elementat(i);
                var average = query2.average();
                var max = query2.max();
                var min = query2.min();
                //#1表示第一次考试
                console.writeline($"exam #{i + 1} average: {average:##.##} high score: {max} low score: {min}");
            }

        }
    }

    运行结果如下：