欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

字符串切分 utf-8(支持汉语、日文、韩文等,高效、)

程序员文章站 2022-05-13 10:53:09
...
因为mb_substr、mb_strlen太过低效,故而采用了此段代码。

非原创,主要原理是根据UTF-8的编码特点
0xxxxxxx
110xxxxx 10xxxxxx
1110xxxx 10xxxxxx 10xxxxxx
11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
111110xx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
1111110x 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx 10xxxxxx
来获取字符边界,从而确定一个字所占字节数,并处理成数组。


方便对字符操作比较频繁的用户,此函数效率比mb_substr高效10倍,我曾经写过一个「N万违禁词替换类」,在开发此类过程中,详细对比过这两者的效率,此函数明显胜出。
  1. function str_split_utf8($str) {
  2. // place each character of the string into and array
  3. $split = 1;
  4. $array = array(); $len = strlen($str);
  5. for ( $i = 0; $i $value = ord($str[$i]);
  6. if($value > 0x7F){
  7. if($value >= 0xC0 && $value $split = 2;
  8. elseif($value >= 0xE0 && $value $split = 3;
  9. elseif($value >= 0xF0 && $value $split = 4;
  10. elseif($value >= 0xF8 && $value $split = 5;
  11. elseif($value >= 0xFC)
  12. $split = 6;
  13. } else {
  14. $split = 1;
  15. }
  16. $key = '';
  17. for ( $j = 0; $j $key .= $str[$i];
  18. }
  19. $array[] = $key;
  20. }
  21. return $array;
  22. }
复制代码