PHP mb_split(), 捕获分隔符
PHP mb_split(), capturing delimiters
preg_split
有一个可选的 PREG_SPLIT_DELIM_CAPTURE
标志,它也 returns 返回数组中的所有分隔符。 mb_split
没有。
有什么方法可以拆分多字节字符串(不仅是 UTF-8,还有所有类型)并捕获分隔符?
我正在尝试制作一个多字节安全的换行符拆分器,保留换行符,但更喜欢更通用的解决方案。
解决方案
感谢用户 Casimir et Hippolyte,我构建了一个解决方案并将其发布在 github
(https://github.com/vanderlee/PHP-multibyte-functions/blob/master/functions/mb_explode.php),它允许所有 preg_split 标志:
/**
* A cross between mb_split and preg_split, adding the preg_split flags
* to mb_split.
* @param string $pattern
* @param string $string
* @param int $limit
* @param int $flags
* @return array
*/
function mb_explode($pattern, $string, $limit = -1, $flags = 0) {
$strlen = strlen($string); // bytes!
mb_ereg_search_init($string);
$lengths = array();
$position = 0;
while (($array = mb_ereg_search_pos($pattern)) !== false) {
// capture split
$lengths[] = array($array[0] - $position, false, null);
// move position
$position = $array[0] + $array[1];
// capture delimiter
$regs = mb_ereg_search_getregs();
$lengths[] = array($array[1], true, isset($regs[1]) && $regs[1]);
// Continue on?
if ($position >= $strlen) {
break;
}
}
// Add last bit, if not ending with split
$lengths[] = array($strlen - $position, false, null);
// Substrings
$parts = array();
$position = 0;
$count = 1;
foreach ($lengths as $length) {
$is_delimiter = $length[1];
$is_captured = $length[2];
if ($limit > 0 && !$is_delimiter && ($length[0] || ~$flags & PREG_SPLIT_NO_EMPTY) && ++$count > $limit) {
if ($length[0] > 0 || ~$flags & PREG_SPLIT_NO_EMPTY) {
$parts[] = $flags & PREG_SPLIT_OFFSET_CAPTURE
? array(mb_strcut($string, $position), $position)
: mb_strcut($string, $position);
}
break;
} elseif ((!$is_delimiter || ($flags & PREG_SPLIT_DELIM_CAPTURE && $is_captured))
&& ($length[0] || ~$flags & PREG_SPLIT_NO_EMPTY)) {
$parts[] = $flags & PREG_SPLIT_OFFSET_CAPTURE
? array(mb_strcut($string, $position, $length[0]), $position)
: mb_strcut($string, $position, $length[0]);
}
$position += $length[0];
}
return $parts;
}
捕获分隔符只能使用 preg_split
,在其他函数中不可用。
那么三种可能:
1) 将您的字符串转换为 UTF8,使用 preg_split
和 PREG_SPLIT_DELIM_CAPTURE
,并使用 array_map
将每个项目转换为原始字符串编码。
这种方式比较简单。第二种方式并非如此。 (请注意,一般来说,始终使用 UTF8 比处理奇异编码更简单)
2) 代替 split-like 函数你需要使用例如 mb_ereg_search_regs
来获得匹配零件并构建这样的模式:
delimiter|all_that_is_not_the_delimiter
(请注意交替的两个分支必须互斥,并注意以一种在结果之间产生不可能的间隙的方式编写它们。第一部分必须在字符串的开头最后一部分必须在最后。每个部分必须与前一部分连续,依此类推。)
3) 使用 mb_split
和 lookarounds。根据定义,lookarounds 是零宽度断言,不匹配任何字符,只匹配字符串中的位置。所以你可以使用这种模式来匹配定界符之前或之后的位置:
(?=delimiter)|(<=delimiter)
(这种方式的局限是lookbehind中的subpattern不能有可变长度(也就是说里面不能使用量词),但是可以是一个固定长度子模式的交替:(?<=subpat1|subpat2|subpat3)
)
preg_split
有一个可选的 PREG_SPLIT_DELIM_CAPTURE
标志,它也 returns 返回数组中的所有分隔符。 mb_split
没有。
有什么方法可以拆分多字节字符串(不仅是 UTF-8,还有所有类型)并捕获分隔符?
我正在尝试制作一个多字节安全的换行符拆分器,保留换行符,但更喜欢更通用的解决方案。
解决方案 感谢用户 Casimir et Hippolyte,我构建了一个解决方案并将其发布在 github (https://github.com/vanderlee/PHP-multibyte-functions/blob/master/functions/mb_explode.php),它允许所有 preg_split 标志:
/**
* A cross between mb_split and preg_split, adding the preg_split flags
* to mb_split.
* @param string $pattern
* @param string $string
* @param int $limit
* @param int $flags
* @return array
*/
function mb_explode($pattern, $string, $limit = -1, $flags = 0) {
$strlen = strlen($string); // bytes!
mb_ereg_search_init($string);
$lengths = array();
$position = 0;
while (($array = mb_ereg_search_pos($pattern)) !== false) {
// capture split
$lengths[] = array($array[0] - $position, false, null);
// move position
$position = $array[0] + $array[1];
// capture delimiter
$regs = mb_ereg_search_getregs();
$lengths[] = array($array[1], true, isset($regs[1]) && $regs[1]);
// Continue on?
if ($position >= $strlen) {
break;
}
}
// Add last bit, if not ending with split
$lengths[] = array($strlen - $position, false, null);
// Substrings
$parts = array();
$position = 0;
$count = 1;
foreach ($lengths as $length) {
$is_delimiter = $length[1];
$is_captured = $length[2];
if ($limit > 0 && !$is_delimiter && ($length[0] || ~$flags & PREG_SPLIT_NO_EMPTY) && ++$count > $limit) {
if ($length[0] > 0 || ~$flags & PREG_SPLIT_NO_EMPTY) {
$parts[] = $flags & PREG_SPLIT_OFFSET_CAPTURE
? array(mb_strcut($string, $position), $position)
: mb_strcut($string, $position);
}
break;
} elseif ((!$is_delimiter || ($flags & PREG_SPLIT_DELIM_CAPTURE && $is_captured))
&& ($length[0] || ~$flags & PREG_SPLIT_NO_EMPTY)) {
$parts[] = $flags & PREG_SPLIT_OFFSET_CAPTURE
? array(mb_strcut($string, $position, $length[0]), $position)
: mb_strcut($string, $position, $length[0]);
}
$position += $length[0];
}
return $parts;
}
捕获分隔符只能使用 preg_split
,在其他函数中不可用。
那么三种可能:
1) 将您的字符串转换为 UTF8,使用 preg_split
和 PREG_SPLIT_DELIM_CAPTURE
,并使用 array_map
将每个项目转换为原始字符串编码。
这种方式比较简单。第二种方式并非如此。 (请注意,一般来说,始终使用 UTF8 比处理奇异编码更简单)
2) 代替 split-like 函数你需要使用例如 mb_ereg_search_regs
来获得匹配零件并构建这样的模式:
delimiter|all_that_is_not_the_delimiter
(请注意交替的两个分支必须互斥,并注意以一种在结果之间产生不可能的间隙的方式编写它们。第一部分必须在字符串的开头最后一部分必须在最后。每个部分必须与前一部分连续,依此类推。)
3) 使用 mb_split
和 lookarounds。根据定义,lookarounds 是零宽度断言,不匹配任何字符,只匹配字符串中的位置。所以你可以使用这种模式来匹配定界符之前或之后的位置:
(?=delimiter)|(<=delimiter)
(这种方式的局限是lookbehind中的subpattern不能有可变长度(也就是说里面不能使用量词),但是可以是一个固定长度子模式的交替:(?<=subpat1|subpat2|subpat3)
)