Ошибки cut -c для русских символов

lampslave	# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)
Темы: 32 Сообщения: 4800 Участник с: 05 июля 2011	Kycok, через любой редактор или iconv. Но это не важно, потому что разорванный шаблон это всё равно не склеит. С utf-16 будет обратная сторона этого бага - cut будет думать, что латиница написана через пустой символ (файл test содержит слово test в utf-16le): `[2014.09.23 15:36] [email protected] [~]$ cat test \| cut -c 1 t [2014.09.23 15:36] [email protected] [~]$ cat test \| cut -c 2 [2014.09.23 15:36] [email protected] [~]$`

# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)

Сообщения: 4800

Участник с: 05 июля 2011

Kycok, через любой редактор или iconv. Но это не важно, потому что разорванный шаблон это всё равно не склеит. С utf-16 будет обратная сторона этого бага - cut будет думать, что латиница написана через пустой символ (файл test содержит слово test в utf-16le):

[2014.09.23 15:36] [email protected]
[~]$ cat test | cut -c 1
t
[2014.09.23 15:36] [email protected]
[~]$ cat test | cut -c 2

[2014.09.23 15:36] [email protected]
[~]$

nafanja	# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)
Темы: 94 Сообщения: 9252 Участник с: 02 июня 2012 заблокирован	nafanja Anton8830 Тогда и баг wc? да и его баг, так как они используют одну библиотеку для работы с символами! хотя нет не одну! echo -n 'Привет' \| wc -m 6 Псевдографический инсталлятор Arch Linux ver. 3.8.2 Благодарности принимаются на ЯД 410012815723874

nafanja

# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)

Темы: 94

Сообщения: 9252

Участник с: 02 июня 2012

заблокирован

nafanja
Anton8830
Тогда и баг wc?
да и его баг, так как они используют одну библиотеку для работы с символами!

хотя нет не одну!
echo -n 'Привет' | wc -m
6

Псевдографический инсталлятор Arch Linux ver. 3.8.2
Благодарности принимаются на ЯД 410012815723874

nafanja	# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)
Темы: 94 Сообщения: 9252 Участник с: 02 июня 2012 заблокирован	Anton8830 Возможно, я неправ и это баг cut, wc, length и прочего, но я не понимаю такой логики... Для меня это - повод отказаться от UTF-8... length zsh: command not found: length глупо из за одного бага в ПО отказываться от нормальной кодировки! проще исправить баг, и себе и людям сделать добро ))) Псевдографический инсталлятор Arch Linux ver. 3.8.2 Благодарности принимаются на ЯД 410012815723874

nafanja

# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)

Темы: 94

Сообщения: 9252

Участник с: 02 июня 2012

заблокирован

Anton8830
Возможно, я неправ и это баг cut, wc, length и прочего, но я не понимаю такой логики... Для меня это - повод отказаться от UTF-8...

length
zsh: command not found: length

глупо из за одного бага в ПО отказываться от нормальной кодировки!
проще исправить баг, и себе и людям сделать добро )))

Псевдографический инсталлятор Arch Linux ver. 3.8.2
Благодарности принимаются на ЯД 410012815723874

lampslave	# 7 лет, 11 месяцев назад
Темы: 32 Сообщения: 4800 Участник с: 05 июля 2011	Особенно глупо потому, что 8 в названии стандарта вовсе не означает, что символ должен кодироваться 8 битами: Depending on the encoding form you choose (UTF-8, UTF-16, or UTF-32), each character will then be represented either as a sequence of one to four 8-bit bytes, one or two 16-bit code units, or a single 32-bit code unit. http://www.unicode.org/faq/utf_bom.html

lampslave

# 7 лет, 11 месяцев назад

Темы: 32

Сообщения: 4800

Участник с: 05 июля 2011

Особенно глупо потому, что 8 в названии стандарта вовсе не означает, что символ должен кодироваться 8 битами:

Depending on the encoding form you choose (UTF-8, UTF-16, or UTF-32), each character will then be represented either as a sequence of one to four 8-bit bytes, one or two 16-bit code units, or a single 32-bit code unit. http://www.unicode.org/faq/utf_bom.html

Anton8830	# 7 лет, 11 месяцев назад
Темы: 23 Сообщения: 175 Участник с: 16 ноября 2013	Ну извините, погорячился... Просто неделю убил на то, что не работает там, где должно...

Anton8830	# 7 лет, 11 месяцев назад
Темы: 23 Сообщения: 175 Участник с: 16 ноября 2013	Ну а как вычислить русский символ среди латинских и прочих?

nafanja	# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)
Темы: 94 Сообщения: 9252 Участник с: 02 июня 2012 заблокирован	Anton8830 Ну а как вычислить русский символ среди латинских и прочих? это не твоя задача! а ПО. твоя задача использовать ПО которое это умеет делать само. http://archlinux.org.ru/forum/topic/13996/?page=2#post-141912 echo -n 'Привет' \| awk '{print substr($0,3,1)}' и echo -n 'Privet' \| awk '{print substr($0,2,1)}' r Псевдографический инсталлятор Arch Linux ver. 3.8.2 Благодарности принимаются на ЯД 410012815723874

nafanja

# 7 лет, 11 месяцев назад (отредактировано 7 лет, 11 месяцев назад)

Темы: 94

Сообщения: 9252

Участник с: 02 июня 2012

заблокирован

Anton8830
Ну а как вычислить русский символ среди латинских и прочих?

это не твоя задача! а ПО.
твоя задача использовать ПО которое это умеет делать само.
http://archlinux.org.ru/forum/topic/13996/?page=2#post-141912
echo -n 'Привет' | awk '{print substr($0,3,1)}'
и
echo -n 'Privet' | awk '{print substr($0,2,1)}'
r

Псевдографический инсталлятор Arch Linux ver. 3.8.2
Благодарности принимаются на ЯД 410012815723874