Как правильно избавиться от ошибки Invalid byte sequence in utf-8 ?
Беру к примеру 2 линка
1. xttp://www.ariatender.com/beta/
2. xttp://www.ariatender.com/beta/tender-by-category.php
По средством джема Mechanize дергаю каждый из них в порядке очереди. Контент каждой из полученных страниц я обрабатываю регулярками, отсекаю хтмл тэги, весь мусор, и оставляю чистый текст.
Проблема состоит в том, что по линку №1 всё ок. А на линке №2 у меня вылазит ошибка Invalid byte sequence in utf-8 как только я пытаюсь прикоснутся к контенту страницы gub’ом или split’ом
Меры которые я предпринимал и что из этого получилось:
Если ты не против помочь разобраться в вопросе, писанина снизу для тебя.
- Вопрос задан более трёх лет назад
- 10773 просмотра
- Вконтакте
Решил вопрос через глубокий анус, как у меня к сожалению часто бывает.
Т.к. у меня упорно не получалось пользоваться :invalid=>:replace, :undef=>:replace (менялись все символы не попадающие в ascii) пришлось сделать это самому. Я пробежался по каждому символу строки, и отсек невалидные символы.
Если у когото есть более изящное решение, буду признателен если поделитесь.
MalformedByteSequenceException: Invalid byte 2 of 2-byte UTF-8 sequence
I have a xml file which contains arabic characters.When i try to parse a file,it arise the Exception,MalformedByteSequenceException: Invalid byte 2 of 2-byte UTF-8 sequence.I Use POI DOM for parse the document.
The exception arise only in windows Machine,not arise in Linux Machine.How can i resolve the issue.Any suggestion should be appreciable.
6 Answers 6
I have resolve the problem,by create the XML file using UTF8 format.
After create the file using the above code,the encoding problem is resolved.Thanks for every one,put the effort here.
you can add a jvm parameter -Dfile.encoding=utf-8 to your jvm.
All we can tell from the message is that the file is not properly encoded in UTF-8. To work out why, you will need to trace the history of how the file was created. It may (or may not) be helpful to study the file contents at the binary level to see what the actual encoding is. For example, it may be useful to know whether the whole file is in the wrong encoding, or whether it just contains a couple of stray characters in the wrong encoding.
Invalid byte 2 of 2-byte UTF-8 sequence #4
11:48:13 Polopoly Importer
Import of teaser.xml failed: 500 — Invalid byte 2 of 2-byte UTF-8 sequence.
Check the server log for more details.
This happens when there is a UTF-8 string inside a node value (for example: as ‘param’).
It does not happen with the equivalent eclipse plugin.
The text was updated successfully, but these errors were encountered:
eliagrady commented Jul 13, 2016
| at the top, UTF-8 and LF at intellij |
wimsymons commented Jul 14, 2016
Can you post a stacktrace from the Polopoly server as this happens server-side? Is your Polopoly server properly configured for UTF-8?