Не удается прочитать unicode.csv в R

У меня есть. CSV файл, который содержит следующие данные:

"Ա","Բ"
1,10
2,20

Я не могу прочитать его в R, чтобы имена столбцов отображались так, как они находятся в файле.

d <- read.csv("./Data/1.csv", fileEncoding="UTF-8")
head(d)

Производит следующее:

> d <- read.csv("./Data/1.csv", fileEncoding="UTF-8")
Warning messages:
1: In read.table(file = file, header = header, sep = sep, quote = quote,  :
  invalid input found on input connection './Data/1.csv'
2: In read.table(file = file, header = header, sep = sep, quote = quote,  :
  incomplete final line found by readTableHeader on './Data/1.csv'
> head(d)
[1] X.
<0 rows> (or 0-length row.names)

Между тем, делать то же самое без указания файлаEncoding производит это:

> d <- read.csv("./Data/1.csv")
> head(d)
  Ô. Ô²
1  1 10
2  2 20

Когда я запускаю утилиту "file", чтобы узнать кодировку файла, он говорит, что это UTF-8:

Data\1.csv: UTF-8 Unicode text, with CRLF line terminators

Я использую RStudio, Windows 7, R версии 2.15.2, 32-бит.

Спасибо заранее.

Ответ 1

Я написал более длинный ответ по тому же вопросу: R в Windows: аддирование кодировки символов.

Быстрый ответ, используя кодировку параметра вместо fileEncoding, должен исправить вашу первую проблему. Вы не сможете прочитать его, возможно, в консольном или табличном представлении в RStudio, но вы сможете использовать его в формулах.

d <- read.csv("./Data/1.csv", encoding="UTF-8")
head(d)

Сохраните таблицу в файле UTF-8:

> test2 <- read.csv("test2.csv", header = FALSE, sep = ",", quote = "\"", dec = ".", fill = TRUE, comment.char = "", encoding = "UTF-8")
Warning message:
In read.table(file = file, header = header, sep = sep, quote = quote,  :
  incomplete final line found by readTableHeader on 'test2.csv'

Это дает вам представление о том, как это выглядит в консоли и в представлении RStudio

> test2
        V1       V2
1 <U+0531> <U+0532>
2        1       10
3        2       20

Однако важно, чтобы вы могли манипулировать этим в пределах R. Таким образом, в моем случае можно видеть, что вход окна script Ա имеет кодировку UTF-8, и grep правильно находит эту кодировку в вашей таблице.

> Encoding("Ա")
[1] "UTF-8"
> grep("Ա", as.character(test2[1,1]))
[1] 1

Вам может потребоваться найти подходящие варианты кодирования, которые будут работать с вашими настройками или, возможно, изменить их. К сожалению, я не уверен, где это делается.

Возможно, вы не сможете сделать это на всех этапах, но это определенно возможно заставить его работать и в среде Windows 7.

Ответ 2

Я попробовал два способа репликации вашей проблемы.

Я скопировал символы выше в RStudio, сохранил его в csv с помощью этого кода:

write.csv(c("Ա","Բ",
             1,10,
             2,20), "test.csv")

df <- read.csv("test.csv")

Это отлично работает.

Тогда я подумал, может быть, R обманывает, когда я сохраняю его в CSV с R? Поэтому я просто вставлял символы в текстовый файл и сохранял его как CSV. Этот подход также не имеет проблем.

Здесь моя информация о сеансе:

sessionInfo()
R version 3.0.1 (2013-05-16)
Platform: x86_64-pc-linux-gnu (64-bit)

locale:
[1] LC_CTYPE=en_CA.UTF-8       LC_NUMERIC=C               LC_TIME=en_CA.UTF-8       
[4] LC_COLLATE=en_CA.UTF-8     LC_MONETARY=en_CA.UTF-8    LC_MESSAGES=en_CA.UTF-8   
[7] LC_PAPER=C                 LC_NAME=C                  LC_ADDRESS=C              
[10] LC_TELEPHONE=C             LC_MEASUREMENT=en_CA.UTF-8 LC_IDENTIFICATION=C       

attached base packages:
[1] stats4    grid      stats     graphics  grDevices utils     datasets  methods   base     

other attached packages:
[1] party_1.0-9       modeltools_0.2-21 strucchange_1.4-7 sandwich_2.2-10   zoo_1.7-10       
[6] GGally_0.4.4      reshape_0.8.4     plyr_1.8          ggplot2_0.9.3.1  

loaded via a namespace (and not attached):
[1] coin_1.0-23        colorspace_1.2-2   dichromat_2.0-0    digest_0.6.3      
[5] gtable_0.1.2       labeling_0.2       lattice_0.20-23    MASS_7.3-29       
[9] munsell_0.4.2      mvtnorm_0.9-9995   proto_0.3-10       RColorBrewer_1.0-5
[13] reshape2_1.2.2     scales_0.2.3       splines_3.0.1      stringr_0.6.2

Ответ 3

У меня была такая же проблема и выяснилось, что файл поврежден.

Я открыл файл с помощью OpenOffice и сохранил его с помощью набора символов "UTF8" (вам нужно щелкнуть поле настроек фильтра редактирования), а затем импортировать его с помощью read.csv() (без опции кодирования или фильтрации), и он отлично работал.