Может unix_timestamp() вернуть unix-время в миллисекундах в Apache Spark?

Я пытаюсь получить время unix из поля timestamp в миллисекундах (13 цифр), но в настоящее время оно возвращается в секундах (10 цифр).

scala> var df = Seq("2017-01-18 11:00:00.000", "2017-01-18 11:00:00.123", "2017-01-18 11:00:00.882", "2017-01-18 11:00:02.432").toDF()
df: org.apache.spark.sql.DataFrame = [value: string]

scala> df = df.selectExpr("value timeString", "cast(value as timestamp) time")
df: org.apache.spark.sql.DataFrame = [timeString: string, time: timestamp]


scala> df = df.withColumn("unix_time", unix_timestamp(df("time")))
df: org.apache.spark.sql.DataFrame = [timeString: string, time: timestamp ... 1 more field]

scala> df.take(4)
res63: Array[org.apache.spark.sql.Row] = Array(
[2017-01-18 11:00:00.000,2017-01-18 11:00:00.0,1484758800], 
[2017-01-18 11:00:00.123,2017-01-18 11:00:00.123,1484758800], 
[2017-01-18 11:00:00.882,2017-01-18 11:00:00.882,1484758800], 
[2017-01-18 11:00:02.432,2017-01-18 11:00:02.432,1484758802])

Даже если 2017-01-18 11:00:00.123 и 2017-01-18 11:00:00.000 отличаются, я получаю то же самое время unix 1484758800

Что мне не хватает?

Ответ 1

unix_timestamp() вернуть временную метку unix в секундах.

Последние 3 цифры временных меток совпадают с последними 3 цифрами строки миллисекунд (1.999sec = 1999 milliseconds), поэтому просто возьмите последние 3 цифры строки временных меток и добавьте в конец строки миллисекунд.

Ответ 2

Реализация подхода, предложенного в ответе Дао Тхи

import pyspark.sql.functions as F
df = spark.createDataFrame([('22-Jul-2018 04:21:18.792 UTC', ),('23-Jul-2018 04:21:25.888 UTC',)], ['TIME'])
df.show(2,False)
df.printSchema()

Выход:

+----------------------------+
|TIME                        |
+----------------------------+
|22-Jul-2018 04:21:18.792 UTC|
|23-Jul-2018 04:21:25.888 UTC|
+----------------------------+
root
|-- TIME: string (nullable = true)

Преобразование формата времени строки (включая миллисекунды) в unix_timestamp (double). Извлечение миллисекунд из строки с использованием метода подстроки (start_position = -7, length_of_substring = 3) и отдельное добавление миллисекунд к unix_timestamp. (Приведение к подстроке с плавающей точкой для добавления)

df1 = df.withColumn("unix_timestamp",F.unix_timestamp(df.TIME,'dd-MMM-yyyy HH:mm:ss.SSS z') + F.substring(df.TIME,-7,3).cast('float')/1000)

Преобразование unix_timestamp (double) в тип данных timestamp в Spark.

df2 = df1.withColumn("TimestampType",F.to_timestamp(df1["unix_timestamp"]))
df2.show(n=2,truncate=False)

Это даст вам следующий вывод

+----------------------------+----------------+-----------------------+
|TIME                        |unix_timestamp  |TimestampType          |
+----------------------------+----------------+-----------------------+
|22-Jul-2018 04:21:18.792 UTC|1.532233278792E9|2018-07-22 04:21:18.792|
|23-Jul-2018 04:21:25.888 UTC|1.532319685888E9|2018-07-23 04:21:25.888|
+----------------------------+----------------+-----------------------+

Проверка схемы:

df2.printSchema()


root
 |-- TIME: string (nullable = true)
 |-- unix_timestamp: double (nullable = true)
 |-- TimestampType: timestamp (nullable = true)

Ответ 3

Миллисекунды скрываются в формате временной метки

Попробуй это:

df = df.withColumn("time_in_milliseconds", col("time").cast("double"))

Вы получите что-то вроде 1484758800.792, где 792 это миллисекунды

По крайней мере, у меня это работает (Scala, Spark, Hive)