«scala» 태그된 질문

val map1 = Map(1 -> 9 , 2 -> 20) val map2 = Map(1 -> 100, 3 -> 300) 그것들을 병합하고 동일한 키의 값을 합산하고 싶습니다. 결과는 다음과 같습니다. Map(2->20, 1->109, 3->300) 이제 두 가지 해결책이 있습니다. val list = map1.toList ++ map2.toList val merged = list.groupBy ( _._1) .map …

179 scala  map  merge 

나는 스칼라보다 파이썬을 선호합니다. 그러나 Spark는 기본적으로 스칼라로 작성되었으므로 코드가 스칼라에서 Python 버전보다 더 빨리 실행될 것으로 예상되었습니다. 그 가정으로, 1GB의 데이터에 대해 매우 일반적인 전처리 코드의 스칼라 버전을 배우고 작성하려고 생각했습니다. 데이터는 Kaggle의 SpringLeaf 경쟁에서 선택 됩니다. 데이터에 대한 개요를 제공하기 위해 (1936 차원 및 145232 행 포함). 데이터는 …

178 scala  performance  apache-spark  pyspark  rdd 

RDD (Resilient Distributed Dataset)가 텍스트 파일 또는 컬렉션 (또는 다른 RDD)에서 생성 될 때 RDD 데이터를 메모리에 저장하려면 "캐시"또는 "지속"을 명시 적으로 호출해야합니까? 또는 RDD 데이터가 기본적으로 메모리에 분산 방식으로 저장됩니까? val textFile = sc.textFile("/user/emp.txt") 내 이해에 따라 위의 단계 후에 textFile은 RDD이며 노드의 모든 / 일부 메모리에서 사용할 수 …

171 scala  apache-spark  rdd 

implicitly스칼라 예제에서 사용되는 이름의 함수를 보았습니다 . 그것은 무엇이며 어떻게 사용됩니까? 여기 예 : scala> sealed trait Foo[T] { def apply(list : List[T]) : Unit }; object Foo { | implicit def stringImpl = new Foo[String] { | def apply(list : List[String]) = println("String") | } | implicit def intImpl …

169 scala  implicits 

스칼라 애플리케이션에서 로깅을 수행하는 좋은 방법은 무엇입니까? 언어 철학과 일치하고 코드를 어지럽히 지 않으며 유지 보수가 적고 눈에 거슬리지 않는 것이 있습니다. 기본 요구 사항 목록은 다음과 같습니다. 단순한 코드를 어지럽히 지 않습니다. 스칼라는 간결함이 뛰어납니다. 내 코드의 절반이 문장을 로깅하는 것을 원하지 않습니다. 나머지 엔터프라이즈 로그 및 모니터링 소프트웨어에 …

168 logging  scala 

나는 모음이있는 경우 c유형을 T하고, 등록 정보가 p에 T(유형 P, 말)하는 할 수있는 가장 좋은 방법은 무엇 맵별로 추출 키는 ? val c: Collection[T] val m: Map[P, T] 한 가지 방법은 다음과 같습니다. m = new HashMap[P, T] c foreach { t => m add (t.getP, t) } 그러나 이제 …

165 scala  map  scala-collections 

Scala의 편리한 기능 중 하나 lazy val는 val입니다 (필수에 액세스 할 때까지). 물론, lazy val약간의 오버 헤드 가 있어야합니다. 어딘가에 Scala는 값이 이미 평가되었는지와 평가를 동기화해야하는지 추적해야합니다. 여러 스레드가 동시에 처음으로 값에 액세스하려고 시도 할 수 있기 때문입니다. 정확히 비용은 얼마입니까-평가 여부에 따라 추적을 유지하기 위해 lazy val숨겨진 부울 플래그 …

165 performance  scala  lazy-evaluation 

스칼라에서 날짜와 시간으로 작업하는 표준 방법은 무엇입니까? java.util.Date와 같은 Java 유형을 사용해야합니까, 아니면 기본 스칼라 대안이 있습니까?

161 datetime  scala  jodatime 

현재로서는이 질문이 Q & A 형식에 적합하지 않습니다. 답변, 사실, 참고 자료 또는 전문 지식을 통해 답변이 뒷받침 될 것으로 예상되지만이 질문은 토론, 논쟁, 여론 조사 또는 광범위한 토론을 요구할 것입니다. 이 질문을 개선하고 다시 열 수 있다고 생각 되면 도움말 센터 를 방문하여 안내를 받으십시오 . 휴일 칠년 전에 …

160 java  performance  scala  memory 

class Person(val name:String,var age:Int ) def person = new Person("Kumar",12) person.age = 20 println(person.age) 이 코드 행 은 성공적으로 실행 12되었음에도 불구하고 출력 person.age=20됩니다. 나는 이것이 def in을 사용했기 때문에 발생한다는 것을 알았습니다 def person = new Person("Kumar",12). var 또는 val을 사용하면 출력은 20입니다. 나는 scala의 기본값이 val임을 이해합니다. 이: …

158 scala 

데이터베이스를 비동기식으로 호출하는 방법이 있는지 궁금합니다. 예를 들어, 처리하는 데 시간이 오래 걸리는 큰 요청이 있다고 가정합니다. 요청을 보내고 요청이 값을 반환 할 때 알림을 수신하려고합니다 (리스너 / 콜백 또는 기타를 전달하여). 데이터베이스가 응답하기를 기다리는 것을 차단하고 싶지 않습니다. 스레드 풀을 사용하는 것이 확장되지 않기 때문에 솔루션이라고 생각하지 않습니다. 동시 …

158 java  scala  jdbc  asynchronous  nonblocking 

사실 ... 그것은 꽤 많이 논의되었습니다. 그러나 jar / executor / driver 구성 또는 옵션에서 jar 참조 복제를 포함하여 많은 모호성과 일부 답변이 제공됩니다. 모호하거나 생략 된 세부 사항 다음의 모호성, 불분명하거나 생략 된 세부 사항은 각 옵션에 대해 명확해야합니다. ClassPath가 영향을받는 방법 운전사 집행자 (작업 실행) 양자 모두 전혀 …

158 java  scala  apache-spark  jar  spark-submit 

읽기에는 유용한 추상화가 Source있습니다. 텍스트 파일에 줄을 쓰려면 어떻게해야합니까?

157 scala  file-io  scala-2.8 

Java에서는 환경 변수 읽기가로 수행됩니다 System.getenv(). 스칼라에서 이것을 할 수있는 방법이 있습니까?

157 scala  environment-variables 

C ++에서 연산자 오버로딩은 많은 사람들에 의해 A Bad Thing (tm)으로 간주되며, 새로운 언어에서는 반복되지 않는 실수입니다. 확실히, 그것은 자바를 설계 할 때 특별히 떨어 뜨린 기능 중 하나였습니다. 스칼라에 대해 읽기 시작 했으므로 연산자 오버로드와 매우 흡사합니다 (기술적으로는 연산자가없고 함수 만 있기 때문에 연산자 오버로드가 없지만). 그러나 C ++에서 …

155 c++  scala  operator-overloading