«python» 태그된 질문

나는 10 개 데이터 프레임이 pyspark.sql.dataframe.DataFrame로부터 얻은 randomSplit로 (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)지금은 9 가입 할 td내가 그렇게하는 방법, 하나의 데이터 프레임에 s '를? 나는 이미 시도 unionAll했지만이 함수는 두 개의 …

21 python  apache-spark  cross-validation  pyspark 

다음과 같은 Pandas DataFrame이 있습니다. df = pd.DataFrame({ 'Date': ['2017-1-1', '2017-1-1', '2017-1-2', '2017-1-2', '2017-1-3'], 'Groups': ['one', 'one', 'one', 'two', 'two'], 'data': range(1, 6)}) Date Groups data 0 2017-1-1 one 1 1 2017-1-1 one 2 2 2017-1-2 one 3 3 2017-1-2 two 4 4 2017-1-3 two 5 다음과 같이 새 DataFrame을 …

21 python  pandas  dataframe 

Python에 익숙하지 않지만 일부 분류 데이터를 기반으로 첫 번째 RF 모델을 작성합니다. 모든 레이블을 int64 숫자 데이터로 변환하고 numpy 배열로 X 및 Y에로드했지만 모델을 훈련하려고 할 때 오류가 발생했습니다. 내 배열은 다음과 같습니다. >>> X = np.array([[df.tran_cityname, df.tran_signupos, df.tran_signupchannel, df.tran_vmake, df.tran_vmodel, df.tran_vyear]]) >>> Y = np.array(df['completed_trip_status'].values.tolist()) >>> X array([[[ 1, …

21 python  scikit-learn  sampling 

나는 사이의 선택에 혼란 조금 해요 Keras (keras 팀 / keras) 및 tf.keras을 (tensorflow / tensorflow / 파이썬 / keras /) 내 새로운 연구 프로젝트. Keras 가 누구도 소유하지 않는다는 논쟁이 있습니다 . 따라서 사람들이 더 기고하고 프로젝트를 관리하기가 훨씬 쉬워 질 것입니다. ‬ 다른 측면에서, tf.keras은 Google에서 지금보다 엄격한 …

20 python  deep-learning  keras  tensorflow 

로지스틱 회귀 설정에서 파이썬, numpy 및 행렬의 곱셈과 관련된 매우 기본적인 질문이 있습니다. 먼저, 수학 표기법을 사용하지 않은 것에 대해 사과드립니다. 매트릭스 도트 곱셈과 요소 별 곱셈의 사용에 대해 혼란 스럽습니다. 비용 함수는 다음과 같이 제공됩니다. 그리고 파이썬에서 나는 이것을 다음과 같이 썼다. cost = -1/m * np.sum(Y * np.log(A) …

18 python  logistic-regression  cost-function 

휴무 . 이 질문에는 세부 사항이나 명확성 이 필요 합니다 . 현재 답변을받지 않습니다. 이 질문을 개선하고 싶습니까? 이 게시물 을 편집 하여 세부 사항을 추가하고 문제점을 명확하게하십시오 . 휴일 삼년 전에 . 25 가지 기능을 갖춘 가상의 데이터 세트를 작업 중입니다. 두 가지 특징은 장소의 위도 및 경도이며, 다른 …

18 machine-learning  python  feature-engineering  feature-scaling  normalization 

일부 변수가 열 대신 행으로 표시되는 Kaggle 과제를 수행 중입니다 (Telstra Network Disruption). 현재 R tidyr 도구에서 찾을 수있는 gather (), detach () 및 spread ()와 동등한 항목을 찾고 있습니다.

18 r  python  dataset  data-cleaning  pandas 

Keras RNN Tutorial : " RNN 은 까다 롭습니다. 배치 크기 선택이 중요하고, 손실 및 최적화 선택이 중요합니다. 일부 구성은 수렴되지 않습니다." 따라서 이것은 Keras에서 LSTM-RNN의 하이퍼 파라미터를 튜닝하는 것에 대한 일반적인 질문입니다. RNN에 가장 적합한 매개 변수를 찾는 방법에 대해 알고 싶습니다. Keras 'Github 에서 IMDB 예제로 시작했습니다 . …

18 python  neural-network  deep-learning  keras  hyperparameter 

내 수업에서는 이미지의 객체가 phylum porifera (seasponge) 또는 다른 객체의 예인지 여부를 결정하기 위해 두 개의 분류자를 사용하여 응용 프로그램을 만들어야합니다. 그러나 파이썬에서 기능 추출 기술과 관련하여 완전히 잃어 버렸습니다. 조언자는 수업 시간에 다루지 않은 이미지를 사용하도록 설득했습니다. 누구든지 의미있는 문서 나 독서를 지시하거나 고려할 방법을 제안 할 수 있습니까?

18 python  feature-extraction  image-recognition 

200 치수 ( doc2vec)를 가진 거의 백만 개의 벡터에서 차원 축소를하고 싶습니다 . 모듈 TSNE에서 구현을 사용 sklearn.manifold하고 있으며 주요 문제는 시간 복잡성입니다. 로도 method = barnes_hut계산 속도는 여전히 느립니다. 언젠가는 심지어 메모리가 부족합니다. 130G RAM의 48 코어 프로세서에서 실행 중입니다. 병렬로 실행하거나 많은 리소스를 사용하여 프로세스 속도를 높이는 방법이 …

18 python  bigdata  nlp  scikit-learn  dimensionality-reduction 

공동 필터링을 사용하여 추천 시스템을 구축하려고합니다. 평소 [user, movie, rating]정보가 있습니다. '언어'또는 '영화의 듀레이션'과 같은 추가 기능을 통합하고 싶습니다. 그러한 문제에 어떤 기술을 사용할 수 있는지 잘 모르겠습니다. python / R로 참조 또는 패키지를 제안하십시오.

17 python  r  recommender-system 

corr()원본 df 에서 df를 만듭니다 . corr()DF는 70 X 70에서 나와는 히트 맵을 시각화하는 것은 불가능합니다 ... sns.heatmap(df). 를 표시하려고 corr = df.corr()하면 테이블이 화면에 맞지 않으며 모든 상관 관계를 볼 수 있습니다. df크기에 관계없이 전체를 인쇄 하거나 히트 맵의 크기를 제어하는 ​​방법입니까?

17 visualization  pandas  plotting  machine-learning  neural-network  svm  decision-trees  svm  efficiency  python  linear-regression  machine-learning  nlp  topic-model  lda  named-entity-recognition  naive-bayes-classifier  association-rules  fuzzy-logic  kaggle  deep-learning  tensorflow  inception  classification  feature-selection  feature-engineering  machine-learning  scikit-learn  tensorflow  keras  encoding  nlp  text-mining  nlp  rnn  python  neural-network  feature-extraction  machine-learning  predictive-modeling  python  r  linear-regression  clustering  r  ggplot2  neural-network  neural-network  training  python  neural-network  deep-learning  rnn  predictive-modeling  databases  sql  programming  distribution  dataset  cross-validation  neural-network  deep-learning  rnn  machine-learning  machine-learning  python  deep-learning  data-mining  tensorflow  visualization  tools  sql  embeddings  orange  feature-extraction  unsupervised-learning  gan  machine-learning  python  data-mining  pandas  machine-learning  data-mining  bigdata  apache-spark  apache-hadoop  deep-learning  python  convnet  keras  aggregation  clustering  k-means  r  random-forest  decision-trees  reference-request  visualization  data  pandas  plotting  neural-network  keras  rnn  theano  deep-learning  tensorflow  inception  predictive-modeling  deep-learning  regression  sentiment-analysis  nlp  encoding  deep-learning  python  scikit-learn  lda  convnet  keras  predictive-modeling  regression  overfitting  regression  svm  prediction  machine-learning  similarity  word2vec  information-retrieval  word-embeddings  neural-network  deep-learning  rnn 

Tensorflow를 사용하여 음성 인식을 연구하고 있으며 대규모 웨이브 데이터 세트로 LSTM NN을 훈련시킬 계획입니다. 성능 향상으로 인해 tfrecords를 사용할 계획입니다. tfrecords 파일이 샤드로 분할되는 인터넷 (예 : Inception for example)에는 몇 가지 예가 있습니다. 내 질문은 : tfrecords 파일을 샤드에 저장하면 어떤 이점이 있습니까? 이 스플릿의 추가 성능 향상이 있습니까?

17 python  tensorflow 

https://github.com/Rdatatable/data.table/wiki/Benchmarks-%3A-Grouping data.table 벤치 마크는 2014 년 내가 들어 본 곳 이후 업데이트되지 않은 Pandas지금보다 더 빨리이다 data.table. 이것이 사실입니까? 누구든지 벤치 마크를 했습니까? 나는 전에 파이썬을 사용한 적이 없지만 pandas이길 수 있다면 전환을 고려할 것 data.table입니까?

17 python  r  pandas  data  data.table 

시계열의 이상 탐지에 사용할 수있는 포괄적 인 오픈 소스 패키지 (Python 또는 R)가 있습니까? scikit-learn에는 하나의 클래스 SVM 패키지가 있지만 시계열 데이터는 아닙니다. 예를 들어 이상 감지를 위해 베이지안 네트워크를 사용하는보다 정교한 패키지를 찾고 있습니다.

17 python  time-series  anomaly-detection