Bongster's

ELK STACK 이란 ? Elastic Search + Log stash + Kibana 를 합쳐놓은 것으로 로그 시스템을 구축하는데 필요한 기술들의 앞 글자를 따서 만든 약자이다. intro Log stash 로그 관련 정보를 쉽게 읽고 쓸수 있게 해주는 기술 설정을 통해서 변경 가능 Elastic Search 검색 엔진 web application 제공 해줌 parameter 를 통한 query 제공 여기서는 로그를 읽는데 사용합니다. Kibana 로그 관련된 내용을 visualization 할수 있게 해줌 생각보다 사용법이 어렵다고 함. 들어보기만함 log stash 의 사용법은 간단하기 때문에 http://logstash.net/docs/1.4.0/tutorials/getting-started-with-logstash 에서 간단하게 구성 및 테스트 해볼수 있을 것입니다. 지금까지 ELK Stack 이 무엇이다만 간단히 알았다면, 이것을 가지고 Django 와 붙여서 어떻게 사용할수 있을지를 담부터 구성해보도록 하겠습니다. ​

Large Scale Data Machine Learning 이 블로그 내용은 개인적으로 재가 이해한 대로 작성한 내용 입니다. 잘못된 부분이 있으시면 댓글이나 메일 달아주시면 감사하겠습니다. 부탁드립니다. Learning with Large DataSets Stochastic Gradient Descent m(모델의 값)이 많아 졌을 경우 사용하는 방식으로 기존의 Batch Gradient Descent가 m이 있을 경우 1~m까지 순차적으로 돌았다고 한다면 Stochastic Gradient Descent는 기존의 방식과는 동일하고 // b_cost : 기존 Batch Gradient Descent 의 cost Function // s_cost : Stochastic Gradient Descent 의 cost Function s_cost = b_cost / 2 Shuffle한 데이터를 돌면서 세타값을 찾고, 기존의 cost Funtion / 2 를 한 함수를 cost Function으로 사용합니다. 이를 통해 데이터의 평준화??가 좀 더 진행 되어 1~10배 정도의 빠름을 가진다고 합니다. Mini-Batch Gradient Descent Stochastic Gradient Descent 의 경우 m을 그대로 두고 데이터의 평준화를 통해 Large Scale Data의 기계학습을 해결했다면 Mini-Batch의 경우 b라는 batch 인자를 두어 m을 그룹화 하여 m을 줄여 기계학습을 좀 더 빠르게 해결할수 있는 방법입니다. 방법은 기존에 100개의 m이 존재하고 b가 10일 경우 m 은 100/10 개가 존재하게 됩니다. 그리고 cost Function 에서 더해지는 값은 1~10 , 11 ~ 20 , 21~ 30 이런 식의 b 단위로 그룹 지어진 m (i)에 대한 cost Function을 사용해서 계산합니다. b의 값은 2 ~ 100 사이가 적당하다고 합니다. Stochastic Gradient Descent ...

Intelij 에서 INSTALL_FAILED_INSUFFICIENT_STORAGE 발생 시 Run -> Edit Configuration -> emulator Option -wipe-data -partition-size 1024 를 추가해 줍니다. ​

Spring Redis 사용해보기 Spring Data Redis를 통해 pub/sub를 사용해보겠습니다. maven 세팅은 빼고 제가 실습했을 때 발생하는 문제에 대한 해결방법만 적어보았습니다. 문제가 더 많이 발생할 경우 이를 해당하는 방법을 추가로 업데이트 하도록 하겠습니다. 기본으로 사용시 jedisConnectionFactory 팩토리의 이름이 redisConnectionFactory 이여야 오류 발생 안함 < bean id = "jedisConnectionFactory" class = "org.springframework.data.redis.connection.jedis.JedisConnectionFactory" p:usePool = "true" p:hostName = "localhost" p:port = "6379" /> < bean id = "redisTemplate" class = "org.springframework.data.redis.core.RedisTemplate" p:connectionFactory-ref = "jedisConnectionFactory" /> < bean id = "listener" class = "kcube.ekp.util.MyMessageListener" /> < redis:listener-container > < redis:listener ref = "listener" topic = "say" /> </ redis:listener-container > 사용 안할 시 redisContainer 사용 < bean id = "messageListener...

Ubuntu 에 vsftpd 설치 및 사용하기 vsftpd 설치하기 sudo apt-get install vsftpd sudo service vsftpd restart vsftpd 실행하기 sudo service vsftpd restart 처음 접속시 폴더 바꾸기 sudo usermod -d /home/ftp ftp 접속하기 ftp Client를 사용해서 접속 Error 발생 ~~~~ 이유는 해당 계정이 변경된 폴더에 접근이 불가능해서 발생하는 문제 sudo chown root:root [FTP_MODIFIED_PWD] ​

Window 에서 JenKins 설치 및 Deploy하기 Jenkins Jenkins 는 CI 툴로써 Deploy를 할떄 GUI를 통해서 보다 편하게 사용할수 있습니다. 설치하기 http://jenkins-ci.org/ URL로 가서 다운을 받아줍니다. 웹 서비스를 위해 WAS를 다운 받습니다. 저는 Tomcat7을 사용했습니다. 다운받은 jenkins war 파일을 Tomcat folder \ webapp 로 복사해줍니다. Tomcat을 실행 해서 localhost:8080/jenkins 로 들어갈 경우 화면이 뜨면 성공 Maven Deploy 하기 Maven Deploy하기 위해서는 Deploy Plugin이 필요합니다. Manage Jenkins > Manage Plungs > Deploy Plugin 을 설치해줍니다. NewItem을 선택 한 후 이름을 정하신 다음 Build a maven project 를 선택하고 다음을 누릅니다. Source Code Management 형상관리 프로그램의 정보를 넣으시고 Build Triggers Poll SCM 을 체크 하신 후 Deploy될 시간 정보를 세팅해줍니다. Build Root POM에 pom.xml 입력 Goals and options에는 clean install를 입력합니다. Post-build Actions Deploy war/ear to a container 를 선택 WAR/EAR files에는 **/*.war Containers WAS 종류와 버전 사용자 이름 비밀번호 톰캣 URL을 설정해줍니다. Tomcat USER 설정 tomcat_home\conf\tomcat-user.xml을 여신후 아래 내용을 추가하고 저장해줍니다. < role rolename = "manager-script" /> < role rolename = "m...

Spring에서 Mail, File 사용하기 Mail Service Spring에서 메일을 보내기 위한 서비스 사용법 http://www.javacodegeeks.com/2010/07/java-mail-spring-gmail-smtp.html 참조 http://docs.spring.io/spring/docs/current/spring-framework-reference/html/mail.html 참조 javax.mail.Session ClassNotFoundException 발생 ClassPath에 mail.jar가 없어서 발생하는 에러 http://mvnrepository.com/artifact/javax.mail/mail/1.4.7 에서 maven 추가 File Service Spring에서 파일을 쓰기 위한 서비스 multipart ViewResolver bean context.xml에 추가해주기 < beans:bean id = "multipartResolver" class = "org.springframework.web.multipart.commons.CommonsMultipartResolver" > </ beans:bean > Controller import java.io.File; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStream; import org.apache.commons.io.IOUtils; import org.apache.log4j.Logger; import org.springframework.stereotype.Controller; import org.springframework.ui.Model; import org.springframework.web.bind.annotation.Pat...